La formation d'images implique des mesures physiques sur les dimensions spectrale, spatiale et temporelle. Les modèles de couleur gaussiens constituent une nouvelle théorie de la mesure des couleurs, ils sont une extension du cadre de la dérivée gaussienne (théorie de l'espace d'échelle) au domaine spatio-spectral. L'une des réalisations les plus importantes de la théorie de l'espace d'échelle est la remarque selon laquelle les formes gaussiennes empêchent la création de détails supplémentaires sur les images à plus grande échelle (c'est-à-dire à plus faible résolution). Les gaussiennes offrent une sonde générale pour les quotients différentiels spatio-spectraux. Soit $E(\lambda )$ la distribution spectrale d'énergie de la lumière, elle est fonction de λ, qui désigne la longueur d'onde. Supposon maintenant $G({\lambda }_0,{\sigma }_{\lambda })$  un noyau gaussien d'échelle spectrale ${\sigma }_{\lambda }$ et centré en ${\lambda }_0$. La distribution d'énergie spectrale$E(\lambda )$ peut être approximée par l'expansion de Taylor centré en ${\lambda }_0$

$$E(\lambda )=E^{{\lambda }_0}+\lambda E_{\lambda }^{{\lambda }_0}+\frac{1}{2}{\lambda }^2{E}_{\lambda \lambda }^{{\lambda }_0}+\cdots$$

En supposant que les mesures de la distribution d'énergie spectrale sont effectuées avec une intégration pondérée sur le spectre, nous avons

$$E^{{\sigma }_{\lambda }}=E^{{\lambda }_0,{\sigma }_{\lambda }}+\lambda E_{\lambda }^{{\lambda }_0,{\sigma }_{\lambda }}+\frac{1}{2}{\lambda }^2{E}_{\lambda \lambda }^{{\lambda }_0,{\sigma }_{\lambda }}+\cdots$$

Où $E^{{\lambda }_0,{\sigma }_{\lambda }}=\int E(\lambda )G(\lambda ;{\lambda }_0,{\sigma }_{\lambda })d\lambda$ mesure l'intensité spectrale. Les modèles de couleur gaussiens mesurent les coefficients $E^{{\lambda }_0,{\sigma }_{\lambda }}$ et $E_{\lambda \lambda }^{{\lambda }_0,{\sigma }_{\lambda }}$ dans l'expansion de Taylor de la distribution d'énergie spectrale pondérée gaussienne à ${\lambda }_0$ avec l'ouverture spectrale (échelle) ${\sigma }_{\lambda }$. 

L'information spatiale peut être introduite dans le modèle en produisant une expansion de Taylor à la longueur d'onde ${\lambda }_0$ et aux coordonnées $x=(x,y)$. Le résultat de ceci est l'exploration d'un volume de densité d'énergie dans un espace spatio-spectral

$$E(\lambda ,\mathbf{\text{x}})=E+{\left(\begin{array}{c}\mathbf{\text{x}}\\ \lambda \end{array}\right)}^T\left[\begin{array}{c}{E}_{\mathbf{\text{x}}}\\ E_{\lambda }\end{array}\right]+\frac{1}{2}{\left(\begin{array}{c}\mathbf{\text{x}}\\ \lambda \end{array}\right)}^T\left[\begin{array}{cc}{E}_{\mathbf{\text{xx}}}& E_{\mathbf{\text{x}}\lambda }\\ E_{\lambda \mathbf{\text{x}}}& E_{\lambda \lambda }\end{array}\right]\left(\begin{array}{c}\mathbf{\text{x}}\\ \lambda \end{array}\right)+\cdots ,$$

Où $E_{{\lambda }^m{\mathbf{\text{x}}}^n}(\lambda ,\mathbf{\text{x}})=E(\lambda ,\mathbf{\text{x}})\ast G_{{\lambda }^m,{\mathbf{\text{x}}}^n}(\lambda ,\mathbf{\text{x}};{\sigma }_{\lambda },{\sigma }_{\mathbf{\text{x}}})$ est la m-ième différenciation par rapport à λ (différenciation spectrale) et la n-ième par rapport à x (différenciation spatiale).

On peut supposer que les sensibilités des caméras se rapprochent des fonctions gaussiennes autour des zones rouge, verte et bleue du spectre visible. Une approximation du modèle de couleur gaussien est donnée par les espaces de couleur adverses. Ici, le canal de luminosité ou d'intensité $I=R+G+B$ peut être considéré comme une réponse spectrale pondérée gaussienne, le canal jaune-bleu $YB=R+G-2B$ se rapproche de la dérivée spectrale de premier ordre car il résulte de la comparaison d'une moitié du spectre (autour de la couleur bleue) avec l'autre moitié (autour du jaune), le canal rouge-vert $RG=R-2G+B$ peut être interprété comme une dérivée de second ordre qui compare le centre du spectre avec les extrêmes (dans la largeur de bande visuelle). L'interprétation de la couleur adverse du modèle de couleur gaussien est alors exprimée comme suit .

$$\left[\begin{array}{c}\hat{E}\\ {\hat{E}}_{\lambda }\\ {\hat{E}}_{\lambda \lambda }\end{array}\right]=\frac{1}{3}\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -2& 1\end{array}\right)\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$$

Pour les caméras étalonnées, les réponses $XYZ$ sont connues et les fonctions de base gaussiennes sont estimées avec une plus grande précision. Une caméra RGB linéarisée qui se rapproche de la base $XYZ$ de la CIE 1964 pour la colorimétrie par la transformation linéaire suivante :

$$\left[\begin{array}{c}\hat{X}\\ \hat{Y}\\ \hat{Z}\end{array}\right]=\left(\begin{array}{ccc}0.62& 0.11& 0.19\\ 0.3& 0.56& 0.05\\ -0.01& 0.03& 1.11\end{array}\right)\left[\begin{array}{c}R\\ G\\ B\end{array}\right],$$

et la meilleure transformée linéaire du système $XYZ$ au modèle de couleur gaussien est

$$\left[\begin{array}{c}\hat{E}\\ {\hat{E}}_{\lambda }\\ {\hat{E}}_{\lambda \lambda }\end{array}\right]=\left(\begin{array}{ccc}-0.48& 1.2& 0.28\\ 0.48& 0& -0.4\\ 1.18& -1.3& 0\end{array}\right)\left[\begin{array}{c}\hat{X}\\ \hat{Y}\\ \hat{Z}\end{array}\right]$$

le produit des matrices de transformation dans les équations précédentes donnent finalements:

$$\left[\begin{array}{c}\hat{E}\\ {\hat{E}}_{\lambda }\\ {\hat{E}}_{\lambda \lambda }\end{array}\right]=\left(\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.3& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right)\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$$