Pour percevoir la couleur plutôt que les niveaux de gris, le capteur doit être capable de séparer la lumière en différents domaines spectraux. C'est-à-dire de transformer le spectre visible de $\mathbb{R}^\infty \rightarrow \mathbb{R}^{N}$, avec $N$ le nombre de couleurs, généralement $3$ pour $RGB$ (Red, Green, Blue). L'image est alors représentée comme un tableau à trois dimensions de taille $Largeur \times Hauteur \times N$. Chaque couche de couleur intègre une tranche du spectre (domaine spectral). Plusieurs approches sont possibles :
Filtre colorimétrique
L'approche la plus courante et la moins coûteuse est de disposer les pixels selon un motif, tel que le filtre de ``Bayer'', comme illustré ci-dessous. Les filtres de Bayer disposent deux fois plus de pixels verts que de pixels rouges ou bleus. Ce qui signifie que certaines couleurs seront plus bruités que d'autres, dans ce cas rouge et bleu. Généralement, le bleu est naturellement moins présent en extérieur et donc plus difficile à estimer. Mais il existe différents types de filtres et certains se concentrent davantage sur le bleu tel que les filtres RGBE [Miao 2004]. Dans ce cas, le canal bleu n'est pas le plus bruité. Le désavantage de ces filtres est qu'ils diminuent la résolution physique. On a alors recours à un algorithme d'interpolation pour estimer les couleurs manquantes (Demosaicing). Certaines méthodes de demosaicing peuvent partiellement corriger le bruit associé à une couleur [Tan 2014] en se basant sur la plus présente, par exemple sur le vert pour les filtres de Bayer.
Filtre de Bayer
Diviser la lumière incidente
Parmi les techniques de dispersion (réseaux de diffraction, réflexion, ...) de la lumière dans un capteur optique, plusieurs prismes peuvent être utilisés pour diviser la lumière incidente vers des capteurs physiquement séparés qui absorbent les longueurs d'onde différentes. L'avantage de cette technique est d'obtenir des images couleurs de haute qualité avec une résolution physique complète. Les capteurs peuvent être exposés pendant des temps différents pour gérer le bruit efficacement. La difficulté d'alignement précis des prismes rend cette technologie coûteuse.
Des capteurs multi-spectraux
Nous avons vu précédemment que la première approche a le désavantage de réduire la résolution physique, tandis que la seconde est coûteuse et il devient impossible pour les deux méthodes d'obtenir efficacement plus de couleurs (infra-rouge, ultraviolet, ...). Pour pallier ces désavantages, d'autres dispositifs (multi-spectraux) sont apparus. Les systèmes d'acquisition d'images multispectrales qui permettent d'extraire un certain nombre de propriétés sur les surfaces observées [Qiu 2018]. Leurs utilisations se sont diversifiées pour caractériser l'état sanitaire des cultures, la texture des sols, le stress hydrique, ou encore la présence de végétation.
Filtre rotatif: Ce type de dispositif, développé au début des années 2000 [Vioix 2004], associe un système optique à une roue portant les différents filtres colorimétriques. Plusieurs acquisitions sont effectuées pour obtenir les différentes couleurs. L'avantage de ce dispositif est d'être très peu coûteux tout en fournissant des images de grandes résolutions. Mais faire tourner le filtre engendre des problèmes de recalage des images mono-modes d'une même scène. Ce dispositif ne peut donc pas être utilisé efficacement en conditions extérieures en particulier en présence de mouvement.
Dispositif de Vioix
Capteurs multiples: Une autre solution est d'utiliser plusieurs caméras disposées en damier. Chaque caméra dispose d'un filtre permettant de percevoir une section différente du spectre. C'est le cas du dispositif développé par HYPHEN pour l'acquisition d'images depuis un drone aérien, et qui a été utilisé durant cette thèse. Cette solution a l'avantage d'avoir des temps d'acquisition très courts, contrairement au dispositif proposé par [Vioix 2004] et peut également être utilisé en mouvement. Cependant, du fait de la différence de position des capteurs sur le système d'imagerie, leurs champs de vision ne sont pas identiques. Ceci implique l'utilisation d'algorithmes complexes pour superposer les images mono-modes. À cet effet, un algorithme spécifique est proposé dans ce manuscrit.
Camera Airphen avec 6 capteurs optiques
Vers l'hyperspectral: D'autres solutions permettent d'obtenir des images dites hyperspectrales, c'est-à-dire un découpage plus fin du spectre électromagnétique. Par exemple $\mathbb{R}^\infty \rightarrow \mathbb{R}^{100}$, on parle alors d'hyper-cube. La solution proposée par le consortium PEAD du challenge RoSE, repose sur un spectromètre imageur par tomographie (CTIS [Descour 1995]) développée par CarbonBee. L'imagerie hyperspectrale présente de nombreux avantages et a de nombreux domaines d'application (agriculture, médecine, minéralogie, surveillance, astronomie, chimie, etc). Son prix est encore élevé ce qui limite fortement son utilisation. Ce dispositif permet de définir les longueurs d'onde les plus discriminantes pour un sujet donné, de manière à orienter le choix de capteurs multispectraux, plus abordables.