R.Babari N.Hautière E.Dumont N.Paparoditis² Mesure de la visibilité météorologique par imagerie : Une approche modèle R.Babari N.Hautière E.Dumont N.Paparoditis² UniversitéParis-Est,LEPSIS,IFSTTAR ,58bdLefebvre75732Paris-France ² UniversitéParis-Est,MATIS,IGN. 73avenuedeParis94160SAINTMANDÉ-France Mesdames messieurs bonjours ! Le sujet, co-financé par le LCPC et Météo-France s’intitule : « Estimation des conditions de visibilité météorologique par caméras routières » Temps : 16 seconde 6-10 juin 2011

I-1 - Contexte Par temps de brouillard ou de brume, la visibilité est réduite et représente une source de paralysie pour les transports. Les accidents sont plus nombreux et plus grave. Les stations météorologiques et les aéroports sont équipés d’instruments rares et coûteux pour mesurer la visibilité (10.000 €), Problème multinationales : 700 décès annuels liés au phénomènes de brouillard aux États-Unis, 100 en France, IFSTTAR (ex LCPC/INRETS) cherche à exploiter les milliers de caméras de surveillance à faible coût (100 €) déjà installées dans le réseau routier pour estimer la visibilité et informer les usagers des limitations de vitesse à respecter, METEO-France vise à intégrer ces informations de visibilité météorologique dans ses modèles de prévision. Par temps de brouillard ou de brume, la visibilité est réduite. Elle représente une source de paralysie pour les transports. Les accidents sont plus nombreux et plus grave. Les stations météorologiques et les aéroports sont équipés d’instruments rares et coûteux pour mesurer la visibilité (8.000 € ). Le LCPC cherche à exploiter les caméras de vidéosurveillance qui équipent déjà le réseau routier pour estimer la visibilité et informer ses Usager des limitations de vitesses à respecter. Météo-France cherche à intégrer ses informations dans ses modèles de prévision.

Plan Contexte Méthode proposée Résultats Conclusion Physique de la visibilité Méthodes d’estimation de la visibilité (état de l’art) Méthode proposée Acquisitions d’images Proposition d’une nouvelle méthode Résultats Conclusion 16 minutes

II -1- Physique de la visibilité : Transparence de l’atmosphère Soleil Le facteur extinction «k» dépend de la densité et de la taille des gouttelettes d'eau et des particules Diffusion de la lumière Camera à faible coût Distance «  d » . Luminance d’un objet Le brouillard est constitué de fines particules d’eau suspendues dans l’air. Ces particules varient selon leurs répartitions granulométriques et leur concentrations. - De jour, la visibilité est réduite par la diffusion de la lumière dans l’atmosphère. Cette lumière provient de la diffusion simple de la lumière du soleil par les particules de l’atmosphère. Cet effet appelé «voile atmosphérique», réduit le contraste d’un objet vu à une certaine distance. (figure 1) - L’équation de Koschmieder exprime : La luminosité de l’objet reçue par la caméra *en fonction du résultat de la somme de la luminosité intrinsèque de celui-ci atténuée par l’effet visuel d’extinction du brouillard * et l’effet de voile atm causé par le ciel : De cette relation découle la définition exacte de la visibilité météorologique : … définie par la CIE comme la plus grande distance à laquelle on peut distinguer un objet sombre de taille convenable de jour sur le fond du ciel. Cette définition peut être utilisée en précisant le contraste à 5% - Les effets du brouillard de nuit sont caractérisés par la baisse de contraste dans l’image et l’apparition d’un halo autour des sources lumineuses. (Figure 2) - Éric Dumont à simulé (par tracé de rayon) et modélisé les effets de brouillard de nuit, l’auteur a également défini l’opérateur fréquentiel de contraste qui permet de simuler la formation d’un halo à partir d’une source lumineuse en le convoluant avec la transformée inverse de la FTM(fonction de transfert de modulation). La visibilité météorologique de nuit est directement lié au facteur d’extinction (k) Temps : 2m18secondes . extinction de l’atmosphère [Koschmieder] Effet de voile atmosphérique 3/16

II -1- Physique de la visibilité [Duntley] a donné une loi d’atténuation des contrastes dans l’image : VMet correspond à la plus grande distance pour laquelle un objet noir Lb=0 sur fond du ciel Lf de dimension convenable peut être reconnu avec un contraste C de 5%. C/C0=0.05 correspond à distance de visibilité Vmet =3/k VMet est mesurée : Par appareil optique (visibilimètre) Par caméra en faisant des hypothèses sur la distance d de la scène. Modèle 3d de la route, Présence de points d’intérêts dont on connaît la distance, Distribution uniforme de points 3d dans la scène. 4/16

II -3- Mesure physique de la visibilité Le transmissiomètre exploite l’extinction d’un rayon lumineux au cour de son trajet, Le diffusomètre mesure l’intensité lumineuse d’un faisceau lumineux envoyé par une source et rétro diffusée par l’atmosphère, Coût très élevé de l’ordre de 8.000€ 10% d’erreur de mesure sur une plage de 0- 50km Fig : Schéma de principe de fonctionnement d’un transmissiomètre Fig : Schéma de principe de fonctionnement d’un diffusiomètre 6/16

II -4- Méthodes d’estimation de la visibilité de jour par caméra Visibilité sur plusieurs km : Corrélation entre des caractéristiques dans l’image et la VMet ( Aucune précision donnée ). Visibilité routière : 0-400 m avec une précision de 10 % Européen Project SafeSpot: Hautière et al. Détection des marquage de la route (> 5%) USA : projet Clarus (FHWA-MIT) - Estimateurs à partir des caractéristiques de l’image -Décision en logique floue Quartes classes de visibilité (1km - 5km – 10km) JAPAN : Caractéristiques fréquentielles de l’image (WIPS) identification de faible visibilité Corrélation avec des données réels : 0.86 Hypothèses : - route plane - La calibration de la caméra est nécessaire ------------------------------------------------------------ Par corrélation L’objectif de Hallowell et al. [10] est de détecter le brouillard et de mesurer la distance de visibilité météorologique à partir des images numériques acquises par de nombreuses caméras dont le réseau routier dispose. Les États-Unis ont déjà identifié ce potentiel : la FHWA (the federal hightway administration) collabore avec le MIT(Lincoln laboratory) depuis environ deux ans pour tenter de l’exploiter dans le projet CLARUS. Cette technique ne nécessite pas un calibrage géométrique précis. Les informations issues des images capturées sont utilisées sous forme d’estimateurs en logique floue. Ces estimateurs sont calculés à partir des caractéristiques spatiales de l’image (moyenne de l’image, contours, intensité). Ensuite l’auteur estime la corrélation des estimateurs avec une vérité terrain (données provenant d’un visibilimètre) pour calculer des classes de visibilité. Cet apprentissage est fortement dépendant de l’image, de l’endroit et des paramètres d’illumination et la configuration de la scène. Nous notons ici que l’auteur n’a pas eu besoin d’estimer aucune distance d’un point quelconque dans l’image. *la deuxième Par Caméra panoramique L’auteur BAUMER décrit une méthode qui estime la visibilité météorologique de jour sur un site qui se trouve à l’Université de Karlsruhe, en Allemagne. Son système est composé d’une caméra panoramique qui fait l’acquisition des images. Les points d’intérêts déterminés dans l’image acquise sont mis en correspondance manuellement avec des profondeurs d’objets existants dans une carte géographique. Ainsi l’auteur détermine dans l’image la distance entre la caméra et les objets qui se trouvent dans l’image. Une fois les profondeurs estimées, l’algorithme décide qu’un objet est visible lorsqu’il présente un gradient calculé par un simple filtre de Sobel. Le seuil ici est choisi arbitrairement en minimisant l’erreur par rapport à des mesures faites par un Visibilimètre. Temps : 3m30 Notre objectif est de proposer une estimation de la visibilité Avec précision et sur plusieurs kilomètres 7/16

III -1- Acquisitions d’images et de données à Trappes Site instrumenté de Météo-France à Trappes Visibilité DF320 (DEGREANE HORIZON) (0 à 35km) Éclairement LU320 (0 à 10000 lux) Installation d'une caméra 640 x 480 8 bits/pixel Appariement des données météorologiques avec les images Fig : Des images avec différents conditions d’ éclairage, présence d'ombres et conditions nuageuses, Afin de valider les méthodes existantes et d’en proposer d'autres, nous avons collecté sur plusieurs mois, des données couplant images de caméras, donnée de visibilité et d'éclairement. En effet, nous avons instrumenté le site de Météo-France à Trappes avec un système d'acquisition et d'enregistrement d'images. Ensuite, nous avons fait l'appariement de ces images avec les données météorologiques (Visibilité et éclairement). La caméra est d'une qualité similaire à celles de vidéosurveillance : de résolution 640 x 480 et de dynamique 8 bits par pixel. Ces images sont prisent à une fréquence de 10 minutes durant plusieurs mois dans des conditions d'éclairement de 0 à 10 000 lux et de visibilité allant de 80m à 50 km. Le gradient (Figure 1) indique la direction de la plus forte variation du clair au sombre. Pour chaque image de la scène prise de jour, nous calculons le gradient centré en chaque pixel. Nous associons donc la diminution du gradient dans l’image avec la diminution de la visibilité météorologique. Nous avons tracé la somme du module du gradient de Sobel dans toute l’image en fonction la visibilité météorologique (Figure 2). Nous remarquons une instabilité de la réponse. Celle ci est liée au changement d’éclairement qui affecte directement les valeurs de luminances et donc celles des gradients. Celle-ci est aussi liée aux différentes réflexions de la lumière du soleil sur les vitres ou sur d’autres surfaces lisses. Également, celle-ci liée aux ombres créés par la lumière du soleil qui se déplace dans la journée. Dans ce cas, le module du gradient de Sobel sur toute l’image ne pourra pas être un indicateur stable et reproductible de la mesure de la visibilité météorologique. Fig : Variation de la luminance et de la visibilité météorologique durant trois jours d’observation 8/16

III -2- Gradient et Vmet : recherche d’une corrélation Nous cherchons une corrélation entre le gradient dans l‘image et la distance de visibilité mesuré durant l’acquisition de cette image. Le gradient vient de : -discontinuités en profondeur, - discontinuités dans l'orientation de surfaces - les changements dans les propriétés du matériau et -les variations dans l'illumination. Fig : Gradient dans l’image Bonne visibilité Nous calculons le gradient de l’intensité centré en chaque pixel Fig : Gradient dans l’image : visibilité réduite par le brouillard 9/16

III -3- Pourquoi les surfaces diffuses ? Dans les zones lambertiennes de l’image, le gradient est invariant au changement d’illumination. Le gradient ne variera qu’en fonction des conditions de visibilité. A une distance « d » et pour une visibilité « V » : Après avoir été confronté aux problèmes d’instabilité du gradient par rapport à l’éclairement, nous nous sommes intéressés à modéliser tout le processus des différentes réflexions dans la scène et de la diffusion atmosphérique. Nous avons donc démontré que dans les zones lambertiennes de la scène (Figure 3), le gradient dans l'image est une fonction linéaire de l'albédo de chacune de ces surfaces. Ici le gradient ne dépend que du type du matériau est donc sera indépendant des variations d'éclairement qui est la principale cause de l’instabilité du gradient. Dans ces zones (en rouge dans la figure 3) les gradients dans l'image ne varieront qu’en fonction des conditions de visibilité météorologique. Comportement quelconque (route) Diffuse (bois) Spéculaire (miroir) 10/16

III-4-Recherche de surfaces diffuses dans la scène? Nous attribuons la corrélation temporelle entre l'illumination globale et la luminance d'un pixel, comme la confiance que le pixel appartient à une zone diffuse de la scène. Diffuse Spéculaire Diffuse Spéculaire Nous ne supposons pas que toutes les surfaces ont un comportement diffus, mais nous les sélectionner dans l'image. 11/16

IV -1- Proposition d’une nouvelle methode Après avoir été confronté aux problèmes d’instabilité du gradient par rapport à l’éclairement, nous nous sommes intéressés à modéliser tout le processus des différentes réflexions dans la scène et de la diffusion atmosphérique. Nous avons donc démontré que dans les zones lambertiennes de la scène (Figure 3), le gradient dans l'image est une fonction linéaire de l'albédo de chacune de ces surfaces. Ici le gradient ne dépend que du type du matériau est donc sera indépendant des variations d'éclairement qui est la principale cause de l’instabilité du gradient. Dans ces zones (en rouge dans la figure 3) les gradients dans l'image ne varieront qu’en fonction des conditions de visibilité météorologique. Fig : Module du gradient de Sobel dans l’image : convolution de l’image avec la dérivée première de la gaussienne Fig : Probabilité pour que la surface soit lambertienne : présente la matrice des plus forte corrélation avec le changement d'éclairage global dans le temps. 12/16 Fig : Module du gradient de Sobel dans les surfaces lambertienne de l’image

IV -2- Contribution principale L’amélioration que nous apportons permet d’avoir une estimation non dispersée et donc plus précise, plus stable en fonction des variations de l’éclairement et donc une mesure reproductible. Fig : Données entre le module du gradient de Sobel pris sur tout l’image et la visibilité Météorologique (dispersées) Fig : Données entre le module du gradient de Sobel pris sur les zones lambertiennes de l’image et la visibilité météorologique Dans les zones Lambertiennes de l’image ,le contraste est invariant au changement d’illumination. Le contraste ne sera lié qu’aux conditions de visibilité. 13/16

V –1-Modèle de l’histogramme normalisé des distances : « H » Distances dans la scènes Objets dans la scène correspondant à des gradients Lembertiens dans l'image Plan Image (1) (2) (3) De l’image : EL est issue de l’image et exprimé en fonction de Gij gradient pour chaque pixel (i,j) P(i,j) la probabilité qu’un pixel soit Lambertien ( appartiens à l’ensemble des surfaces de Lambert) De la scène : P(i,j) est la probabilité qu’un pixel i,j soit Lambertien Ψ(d) est l’histogramme suivant les distances des gradients lambertiens dans la scène (ex : 5 gradient Lambertiens visibles /1000 gradients Lambertien totale se trouvant à 100m de l’observateur) Le peigne de Dirac Ш des distances permet l’échantillonnage des distances dans la scène . (4) 14/16

R²=0,95 V -2-Résultats et précision 15/16 0.95 Application Brouillard Dans les zones Lambertiennes de l’image ,le contraste est invariant au changement d’illumination. Le contraste ne sera lié qu’aux conditions de visibilité. Application Brouillard Brume Qualité de l’atm Corrélation Range de visibilité 0-1 km 1-5 km 5-16 km R2 ΔV/V 25 % 26 % 33 % 0.95 15/16

V -Conclusion Nous proposons une méthode qui relient la visibilité météorologique à la somme des gradients de Sobel des surfaces Lambertiennes (diffuses) , nous avons démontré et validé que cet estimateur que nous proposons est robuste aux changements d'éclairage en se comparant à des données réelles de visibilimètres, Notre méthode est déployable sur le réseau de caméras déjà installées le long du réseau routiers et donc peut avoir un impact sur la sécurité de la circulation à faible coût. Une fois déployé, notre concept devrait accroître la qualité et la précision spatiale de l'information de visibilité: peuvent se nourrir dans les systèmes de prévisions météorologiques. peut informer les conducteurs des limites de vitesse dans des conditions de faible visibilité. Ce travail a donné à la fois une base théorique et pratique d'envisager le déploiement de notre "futur visibilitimeter routier en temps réel" capable de sauver des vies humaines. This study is aimed at a robust empirical law for measuring the meteorological visibility in daylight and by a typical CCTV camera. Our methodology is to link meteorological visibility to the sum of Sobel's gradients taken oover Lambertian surfaces. Indeed, we demonstrated and validate that the estimator we propose is robust to changes in lighting, and that any varia-tion in measurement results are due to the variation of visibility in the atmosphere. Applying this estimator on real images acquired under good and bad visibility and different lightng con-ditions, we obtained an estimated meteorological visibility that we compare and validate with meteorological visibility data given by a visibilitimeter. We also tested to validate our approach of estimating visibility under a large range of visibility and lighting conditions. This helped us to validate the relevance and the reproducibility of our approach. We believe therefore that our method for estimating meteorological visibility is easily deployable using the camera network already installed alongside highways throughout the world and therefore of high impact to traffic safety at marginal cost. Once deployed, our concept should increase the quality and the spatial accuracy of the visibility information And can feed into weather forecasting systems. Importantly, our system can inform drivers with critical, relevant speed limits under low visibility conditions. In future work, we will express errors in estimating visibility as a function of camera characteristics to ascertain the accuracies that visibilities can be measured with current and future CCTV systems. We believe, however, that our work has given both a fundamental and practical basis to consider deployment of our potentially life-saving real-time roadside visibilitimeter. 16/16

Perspectives

Merci Vos questions? Babari@lcpc.fr TEXTE A partir de la segmentation basées sur le gradient dans l'image correspondante à des zones lambertiennes dans la scène, nous avons extrait les caractéristiques des images les plus stables par rapport aux changements des conditions d'éclairement et donc les plus indicateurs des variations de la visibilité. La somme de ces caractéristiques constituera un estimateur de visibilité. Dans une phase d'apprentissage, nous posons une fonction de réponse entre l'estimateur de la visibilité précédemment défini et les données de référence issues de visibilimètres. Nous cherchons donc à déterminer les paramètres de cette fonction de réponse. Pour ce faire, nous affinons ces paramètres en minimisant l'erreur quadratique entre la fonction de réponse et le nuage de point entre l'estimateur de la visibilité et les données terrains issues de visibilimètres. Dans un premier temps, nous avons posé un modèle empirique logarithmique. Nous avons pris le facteur de corrélation comme un indicateur de confiance. Ensuite, nous avons posé certaines hypothèses sur la 3d de la scène. En effet, pour l'hypothèse d'un monde plan, tel l'environnement routier, nous avons établi le lien entre l’estimateur de la visibilité issue de l’image et ce que devrait donner l’estimation de la visibilité. Ce lien est la fonction de réponse qui s’exprime en fonction d’un paramètre τ spécifique à chaque scène. L'incertitude est en fonction des caractéristiques internes de la caméra et de son positionnement dans l’environnement 3d. La figure 4 explicite l’ajustement de données (Estimateur de la visibilité issu de l’image en fonction des distances de visibilités météorologiques issu des visibilimètres) en bleu avec le modèle basé sur la 3d de la scène en noir. La limite supérieure et inférieure sont respectivement représentées en rouge et en magenta. Pour notre scène d’essai correspondante à τ = 950m, l’erreur est estimée à 16% de 0-1km, à 30% de 0-5km et au-delà l’estimation de la visibilité diverge et nécessite une scène dont le paramètre τ a des valeurs plus grandes. Pour avoir plus de précision à estimer les visibilités lointaines, nous devons avoir une scène contenant des objets visibles lointains. Plus précisément, la distance de visibilité météorologique se réduit donc au résultat de la fonction de transfert de la somme des gradients dans les zones lambertiennes de l’image. La mesure de la visibilité par caméra, est donc devenue automatique et indépendante des données météorologiques et de la phase d'apprentissage. Babari@lcpc.fr

Résumé : La mesure de la visibilité météorologique est un élément important pour la sécurité des transports routiers et aériens. Nous proposons dans cette présentation un estimateur de visibilité météorologique par une caméra fixe, basé sur le module du gradient sélectionné dans des zones dont le comportement suit une loi de réflexion de Lambert vis à vis des conditions d’éclairage. La réponse de cet estimateur est issue d’une modélisation basée sur l’hypothèse de l’uniformité des profondeurs dans la scène et calibrée avec des données provenant de visibilimètre. Les résultats sont ensuite comparés avec des données référence et donnent une erreur moyenne de 30 % pour 160 images prises dans différentes conditions d’éclairage de jour (10 à 8000 cd/m2 ) et de visibilité (jusqu’à 16 km). Titre de la présentation : Mesure robuste de la visibilité météorologique par caméra routière Résumé : La mesure de la visibilité météorologique est un élément important pour la sécurité des transports routiers et aériens. Nous proposons dans cette présentation un estimateur de visibilité météorologique par une caméra fixe, basé sur le module du gradient sélectionné dans des zones dont le comportement suit une loi de réflexion de Lambert vis à vis des conditions d’éclairage. La réponse de cet estimateur est issue d’une modélisation basée sur l’hypothèse de l’uniformité des profondeurs dans la scène et calibrée avec des données provenant de visibilimètre. Les résultats sont ensuite comparés avec des données référence et donnent une erreur moyenne de 30 % pour 160 images prises dans différentes conditions d’éclairage de jour (10 à 8000 cd/m2 ) et de visibilité (jusqu’à 16 km). .

Publications : Babari, R., Hautière, N., Dumont, E. and Paparoditis, N. Mesure robuste de la visibilité météorologique par caméra. In MajecSTIC 2010, Bordeaux, France, 2010.   Hautière, N., Babari, R., Dumont, E., Brémond, R. and Paparoditis, N. Estimating Meteorological Visibility using Cameras: A Probabilistic Model-Driven Approach. In Asian Conference on Computer Vision (ACCV'10), Queenstown, New Zealand, 2010.   Babari, R., Hautière, N., Dumont, E., Paparoditis, N. and Misener, J. Visibility Monitoring Using Conventional Roadside Cameras: Shedding Light on and Solving Multinational Road Safety Problem. In Transportation Research Board Annual Meeting Compendium of Papers, Washington, D.C., USA, 2011.   Babari, R., Hautière, N., Dumont, E. and Paparoditis, N. Mesure de la visibilité météorologique par imagerie : Une approche modèle. In ORASIS 2011, Praz-sur-Arly, France, 2011.