Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009 Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009

L’hypovigilance Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso) Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue… Dégradation des facultés de conduite Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)

État de l’art Deux types d’approches: Orientée véhicule Position du véhicule sur la route Mouvements du volant Pression pédale de frein Vitesse Orientée conducteur Activité cérébrale Clignements des yeux Bâillements Direction du regard Expression Température

Situation Ressenti au volant: Difficulté à garder les yeux ouverts Manque de réactivité Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire (Renner & Mehring, 1997) Majorité des systèmes: soit orientés physiologie, soit vidéo Détection d’hypovigilance par fusion des informations cérébrales et visuelles

Plan de la présentation Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Détection d’hypovigilance par analyse de l’activité cérébrale

Difficultés Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…) Obtention de données cérébrales d’hypovigilance Expertise de ces données S’affranchir des différences interindividuelles

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

L’électroencéphalogramme (EEG) EEG: mesure de l’activité électrique du cerveau

Description de l’EEG d [0,5-4Hz] q [4-8Hz] a [8-12Hz] b [12-26Hz] 2s d’EEG d [0,5-4Hz] Sommeil profond q [4-8Hz] Méditation et somnolence a [8-12Hz] Hypovigilance, relaxation et yeux fermés b [12-26Hz] Concentration active g [26-100Hz] Fonctions motrices et cognitives

L’hypovigilance dans l’EEG Augmentation de l’activité a et q (Gillberg et al., 1996) Baisse de l’activité b (Makeig et al, 2000) Principalement en zones pariétale (P) et centrale (C) (Bittner et al., 2001; Oken et al. 2006)

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Le système de détection But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

La comparaison de moyenne (MCT) But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe La variable suit une loi normale Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT -u1-lMCT/2<u<u1-lMCT/2 x1mi s²1i x2mi s²2i

Le système de détection But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

Les artéfacts Artéfacts: perturbation électrique du signal d’origine non cérébrale Origines: biologiques ou environnementales But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG

La comparaison de variances (VCT) But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe La variable suit une loi de Fisher Egalité de variances éprouvée par un test bilatéral de seuil lart Flart/2<F<F1-lart/2 s²1i s²2i

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

La base de données Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg 60 heures de conduite à partir de 20 conducteurs différents 2 sessions de conduite de 1h30: Sans privation de sommeil: le conducteur a dormi une nuit complète Avec privation de sommeil: le conducteur a dormi 4 heures uniquement

Contenu Conduite sur simulateur 1 vidéo de contrôle 4 canaux EEG 1 canal EOG

Expertise Données expertisée toutes les 20s selon l’échelle OSS Constitue une vérité de terrain Attention: pas d’échelle standard (contrairement au sommeil) Objective Sleepiness Score Contenu EEG Clignements et mouvements d’yeux Échantillons Beta, pas d’alpha, pas de thêta Normal 5512 (72,9%) 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 949 (12,6%) 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent 663 (8,8%) 3 alpha et thêta plus de 10s 407 (5,4%) 4 alpha et thêta entre plus de 10s 26 (0,3%) Objective Sleepiness Score Contenu EEG Clignements et mouvements d’yeux Beta, pas d’alpha, pas de thêta Normal 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent 3 alpha et thêta plus de 10s 4 alpha et thêta entre plus de 10s Échelle OSS (Muzet et al., 2003)

Évaluation des performances Binarisation de la décision experte 3 Objective Sleepiness Score Contenu EEG Beta, pas d’alpha, pas de thêta 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s 3 alpha et thêta plus de 10s 4 alpha et thêta entre plus de 10s 2 1 Éveillé t(s) Binarisation Fatigué Fatigué Éveillé t(s)

Évaluations des performances Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué » Expert 20s 40s 60s t(s) Notre système 20s 40s 60s t(s)

Évaluation des performances Présentation par courbe COR: TPrate: taux de bonnes détections FPrate: taux de fausses alarmes Comparaison par le test de McNemar: n10: nombre d’échantillons bien classés par d1 mais pas par d2 n01: nombre d’échantillons bien classés par d2 mais pas par d1 Equivalence si (c²(1)=3,84 pour a=0,05)

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Choix du canal (résultats obtenus sur la bande a) lMCT=1,5 Classifieur aléatoire lMCT=5 Meilleurs résultats pour le canal P3 Résultats peu dégradés lorsque lMCT varie Indépendant du conducteur Pour la suite, on utilise uniquement le canal P3

Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3) Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude Ce type d’artéfact ne représente que 2% de la base de données Pour la suite, on prend en compte la présence d’artéfacts

Résultats pour les différentes bandes de fréquence Indices: Alpha Beta Theta Alpha|Theta (a+q)/b a et b sont les meilleurs indicateurs a est le meilleur indicateur q n’apporte pas d’informations pertinentes b et (a+q)/b donnent des résultats corrects

Détection par fusion floue des informations a et b m(MCTa) m(MCTb) Fuzzification MCTa MCTb & mEEG { DEEG=« fatigué » si mEEG>0,5 DEEG=« éveillé » sinon

Résultats de la fusion Indices: Alpha Beta Fusion Résultats améliorés en fusionnant les informations a et b Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1)) TPrate=84,6% et FPrate=17,9%

Comparaison à la littérature Auteurs Résultats Technique Nombre de canaux Nombre de conducteurs Picot et al., 2009 82,5% MCT et fusion floue sur a et b 1 20 Ben Khalifa et al., 2004 76% Réseau de neurones 4 Lin et al., 2005 r=0,88 Régression linéaire 33 10 Rosipal et al.,2007 77% modèle de mixtures gaussiens 3 32 Pal et al., 2008 r=0,78 Distance de Mahalanobis sur a et q 13

Bilan Détection par fusion des informations a et b Fonctionne à partir d’un canal unique (P3) Détecteur d’artéfact pour évaluer la qualité du signal Indépendant du conducteur Performances: TPrate=84,6% et FPrate=17,9%

Détection d’hypovigilance par analyse des signes visuels

Problématique Clignements: indicateurs d’hypovigilance Deux techniques: EOG: peu ergonomique Vidéo: plus pratique Dans quelle mesure la vidéo peut elle remplacer l’EOG? Quelle caractérisation d’hypovigilance possible par analyse vidéo?

Difficultés Détection des yeux, quel que soit leur état Caractériser précisément les clignements Obtention de données oculaires d’hypovigilance Expertise de ces données S’affranchir des différences interindividuelles

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Caractérisation de clignements par analyse vidéo Comparaison des caractérisations vidéo et EOG Détection d’hypovigilance par analyse vidéo Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Détection de clignements par analyse vidéo But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil (A. Benoit, 2006) Testé sur la base BioID (1521 visages) 97% de bonnes détections

Détection des clignements EOPL (contours statiques) EIPL (contours mobiles) Clignement validé! SIPL

Indicateurs de l’hypovigilance à partir d’un clignement Plusieurs indicateurs peuvent être extraits des clignements EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements TF TO D EOPL (contours statiques) EIPL mobiles) A D50 P80 EF EO

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Caractérisation de clignements par analyse vidéo Comparaison des caractérisations vidéo et EOG Détection d’hypovigilance par analyse vidéo Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Base de données de comparaison 14 participants (11 hommes, 3 femmes) Enregistrements de 1min EOG (250Hz) et vidéo Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps Echantillonnage 30fps 100fps 150fps 200fps Clignements 634 767 773

Comparaison entre vidéo et EOG Détection des clignements par analyse vidéo Fréquence d’échantillonnage Détections correctes Non-détections Fausses alarmes 30fps 96,4% (611) 3,6% (23) 21 100fps 96,2% (738) 3,8% (29) 13 150fps 96,5% (612) 3,5% (22) 6 200fps 98,1% 1,9% (15) 3

Comparaison entre vidéo et EOG L’évolution des différents indicateurs est liée à l’hypovigilance Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière. Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.

Coefficients de corrélation entre vidéo et EOG Paramètre 30fps 100fps 150fps 200fps Durée 0,84 0,91 0,96 D50 0,72 0,93 0,97 Fermeture 0,26 0,36 0,31 0,40 Ouverture 0,32 0,33 Amplitude 0,56 0,45 0,38 Fréquence 0,99 PCV 0,34 0,43 0,49 0,60 P80 0,78 0,90 VF 0,46 0,48 0,61 VO 0,27 0,47 TR 0,39 0,41 0,42 A/PCV 0,67 0,76 0,82 EF et VF 0,68 0,74 EO et VO 0,35 0,58 0,44

Bilan Intérêt d’utiliser une caméra rapide (200fps) Variables communes à la vidéo et à l’EOG: Durée Durée à 50% Fréquence P80 A/PCV Variable spécifique à la vidéo: EF corrélé à la vitesse de fermeture

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Analyse des différents variables Système de détection Résultats Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Préambule But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées Pertinence de ces variables? Analyse réalisée sur les données EOG de la base de données du CEPA Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée Base de données du CEPA très riche Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo

Méthode Fenêtre d’analyse (20s, 40s ou 60s) EOG Fenêtre d’analyse (20s, 40s ou 60s) Seuil de détection fixe ou par apprentissage Variable considérée t(s) Fatigué Décision Éveillé t(s)

Évaluation des performances Binarisation des décisions expertes Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué » Objective Sleepiness Score Clignements et mouvements d’yeux Normal 1 2 Lent ou 3 4 « Éveillé » « Fatigué »

Résultats Meilleurs résultats avec un seuil fixe Seuil sF D50 TPrate=81,3% FPrate=25,9% 130ms P80 TPrate=83,2% FPrate=21,3% 0,75% F TPrate=76,9% FPrate=18,7% 0,1Hz A/PCV TPrate=78,7% 17,25 EF TPrate=69,7% FPrate=31,0% 190 Meilleurs résultats avec un seuil fixe Meilleurs résultats avec une fenêtre d’analyse de 20s Variables les plus pertinentes: D50, P80, A/PCV et F

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Analyse des différentes variables Système de détection Résultats Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Détection par fusion floue des variables pertinentes Fuzzification m(D50) m(P80) m(A/PCV) m(F) D50 P80 A/PCV F S mvidéo { Dvidéo=« fatigué » si mvidéo>0,5 Dvidéo=« éveillé » sinon

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Analyse des différents variables Système de détection Résultats Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Résultats TPrate=81,4% et FPrate=13,1% Indices: Fusion A50 P80 F A/PCV Résultats meilleurs avec la logique floue qu’avec les variables seules (c²McNemar=327,81>>c²(1)) TPrate=81,4% et FPrate=13,1%

Comparaison à la littérature Auteurs TPrate FPrate Technique Signal Picot et al., 2009 81,4% 13,1% Fusion floue des paramètres D50, P80, F et A/PCV EOG/ Vidéo Johns, 2007 75% 30% A/PCV uniquement Vidéo Omi et al., 2008 84% 9% Régression multiple sur une dizaine de paramètres EOG Hu & Zheng, 2009 81% 17% SVM sur une dizaine de paramètres Damousis et al., 2009 90% Système flou fusionnant durée fréquence et intervalle des clignements

Bilan Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG D50, P80, A/PCV et F sont les plus pertinents Détection par fusion de ces variables pertinentes Indépendant du conducteur Performances: TPrate=81,4% et FPrate=13,1%

Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Difficultés Interaction entre EEG et vidéo Synchronisation des approches développées Obtention de données EEG et vidéo d’hypovigilance Expertise de ces données

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle Système de fusion Résultats

Objectif Hypovigilance caractérisée par l’activité cérébrale et l’activité oculaire Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection

Présentation générale Objective Sleepiness Score Contenu EEG Clignements et mouvements d’yeux Beta, pas d’alpha, pas de thêta Normal 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent 3 alpha et thêta plus de 10s 4 alpha et thêta entre plus de 10s Éveillé Fatigué Très fatigué Vidéo EEG

Méthode de fusion Fusion DEEG EEG Dart 1 0 & Dart=1 Dvidéo 1 1 Vidéo Détection EEG DEEG “éveillé” EEG Dart 1 Détection d’artéfacts Dart 0 & Dart=1 “fatigué” Synchronisation temporelle Dvidéo “très fatigué” Dvidéo 1 1 Détection vidéo Vidéo

Plan Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle Système de fusion Résultats

Résultats Notre méthode Expert Fusion « aveugle » Notre système Eveillé Fatigué Très fatigué 82,1% 14,0% 3,7% 14,5% 72,6% 16,7% 3,4% 13,4% 79,6% Eveillé Fatigué Très fatigué 75,2% 11,0% 1,8% 14,9% 72,6% 16,8% 9,9% 16,4% 81,4% Notre système Meilleurs résultats avec notre méthode Confirmés par le test de McNemar (c²McNemar=302,47>>c²(1)) 80,6% de bonnes classifications sur 3 niveaux Éch. 5512 949 1096

Comparaison à la détection vidéo seule Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance Vidéo seule TPrate=81,4% FPrate=13,1% Vidéo + EEG: TPrate=79,6% FPrate=5,2% Forte diminution du taux de fausses alarmes Meilleurs résultats avec l’apport de l’information EEG (c²McNemar=428,62>>c²(1))

Comparaison à la littérature Auteurs Résultats Données Technique Niveaux d’HV Nombre de conducteurs Picot et al., 2009 80,6% EEG et vidéo Fusion floue et combinaison de décisions 3 20 Khardi & Hernandez-Gress, 2000 93% Mécaniques et vidéo Réseau de neurones 2 10 Ji et al., 2006 r=0,95 Vidéo et environnement Réseaux bayésiens % 8 Su & Zheng, 2007 TPrate=71% FPrate=42% Vidéo et mécaniques Théorie de l’évidence 44

Conclusions et perspectives

Difficultés du problème But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo Difficultés engendrées: Analyse et caractérisation des signaux EEG Caractérisation de l’hypovigilance à partir de la vidéo S’affranchir des différences interindividuelles Interaction entre EEG et vidéo Obtention de données d’hypovigilance Expertise de ces données

Solutions proposées Approche EEG utilisant un seul canal Approche vidéo par caméra rapide Système de détection d’hypovigilance par fusion d’informations EEG et vidéo Indépendant du conducteur Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents

Perspectives À court terme: À plus long terme Validation sur une base de données EEG et vidéo rapide synchronisée À plus long terme Améliorer la détection EEG Explorer les possibilités offertes par la vidéo Ajout des informations contextuelles Boucler ce système avec une approche orientée véhicule

Merci de votre attention!

Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009 Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009

Paramètres EOG pertinents Importance Durée, A50 1(Caffier, Sensation), 3(Galley) Tps ouverture 1(Caffier), 2(Galley,Sensation) Tps fermeture 1(Sensation), 3(Galley, Caffier) Fréquence 2(Sensation, Galley), 3(Caffier) Lid closure param 1(Galley), 2(Sensation), Lid opening param 1(Galley), 2(Sensation) Perclos 1(Galley) Amplitude 3(Galley, Caffier, Sensation) 1:très important, 2: important, 3:peu important