Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009

Présentation au sujet: "Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009"— Transcription de la présentation:

1 Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009
Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009

2 L’hypovigilance Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso) Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue… Dégradation des facultés de conduite Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)

3 État de l’art Deux types d’approches:
Orientée véhicule Position du véhicule sur la route Mouvements du volant Pression pédale de frein Vitesse Orientée conducteur Activité cérébrale Clignements des yeux Bâillements Direction du regard Expression Température

4 Situation Ressenti au volant: Difficulté à garder les yeux ouverts Manque de réactivité Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire (Renner & Mehring, 1997) Majorité des systèmes: soit orientés physiologie, soit vidéo Détection d’hypovigilance par fusion des informations cérébrales et visuelles

5 Plan de la présentation
Détection d’hypovigilance par analyse de l’activité cérébrale Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

6 Détection d’hypovigilance par analyse de l’activité cérébrale

7 Difficultés Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…) Obtention de données cérébrales d’hypovigilance Expertise de ces données S’affranchir des différences interindividuelles

8 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

9 L’électroencéphalogramme (EEG)
EEG: mesure de l’activité électrique du cerveau

10 Description de l’EEG d [0,5-4Hz] q [4-8Hz] a [8-12Hz] b [12-26Hz]
2s d’EEG d [0,5-4Hz] Sommeil profond q [4-8Hz] Méditation et somnolence a [8-12Hz] Hypovigilance, relaxation et yeux fermés b [12-26Hz] Concentration active g [26-100Hz] Fonctions motrices et cognitives

11 L’hypovigilance dans l’EEG
Augmentation de l’activité a et q (Gillberg et al., 1996) Baisse de l’activité b (Makeig et al, 2000) Principalement en zones pariétale (P) et centrale (C) (Bittner et al., 2001; Oken et al. 2006)

12 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

13 Le système de détection
But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

14 La comparaison de moyenne (MCT)
But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe La variable suit une loi normale Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT -u1-lMCT/2<u<u1-lMCT/2 x1mi s²1i x2mi s²2i

15 Le système de détection
But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

16 Les artéfacts Artéfacts: perturbation électrique du signal d’origine non cérébrale Origines: biologiques ou environnementales But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG

17 La comparaison de variances (VCT)
But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe La variable suit une loi de Fisher Egalité de variances éprouvée par un test bilatéral de seuil lart Flart/2<F<F1-lart/2 s²1i s²2i

18 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

19 La base de données Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg 60 heures de conduite à partir de 20 conducteurs différents 2 sessions de conduite de 1h30: Sans privation de sommeil: le conducteur a dormi une nuit complète Avec privation de sommeil: le conducteur a dormi 4 heures uniquement

20 Contenu Conduite sur simulateur 1 vidéo de contrôle 4 canaux EEG
1 canal EOG

21 Expertise Données expertisée toutes les 20s selon l’échelle OSS
Constitue une vérité de terrain Attention: pas d’échelle standard (contrairement au sommeil) Objective Sleepiness Score Contenu EEG Clignements et mouvements d’yeux Échantillons Beta, pas d’alpha, pas de thêta Normal 5512 (72,9%) 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 949 (12,6%) 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent 663 (8,8%) 3 alpha et thêta plus de 10s 407 (5,4%) 4 alpha et thêta entre plus de 10s 26 (0,3%) Objective Sleepiness Score Contenu EEG Clignements et mouvements d’yeux Beta, pas d’alpha, pas de thêta Normal 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent 3 alpha et thêta plus de 10s 4 alpha et thêta entre plus de 10s Échelle OSS (Muzet et al., 2003)

22 Évaluation des performances
Binarisation de la décision experte 3 Objective Sleepiness Score Contenu EEG Beta, pas d’alpha, pas de thêta 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s 3 alpha et thêta plus de 10s 4 alpha et thêta entre plus de 10s 2 1 Éveillé t(s) Binarisation Fatigué Fatigué Éveillé t(s)

23 Évaluations des performances
Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué » Expert 20s 40s 60s t(s) Notre système 20s 40s 60s t(s)

24 Évaluation des performances
Présentation par courbe COR: TPrate: taux de bonnes détections FPrate: taux de fausses alarmes Comparaison par le test de McNemar: n10: nombre d’échantillons bien classés par d1 mais pas par d2 n01: nombre d’échantillons bien classés par d2 mais pas par d Equivalence si (c²(1)=3,84 pour a=0,05)

25 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Caractérisation de l’hypovigilance par EEG Système de détection Données de validation Résultats obtenus Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle

26 Choix du canal (résultats obtenus sur la bande a)
lMCT=1,5 Classifieur aléatoire lMCT=5 Meilleurs résultats pour le canal P3 Résultats peu dégradés lorsque lMCT varie Indépendant du conducteur Pour la suite, on utilise uniquement le canal P3

27 Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3)
Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude Ce type d’artéfact ne représente que 2% de la base de données Pour la suite, on prend en compte la présence d’artéfacts

28 Résultats pour les différentes bandes de fréquence
Indices: Alpha Beta Theta Alpha|Theta (a+q)/b a et b sont les meilleurs indicateurs a est le meilleur indicateur q n’apporte pas d’informations pertinentes b et (a+q)/b donnent des résultats corrects

29 Détection par fusion floue des informations a et b
m(MCTa) m(MCTb) Fuzzification MCTa MCTb & mEEG { DEEG=« fatigué » si mEEG>0,5 DEEG=« éveillé » sinon

30 Résultats de la fusion Indices: Alpha Beta Fusion Résultats améliorés en fusionnant les informations a et b Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1)) TPrate=84,6% et FPrate=17,9%

31 Comparaison à la littérature
Auteurs Résultats Technique Nombre de canaux Nombre de conducteurs Picot et al., 2009 82,5% MCT et fusion floue sur a et b 1 20 Ben Khalifa et al., 2004 76% Réseau de neurones 4 Lin et al., 2005 r=0,88 Régression linéaire 33 10 Rosipal et al.,2007 77% modèle de mixtures gaussiens 3 32 Pal et al., 2008 r=0,78 Distance de Mahalanobis sur a et q 13

32 Bilan Détection par fusion des informations a et b
Fonctionne à partir d’un canal unique (P3) Détecteur d’artéfact pour évaluer la qualité du signal Indépendant du conducteur Performances: TPrate=84,6% et FPrate=17,9%

33 Détection d’hypovigilance par analyse des signes visuels

34 Problématique Clignements: indicateurs d’hypovigilance
Deux techniques: EOG: peu ergonomique Vidéo: plus pratique Dans quelle mesure la vidéo peut elle remplacer l’EOG? Quelle caractérisation d’hypovigilance possible par analyse vidéo?

35 Difficultés Détection des yeux, quel que soit leur état
Caractériser précisément les clignements Obtention de données oculaires d’hypovigilance Expertise de ces données S’affranchir des différences interindividuelles

36 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Détection d’hypovigilance par fusion des approches cérébrale et visuelle

37 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Caractérisation de clignements par analyse vidéo Comparaison des caractérisations vidéo et EOG Détection d’hypovigilance par analyse vidéo Détection d’hypovigilance par fusion des approches cérébrale et visuelle

38 Détection de clignements par analyse vidéo
But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil (A. Benoit, 2006) Testé sur la base BioID (1521 visages) 97% de bonnes détections

39 Détection des clignements
EOPL (contours statiques) EIPL (contours mobiles) Clignement validé! SIPL

40 Indicateurs de l’hypovigilance à partir d’un clignement
Plusieurs indicateurs peuvent être extraits des clignements EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements TF TO D EOPL (contours statiques) EIPL mobiles) A D50 P80 EF EO

41 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Caractérisation de clignements par analyse vidéo Comparaison des caractérisations vidéo et EOG Détection d’hypovigilance par analyse vidéo Détection d’hypovigilance par fusion des approches cérébrale et visuelle

42 Base de données de comparaison
14 participants (11 hommes, 3 femmes) Enregistrements de 1min EOG (250Hz) et vidéo Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps Echantillonnage 30fps 100fps 150fps 200fps Clignements 634 767 773

43 Comparaison entre vidéo et EOG
Détection des clignements par analyse vidéo Fréquence d’échantillonnage Détections correctes Non-détections Fausses alarmes 30fps 96,4% (611) 3,6% (23) 21 100fps 96,2% (738) 3,8% (29) 13 150fps 96,5% (612) 3,5% (22) 6 200fps 98,1% 1,9% (15) 3

44 Comparaison entre vidéo et EOG
L’évolution des différents indicateurs est liée à l’hypovigilance Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière. Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.

45 Coefficients de corrélation entre vidéo et EOG
Paramètre 30fps 100fps 150fps 200fps Durée 0,84 0,91 0,96 D50 0,72 0,93 0,97 Fermeture 0,26 0,36 0,31 0,40 Ouverture 0,32 0,33 Amplitude 0,56 0,45 0,38 Fréquence 0,99 PCV 0,34 0,43 0,49 0,60 P80 0,78 0,90 VF 0,46 0,48 0,61 VO 0,27 0,47 TR 0,39 0,41 0,42 A/PCV 0,67 0,76 0,82 EF et VF 0,68 0,74 EO et VO 0,35 0,58 0,44

46 Bilan Intérêt d’utiliser une caméra rapide (200fps)
Variables communes à la vidéo et à l’EOG: Durée Durée à 50% Fréquence P80 A/PCV Variable spécifique à la vidéo: EF corrélé à la vitesse de fermeture

47 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Analyse des différents variables Système de détection Résultats Détection d’hypovigilance par fusion des approches cérébrale et visuelle

48 Préambule But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées Pertinence de ces variables? Analyse réalisée sur les données EOG de la base de données du CEPA Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée Base de données du CEPA très riche Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo

49 Méthode Fenêtre d’analyse (20s, 40s ou 60s)
EOG Fenêtre d’analyse (20s, 40s ou 60s) Seuil de détection fixe ou par apprentissage Variable considérée t(s) Fatigué Décision Éveillé t(s)

50 Évaluation des performances
Binarisation des décisions expertes Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué » Objective Sleepiness Score Clignements et mouvements d’yeux Normal 1 2 Lent ou 3 4 « Éveillé » « Fatigué »

51 Résultats Meilleurs résultats avec un seuil fixe
Seuil sF D50 TPrate=81,3% FPrate=25,9% 130ms P80 TPrate=83,2% FPrate=21,3% 0,75% F TPrate=76,9% FPrate=18,7% 0,1Hz A/PCV TPrate=78,7% 17,25 EF TPrate=69,7% FPrate=31,0% 190 Meilleurs résultats avec un seuil fixe Meilleurs résultats avec une fenêtre d’analyse de 20s Variables les plus pertinentes: D50, P80, A/PCV et F

52 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Analyse des différentes variables Système de détection Résultats Détection d’hypovigilance par fusion des approches cérébrale et visuelle

53 Détection par fusion floue des variables pertinentes
Fuzzification m(D50) m(P80) m(A/PCV) m(F) D50 P80 A/PCV F S mvidéo { Dvidéo=« fatigué » si mvidéo>0,5 Dvidéo=« éveillé » sinon

54 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Comparaison entre vidéo et EOG Détection d’hypovigilance par analyse vidéo Analyse des différents variables Système de détection Résultats Détection d’hypovigilance par fusion des approches cérébrale et visuelle

55 Résultats TPrate=81,4% et FPrate=13,1%
Indices: Fusion A50 P80 F A/PCV Résultats meilleurs avec la logique floue qu’avec les variables seules (c²McNemar=327,81>>c²(1)) TPrate=81,4% et FPrate=13,1%

56 Comparaison à la littérature
Auteurs TPrate FPrate Technique Signal Picot et al., 2009 81,4% 13,1% Fusion floue des paramètres D50, P80, F et A/PCV EOG/ Vidéo Johns, 2007 75% 30% A/PCV uniquement Vidéo Omi et al., 2008 84% 9% Régression multiple sur une dizaine de paramètres EOG Hu & Zheng, 2009 81% 17% SVM sur une dizaine de paramètres Damousis et al., 2009 90% Système flou fusionnant durée fréquence et intervalle des clignements

57 Bilan Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG D50, P80, A/PCV et F sont les plus pertinents Détection par fusion de ces variables pertinentes Indépendant du conducteur Performances: TPrate=81,4% et FPrate=13,1%

58 Détection d’hypovigilance par fusion des approches cérébrale et visuelle

59 Difficultés Interaction entre EEG et vidéo
Synchronisation des approches développées Obtention de données EEG et vidéo d’hypovigilance Expertise de ces données

60 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle Système de fusion Résultats

61 Objectif Hypovigilance caractérisée par l’activité cérébrale et l’activité oculaire Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection

62 Présentation générale
Objective Sleepiness Score Contenu EEG Clignements et mouvements d’yeux Beta, pas d’alpha, pas de thêta Normal 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent 3 alpha et thêta plus de 10s 4 alpha et thêta entre plus de 10s Éveillé Fatigué Très fatigué Vidéo EEG

63 Méthode de fusion Fusion DEEG EEG Dart 1 0 & Dart=1 Dvidéo 1 1 Vidéo
Détection EEG DEEG “éveillé” EEG Dart 1 Détection d’artéfacts Dart 0 & Dart=1 “fatigué” Synchronisation temporelle Dvidéo “très fatigué” Dvidéo 1 1 Détection vidéo Vidéo

64 Plan Détection d’hypovigilance par analyse de l’activité cérébrale
Détection d’hypovigilance par analyse des signes visuels Détection d’hypovigilance par fusion des approches cérébrale et visuelle Système de fusion Résultats

65 Résultats Notre méthode Expert Fusion « aveugle » Notre système
Eveillé Fatigué Très fatigué 82,1% 14,0% 3,7% 14,5% 72,6% 16,7% 3,4% 13,4% 79,6% Eveillé Fatigué Très fatigué 75,2% 11,0% 1,8% 14,9% 72,6% 16,8% 9,9% 16,4% 81,4% Notre système Meilleurs résultats avec notre méthode Confirmés par le test de McNemar (c²McNemar=302,47>>c²(1)) 80,6% de bonnes classifications sur 3 niveaux Éch. 5512 949 1096

66 Comparaison à la détection vidéo seule
Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance Vidéo seule TPrate=81,4% FPrate=13,1% Vidéo + EEG: TPrate=79,6% FPrate=5,2% Forte diminution du taux de fausses alarmes Meilleurs résultats avec l’apport de l’information EEG (c²McNemar=428,62>>c²(1))

67 Comparaison à la littérature
Auteurs Résultats Données Technique Niveaux d’HV Nombre de conducteurs Picot et al., 2009 80,6% EEG et vidéo Fusion floue et combinaison de décisions 3 20 Khardi & Hernandez-Gress, 2000 93% Mécaniques et vidéo Réseau de neurones 2 10 Ji et al., 2006 r=0,95 Vidéo et environnement Réseaux bayésiens % 8 Su & Zheng, 2007 TPrate=71% FPrate=42% Vidéo et mécaniques Théorie de l’évidence 44

68 Conclusions et perspectives

69 Difficultés du problème
But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo Difficultés engendrées: Analyse et caractérisation des signaux EEG Caractérisation de l’hypovigilance à partir de la vidéo S’affranchir des différences interindividuelles Interaction entre EEG et vidéo Obtention de données d’hypovigilance Expertise de ces données

70 Solutions proposées Approche EEG utilisant un seul canal
Approche vidéo par caméra rapide Système de détection d’hypovigilance par fusion d’informations EEG et vidéo Indépendant du conducteur Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents

71 Perspectives À court terme: À plus long terme
Validation sur une base de données EEG et vidéo rapide synchronisée À plus long terme Améliorer la détection EEG Explorer les possibilités offertes par la vidéo Ajout des informations contextuelles Boucler ce système avec une approche orientée véhicule

72 Merci de votre attention!

73 Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009
Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009

74 Paramètres EOG pertinents
Importance Durée, A50 1(Caffier, Sensation), 3(Galley) Tps ouverture 1(Caffier), 2(Galley,Sensation) Tps fermeture 1(Sensation), 3(Galley, Caffier) Fréquence 2(Sensation, Galley), 3(Caffier) Lid closure param 1(Galley), 2(Sensation), Lid opening param 1(Galley), 2(Sensation) Perclos 1(Galley) Amplitude 3(Galley, Caffier, Sensation) 1:très important, 2: important, 3:peu important