La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009.

Présentations similaires


Présentation au sujet: "Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009."— Transcription de la présentation:

1 Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009

2 2 Lhypovigilance Conséquences: baisse de lattention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue… Dégradation des facultés de conduite Responsable dun accident sur trois sur autoroute (Sécurité Routière, 2009) Définition: état intermédiaire entre la veille et le sommeil durant lequel lorganisme a ses facultés dobservation et danalyse très réduites. (Reverso)

3 3 État de lart Deux types dapproches: Orientée véhicule Position du véhicule sur la route Mouvements du volant Pression pédale de frein Vitesse Orientée conducteur Activité cérébrale Clignements des yeux Bâillements Direction du regard Expression Température

4 4 Situation Ressenti au volant: Difficulté à garder les yeux ouverts Manque de réactivité Hypovigilance caractérisée par des modifications de lactivité cérébrale et de lactivité oculaire (Renner & Mehring, 1997) Majorité des systèmes: soit orientés physiologie, soit vidéo Détection dhypovigilance par fusion des informations cérébrales et visuelles

5 5 Plan de la présentation 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

6 Détection dhypovigilance par analyse de lactivité cérébrale

7 7 Difficultés Analyse des signaux issus du cerveau (résultent de lactivité de milliard de neurones, faible amplitude, bruit…) Obtention de données cérébrales dhypovigilance Expertise de ces données Saffranchir des différences interindividuelles

8 8 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 1.Caractérisation de lhypovigilance par EEG 2.Système de détection 3.Données de validation 4.Résultats obtenus 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

9 9 Lélectroencéphalogramme (EEG) EEG: mesure de lactivité électrique du cerveau

10 10 Description de lEEG [0,5-4Hz] [4-8Hz] [8-12Hz] [12-26Hz] 2s dEEG [26-100Hz] Sommeil profond Méditation et somnolence Hypovigilance, relaxation et yeux fermés Concentration active Fonctions motrices et cognitives

11 11 Lhypovigilance dans lEEG Augmentation de lactivité et Gillberg et al., 1996) Baisse de lactivité (Makeig et al, 2000) Principalement en zones pariétale (P) et centrale (C) (Bittner et al., 2001; Oken et al. 2006)

12 12 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 1.Caractérisation de lhypovigilance par EEG 2.Système de détection 3.Données de validation 4.Résultats obtenus 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

13 13 Le système de détection But: analyser les variations de lactivité dans les bandes de fréquence potentiellement intéressantes à partir dun canal unique Fatigué?

14 14 La comparaison de moyenne (MCT) But: comparer le contenu dune fenêtre glissante à une fenêtre fixe La variable suit une loi normale Egalité de moyennes éprouvée par un test bilatéral de seuil MCT -u 1- MCT/2

15 15 Le système de détection But: analyser les variations de lactivité dans les bandes de fréquence potentiellement intéressantes à partir dun canal unique Fatigué?

16 16 Les artéfacts Artéfacts: perturbation électrique du signal dorigine non cérébrale Origines: biologiques ou environnementales But: détection dartéfacts de haute amplitude pour évaluer la qualité du signal EEG

17 17 La comparaison de variances (VCT) But: comparer le contenu dune fenêtre glissante à une fenêtre fixe La variable suit une loi de Fisher Egalité de variances éprouvée par un test bilatéral de seuil art F art /2

18 18 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 1.Caractérisation de lhypovigilance par EEG 2.Système de détection 3.Données de validation 4.Résultats obtenus 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

19 19 La base de données Fournie par Centre dEtude de Physiologie Appliquée (CEPA) de Strasbourg 60 heures de conduite à partir de 20 conducteurs différents 2 sessions de conduite de 1h30: Sans privation de sommeil: le conducteur a dormi une nuit complète Avec privation de sommeil: le conducteur a dormi 4 heures uniquement

20 20 Contenu Conduite sur simulateur 1 vidéo de contrôle 4 canaux EEG 1 canal EOG

21 21 Expertise Données expertisée toutes les 20s selon léchelle OSS Constitue une vérité de terrain Attention: pas déchelle standard (contrairement au sommeil) Objective Sleepiness Score Contenu EEG Clignements et mouvements dyeux 0Beta, pas dalpha, pas de thêtaNormal 1 alpha et thêta dans pendant moins de 5 secondes en cumulé Normal 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent ou Normal 3 alpha et thêta entre 5 et 10s ou alpha et thêta plus de 10s Lent ou Normal 4alpha et thêta entre plus de 10sLent Échelle OSS (Muzet et al., 2003) Objective Sleepiness Score Contenu EEG Clignements et mouvements dyeux Échantillons 0Beta, pas dalpha, pas de thêtaNormal 5512 (72,9%) 1 alpha et thêta dans pendant moins de 5 secondes en cumulé Normal 949 (12,6%) 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent ou Normal 663 (8,8%) 3 alpha et thêta entre 5 et 10s ou alpha et thêta plus de 10s Lent ou Normal 407 (5,4%) 4alpha et thêta entre plus de 10sLent 26 (0,3%)

22 22 Évaluation des performances Binarisation de la décision experte Objective Sleepiness Score Contenu EEG 0Beta, pas dalpha, pas de thêta 1 alpha et thêta dans pendant moins de 5 secondes en cumulé 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s 3 ou alpha et thêta plus de 10s 4alpha et thêta entre plus de 10s t(s) Éveillé Fatigué t(s) Éveillé Fatigué Binarisation

23 23 Évaluations des performances Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué » Expert Notre système 20s40s t(s) 20s40s t(s) 60s

24 24 Évaluation des performances Présentation par courbe COR: TP rate : taux de bonnes détections FP rate : taux de fausses alarmes Comparaison par le test de McNemar: n 10 : nombre déchantillons bien classés par d 1 mais pas par d 2 n 01 : nombre déchantillons bien classés par d 2 mais pas par d 1 Equivalence si ( ²(1)=3,84 pour =0,05)

25 25 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 1.Caractérisation de lhypovigilance par EEG 2.Système de détection 3.Données de validation 4.Résultats obtenus 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

26 26 Choix du canal (résultats obtenus sur la bande ) Classifieur aléatoire MCT =1,5 MCT =5 Meilleurs résultats pour le canal P3 Résultats peu dégradés lorsque MCT varie Indépendant du conducteur Pour la suite, on utilise uniquement le canal P3

27 27 Influence de la détection dartéfacts (résultats obtenus sur la bande et le canal P3) Résultats améliorés lorsquon prend en compte les artéfacts de haute amplitude Ce type dartéfact ne représente que 2% de la base de données Pour la suite, on prend en compte la présence dartéfacts

28 28 Résultats pour les différentes bandes de fréquence est le meilleur indicateur napporte pas dinformations pertinentes et ( + )/ donnent des résultats corrects Indices: Alpha Beta Theta Alpha|Theta ( + )/ et sont les meilleurs indicateurs

29 29 Détection par fusion floue des informations et MCT Fuzzification (MCT ) & EEG D EEG =« fatigué »si EEG >0,5 D EEG =« éveillé »sinon {

30 30 Résultats de la fusion Résultats améliorés en fusionnant les informations et Confirmé par le test de McNemar ( ² McNemar =66,01>> ²(1)) TP rate =84,6% et FP rate =17,9% Indices: Alpha Beta Fusion

31 31 Comparaison à la littérature AuteursRésultatsTechnique Nombre de canaux Nombre de conducteurs Picot et al., ,5% MCT et fusion floue sur et 120 Ben Khalifa et al., %Réseau de neurones14 Lin et al., 2005 r=0,88Régression linéaire3310 Rosipal et al., %modèle de mixtures gaussiens332 Pal et al., 2008 r=0,78 Distance de Mahalanobis sur et 113

32 32 Bilan Détection par fusion des informations et Fonctionne à partir dun canal unique (P3) Détecteur dartéfact pour évaluer la qualité du signal Indépendant du conducteur Performances: TP rate =84,6% et FP rate =17,9%

33 Détection dhypovigilance par analyse des signes visuels

34 34 Problématique Clignements: indicateurs dhypovigilance Deux techniques: EOG: peu ergonomique Vidéo: plus pratique Dans quelle mesure la vidéo peut elle remplacer lEOG? Quelle caractérisation dhypovigilance possible par analyse vidéo?

35 35 Difficultés Détection des yeux, quel que soit leur état Caractériser précisément les clignements Obtention de données oculaires dhypovigilance Expertise de ces données Saffranchir des différences interindividuelles

36 36 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 1.Comparaison entre vidéo et EOG 2.Détection dhypovigilance par analyse vidéo 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

37 37 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 1.Comparaison entre vidéo et EOG 1.Caractérisation de clignements par analyse vidéo 2.Comparaison des caractérisations vidéo et EOG 2.Détection dhypovigilance par analyse vidéo 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

38 38 Détection de clignements par analyse vidéo But: détecter les clignements à partir de signaux dénergie calculés dans la zone de lœil (A. Benoit, 2006) Testé sur la base BioID (1521 visages) 97% de bonnes détections

39 39 Détection des clignements E OPL (contours statiques) E IPL (contours mobiles) S IPL Clignement validé!

40 40 Indicateurs de lhypovigilance à partir dun clignement Plusieurs indicateurs peuvent être extraits des clignements EOG (mesure de lactivité électrique de lœil) sert traditionnellement à la caractérisation des clignements E OPL (contours statiques) E IPL (contours mobiles) TFTF TOTO D D50 A P80 EOEO EFEF

41 41 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 1.Comparaison entre vidéo et EOG 1.Caractérisation de clignements par analyse vidéo 2.Comparaison des caractérisations vidéo et EOG 2.Détection dhypovigilance par analyse vidéo 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

42 42 Base de données de comparaison 14 participants (11 hommes, 3 femmes) Enregistrements de 1min EOG (250Hz) et vidéo Durée moyenne dun clignement ~150ms: seulement 5 images à 30fps 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps Echantillonnage30fps100fps150fps200fps Clignements

43 43 Comparaison entre vidéo et EOG Détection des clignements par analyse vidéo Fréquence déchantillonnage Détections correctes Non- détections Fausses alarmes 30fps 96,4% (611) 3,6% (23) fps 96,2% (738) 3,8% (29) fps 96,5% (612) 3,5% (22) 6 200fps 98,1% (738) 1,9% (15) 3

44 44 Comparaison entre vidéo et EOG Lévolution des différents indicateurs est liée à lhypovigilance Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière. Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.

45 45 Coefficients de corrélation entre vidéo et EOG Paramètre30fps100fps150fps200fps Durée0,840,91 0,96 D500,720,960,930,97 Fermeture0,260,360,310,40 Ouverture0,320,36 0,33 Amplitude0,560,450,380,45 Fréquence0,970,99 PCV0,340,430,490,60 P800,780,900,910,93 VFVF 0,340,460,480,61 VOVO 0,270,470,490,60 TRTR 0,390,410,380,42 A/PCV0,670,760,820,78 E F et V F 0,460,68 0,74 E O et V O 0,350,610,580,44

46 46 Bilan Intérêt dutiliser une caméra rapide (200fps) Variables communes à la vidéo et à lEOG: Durée Durée à 50% Fréquence P80 A/PCV Variable spécifique à la vidéo: E F corrélé à la vitesse de fermeture

47 47 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 1.Comparaison entre vidéo et EOG 2.Détection dhypovigilance par analyse vidéo 1.Analyse des différents variables 2.Système de détection 3.Résultats 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

48 48 Préambule But: développer un système de détection dhypovigilance à partir des différentes variables trouvées Pertinence de ces variables? Analyse réalisée sur les données EOG de la base de données du CEPA Difficulté dobtenir une base de données vidéo dhypovigilance expertisée Base de données du CEPA très riche Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo

49 49 Méthode EOG t(s) Fenêtre danalyse (20s, 40s ou 60s) Variable considérée t(s) Éveillé Fatigué Seuil de détection fixe ou par apprentissage Décision

50 50 Évaluation des performances Binarisation des décisions expertes Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué » Objective Sleepiness Score Clignements et mouvements dyeux 0Normal 1 2 Lent ou Normal 3 Lent ou Normal 4Lent « Fatigué » « Éveillé »

51 51 Résultats Meilleurs résultats avec un seuil fixe Meilleurs résultats avec une fenêtre danalyse de 20s Variables les plus pertinentes: D50, P80, A/PCV et F RésultatsSeuil s F D50 TP rate =81,3% FP rate =25,9% 130ms P80 TP rate =83,2% FP rate =21,3% 0,75% F TP rate =76,9% FP rate =18,7% 0,1Hz A/PCV TP rate =78,7% FP rate =18,7% 17,25 EFEF TP rate =69,7% FP rate =31,0% 190

52 52 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 1.Comparaison entre vidéo et EOG 2.Détection dhypovigilance par analyse vidéo 1.Analyse des différentes variables 2.Système de détection 3.Résultats 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

53 53 Détection par fusion floue des variables pertinentes D50 P80 A/PCV F Fuzzification (D50) (P80) (A/PCV) (F) vidéo D vidéo =« fatigué »si vidéo >0,5 D vidéo =« éveillé »sinon {

54 54 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 1.Comparaison entre vidéo et EOG 2.Détection dhypovigilance par analyse vidéo 1.Analyse des différents variables 2.Système de détection 3.Résultats 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle

55 55 Résultats Résultats meilleurs avec la logique floue quavec les variables seules ( ² McNemar =327,81>> ²(1)) TP rate =81,4% et FP rate =13,1% Indices: Fusion A50 P80 F A/PCV

56 56 Comparaison à la littérature AuteursTP rate FP rate TechniqueSignal Picot et al., ,4%13,1% Fusion floue des paramètres D50, P80, F et A/PCV EOG/ Vidéo Johns, %30%A/PCV uniquementVidéo Omi et al., %9% Régression multiple sur une dizaine de paramètres EOG Hu & Zheng, %17% SVM sur une dizaine de paramètres EOG Damousis et al., %30% Système flou fusionnant durée fréquence et intervalle des clignements Vidéo

57 57 Bilan Caméra à 200fps permet dobtenir D50, P80, A/PCV, F et E F avec la même précision que par EOG D50, P80, A/PCV et F sont les plus pertinents Détection par fusion de ces variables pertinentes Indépendant du conducteur Performances: TP rate =81,4% et FP rate =13,1%

58 Détection dhypovigilance par fusion des approches cérébrale et visuelle

59 59 Difficultés Interaction entre EEG et vidéo Synchronisation des approches développées Obtention de données EEG et vidéo dhypovigilance Expertise de ces données

60 60 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle 1.Système de fusion 2.Résultats

61 61 Objectif Hypovigilance caractérisée par lactivité cérébrale et lactivité oculaire Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection

62 62 Présentation générale Objective Sleepiness Score Contenu EEG Clignements et mouvements dyeux 0 Beta, pas dalpha, pas de thêta Normal 1 alpha et thêta dans pendant moins de 5 secondes en cumulé Normal 2 alpha et thêta moins de 5s ou alpha et thêta entre 5 et 10s Lent ou Normal 3 alpha et thêta entre 5 et 10s ou alpha et thêta plus de 10s Lent ou Normal 4 alpha et thêta entre plus de 10s Lent EEG Vidéo Éveillé Fatigué Très fatigué

63 63 Méthode de fusion D EEG D vidéo très fatigué fatigué éveillé D art & D art =1 Fusion Détection EEG Détection dartéfacts Détection vidéo Synchronisation temporelle D EEG D art D vidéo EEG Vidéo

64 64 Plan 1.Détection dhypovigilance par analyse de lactivité cérébrale 2.Détection dhypovigilance par analyse des signes visuels 3.Détection dhypovigilance par fusion des approches cérébrale et visuelle 1.Système de fusion 2.Résultats

65 65 Résultats EveilléFatigué Très fatigué Eveillé82,1%14,0%3,7% Fatigué14,5%72,6%16,7% Très fatigué 3,4%13,4%79,6% EveilléFatigué Très fatigué Eveillé75,2%11,0%1,8% Fatigué14,9%72,6%16,8% Très fatigué 9,9%16,4%81,4% Notre méthodeFusion « aveugle » Éch Meilleurs résultats avec notre méthode Confirmés par le test de McNemar ( ² McNemar =302,47>> ²(1)) 80,6% de bonnes classifications sur 3 niveaux Expert Notre système

66 66 Comparaison à la détection vidéo seule Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau dhypovigilance Forte diminution du taux de fausses alarmes Meilleurs résultats avec lapport de linformation EEG ( ² McNemar =428,62>> ²(1)) Vidéo seule TP rate =81,4% FP rate =13,1% Vidéo + EEG: TP rate =79,6% FP rate =5,2%

67 67 Comparaison à la littérature AuteursRésultatsDonnéesTechnique Niveaux dHV Nombre de conducteurs Picot et al., ,6%EEG et vidéo Fusion floue et combinaison de décisions 320 Khardi & Hernandez- Gress, % Mécaniques et vidéo Réseau de neurones210 Ji et al., 2006r=0,95 Vidéo et environnement Réseaux bayésiens%8 Su & Zheng, 2007 TP rate =71% FP rate =42% Vidéo et mécaniques Théorie de lévidence244

68 Conclusions et perspectives

69 69 Difficultés du problème But: un système de détection dhypovigilance par fusion des informations physiologiques et vidéo Difficultés engendrées: Analyse et caractérisation des signaux EEG Caractérisation de lhypovigilance à partir de la vidéo Saffranchir des différences interindividuelles Interaction entre EEG et vidéo Obtention de données dhypovigilance Expertise de ces données

70 70 Solutions proposées Approche EEG utilisant un seul canal Approche vidéo par caméra rapide Système de détection dhypovigilance par fusion dinformations EEG et vidéo Indépendant du conducteur Performant: 80% de bonnes détections de 3 niveaux d hypovigilance sur 20 conducteurs différents

71 71 Perspectives À court terme: Validation sur une base de données EEG et vidéo rapide synchronisée À plus long terme Améliorer la détection EEG Explorer les possibilités offertes par la vidéo Ajout des informations contextuelles Boucler ce système avec une approche orientée véhicule

72 Merci de votre attention!

73 Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009

74 74 Paramètres EOG pertinents ParamètreImportance Durée, A501(Caffier, Sensation), 3(Galley) Tps ouverture1(Caffier), 2(Galley,Sensation) Tps fermeture1(Sensation), 3(Galley, Caffier) Fréquence2(Sensation, Galley), 3(Caffier) Lid closure param1(Galley), 2(Sensation), Lid opening param1(Galley), 2(Sensation) Perclos1(Galley) Amplitude3(Galley, Caffier, Sensation) 1:très important, 2: important, 3:peu important


Télécharger ppt "Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009."

Présentations similaires


Annonces Google