Couplage visuo-haptique en environnement de conduite simulée Soutenance de thèse Jury Pr. Philippe Fuchs, Centre Robotique Pr. Stéphane Espié, IFSTTAR Pr. Jean-Christophe Popieul, LAMIH Pr. Andras Kemeny, Renault CTS, Le2i Pr. Frédéric Mérienne, Le2i Dr. Franck Mars, IRCCyN

Contexte Thèse CIFRE : Renault, Centre Technique de Simulation (CTS) Ces travaux s’inscrivent dans différents projets de recherche, européens et nationaux  Besoin de préserver au mieux la validité écologique de notre étude Les modalités visuelle et haptique du conducteur sont sollicitées lors d’une tâche de conduite Dans la panoplie des systèmes d’aide à la conduite, les interfaces visuelles sont omniprésentes, tandis que les interfaces haptiques sont sous-utilisées (excepté le retour d’effort volant) Thèse pluridisciplinaire : neurosciences, psychophysique, sciences cognitives, spécificités de la conception automobile, réalité virtuelle La particularité, liée au caractère CIFRE de la thèse, est d’avoir lié chacune des expérimentations à un projet de recherche en cours au sein du CTS. Il a donc fallu concilier problématiques de recherche fondamentale et problématiques appliquées à l’automobile Dans cette thèse, nous avons voulu étudier le couplage visuo-haptique en environnement de conduite simulée. L’idée part du fait que le canal haptique est peu utilisé dans l’automobile.

Problématiques Problématiques scientifiques Pondération et intégration des modalités visuelle et haptique en conduite Détection consciente et inconsciente des perturbations visuo-haptiques Mécanismes d’adaptation du système sensorimoteur aux perturbations visuo-haptiques Problématiques industrielles Délais visuels dans les assemblages virtuels Pertinence de la modalité haptique pour l’assistance à l’éco-conduite Gestion du retour d’effort dans la démultiplication de la direction du véhicule Pour mener à bien ces travaux, nous avons isolé des problématiques scientifiques et industrielles Fil conducteur problématique industrielle : On fait varier la nature du conflit

Plan Bibliographie Expérimentation 1 : assemblage virtuel Expérimentation 2 : assistance à l’éco-conduite Expérimentation 3 : démultiplication de la direction Synthèse Expliquer la suite logique dans le plan Les expés décrivent des contextes différents dans lesquels le couplage visuo-haptique est altéré pour voir comment les sujets s’adaptent Nous avons abordé diverses conditions d’altération des modalités visuelle ou haptique afin d’introduire un conflit et ainsi étudier les mécanismes d’adaptation du système visuo-haptique.

Bibliographie

Modalité visuelle Perception visuelle Interprétation de la profondeur Cristallin Rétine Nerf optique Corps genouillé Cortex visuel Interprétation de la profondeur Convergence et accommodation (distances courtes < 3m) Disparité binoculaire (distances moyennes) Perspective (distances longues) Parallaxe Rappel perception visuelle La perception visuelle n’est pas seulement une mécanique physiologique… elle fait intervenir des mécanismes cognitifs d’interprétation de la réalité  si on prend l’exemple de la profondeur…

Modalité haptique Perception haptique Toucher actif Effet d’oblique Récepteurs cutanés Corpuscules de Paccini, Ruffini, Meissner, Merkel Récepteurs musculaires et articulaires Sensibilité à la position (fuseaux neuromusculaires, récepteurs capsulaires de Ruffini) Sensibilité au mouvement Sensibilité à la force (organes de Golgi) Toucher actif Exploration haptico-proprioceptive des formes Effet d’oblique Cette anisotropie serait due à l’influence de l'effort gravitationnel qui s’exerce sur le système épaule-main (Gentaz & Hatwell, 1995, 1996, 1998) La perception haptique fait intervenir plusieurs types de récepteurs… Toucher actif : Les infos haptiques se melent aux infos proprioceptives pour explorer la forme des objets avec la main. exploration haptico-proprioceptive des formes. Les collision permettent d’identifier les limites de l’enveloppe de l’objet, tandis que les informations proprioceptives en donnent la forme Comme pour le visuel, l’haptique présente un effet d’oblique

Intégration visuo-haptique Approche statistique Plus la variance des estimations d’une modalité (visuelle ou haptique) est grande, plus l’autre modalité pèsera dans l’intégration visuo-haptique des informations (Ernst & Young, 2002) Densité probabilité à répartition gaussienne

Intégration visuo-haptique Evolution dynamique de la pondération des informations visuelles et haptiques en fonction des conditions expérimentales La précision du toucher resterait inchangée quelle que soit l’orientation de la mesure, tandis que la vision serait plus précise que l’haptique dans le plan frontal, et moins précise pour mesurer la profondeur (Gepshtein & Banks, 2003) Il existe une évolution dynamique…. Prenons l’exemple d’une étude où il faut estimer l’écartement entre deux surfaces orientées différemment à l’aide des modalités visuelle et haptique. Plan frontal (rouge) Plan perpendiculaire (bleu) Plan intermédiaire (vert)

Couplage visuo-haptique en conduite Perception et action des conducteurs Modèle des interactions sensorimotrices impliquées dans une tâche de conduite (Pick & Cole, 2003) Nous avons évoqué les interactions visuo-haptiques dans un contexte donné. Plaçons nous dans le cadre de la conduite Il existe des modèles d’interaction sensorimotrice, où on peut constater le role de l’haptique et du visuel dans la perception et l’action des conducteurs Dans un premier temps, en fonction des indices visuels de la route, le conducteur planifie une trajectoire à suivre, ainsi que les actions à effectuer au volant pour y parvenir. Ensuite, une boucle fermée s'engage, dans laquelle le système nerveux central intègre cette trajectoire planifiée ; la dynamique du véhicule par les indices visuels et vestibulaires de la conduite ; l'état de ses bras et les informations de retour d'effort transmises par le volant grâce à une multitude d'indices haptiques, visuels et proprioceptifs. Il en ressort une commande motrice qui activera le comportement des bras du conducteur afin de mettre à jour l'angle au volant.

Couplage visuo-haptique en conduite Stratégies d’adaptation sensorimotrice Modulation d’impédance Les conducteurs semblent avoir régulièrement recours à la co-contraction des muscles antagonistes pour raidir les bras lorsqu'ils tournent le volant ou le maintiennent en position (Pick & Cole, 2006, 2007) Modèles internes Grâce à l’apprentissage, le modèle interne du fonctionnement du véhicule permet de prédire les commandes motrices pour suivre la trajectoire désirée Combinaison de stratégies Lorsqu’une perturbation du système sensorimoteur intervient, la stratégie d’adaptation par modulation d’impédance est privilégiée. La mise à jour du modèle de l’environnement permet un retour progressif à la stratégie des modèles internes (Morasso & Sanguinetti, 2003 ; Gribble & al, 2003) Pendant la conduite, les conducteurs utilisent différentes stratégies d’adaptation sensorimotrice…. On distingue Modulation impédance  gommer les perturbations de position ou d’effort

Expérimentation 1 : assemblage virtuel

Problématiques Evaluer un seuil de tolérance pour les délais visuels dans les tâches d’assemblage virtuel Comprendre les mécanismes qui tendent à compenser les désynchronisations visuo-haptiques Cerner les limites d’adaptation du système visuo-haptique aux délais visuels Dans cette expérimentation, nous allons chercher à…

Contexte Démonstrateur iVIMA Bras à retour d’effort 6D Virtuose Grand écran bi-stéréoscopique Barco Le calcul en temps réel des 4 images qui composent la vision bi-stéréoscopique du démonstrateur IViMA  Temps de calcul important  Besoin de connaitre le seuil de gêne sur les délais visuels

Bibliographie Introduction d’un délai visuel ou haptique entraine une dégradation de la performance de pointage (Ferrell & al, 1963, 1966 ; Jergle & al, 2006) Introduction délai visuo-haptique  Domination perceptive de la modalité qui est la plus sollicitée par la tâche réalisée Tâche basique de pointage : domination visuelle (Jay & Hubbold, 2004) Tâche complexe de télé-chirurgie : domination haptique (Ottensmeyer & al, 2000) D’après la littérature, l’introduction…

Protocole 5 participants Tâche Essais Stimuli 3 sujets masculins et 2 sujets féminins Tâche Déplacer et orienter le cube pour réaliser l’assemblage demandé Essais Phase d’entrainement sans délais (Condition référence : 10 essais) Phase expérimentale avec délais (Conditions aléatoires : 10 conditions x 10 essais) Stimuli 10 délais visuels entre 0 et 500 ms, avec un pas de 50 ms Présentation des délais aléatoire Question à choix double forcé : oui/non « Avez-vous ressenti une gêne pendant l’exécution de la tache ?»… sans préciser que la gêne provient d’un délai sur le retour visuel

Dispositif expérimental Repère pour revenir aux conditions initiales (position du bras) à chaque essai Capteurs et actuateurs du bras peuvent fournir une fréquence de 1 Khz Boucle physique et boucle visuelle pas à la même fréquence  retard du visuel incompressible 35ms

Résultats Courbes psychométriques (% réponses positives)

Discussion Pas de dégradation de la performance avant la détection d’une gêne  Adaptation inconsciente au délai visuel Dans une certaine limite, nous pouvons tolérer un délai de désynchronisation entre deux signaux pendant lequel nous les percevons synchronisés (Vogels, 2004) Détection consciente de la désynchronisation  capture visuelle : le visuel étant retardé, la capture visuelle entraine une dégradation rapide de la performance Seuil délai visuel 250 ms  saccades des mouvements de la main (Vercher & al, 1992) On n’observe pas de dégradation de la performance en dessous du seuil de gêne… Ce résultat est cohérent avec la littérature : Dans une certaine limite….

Conclusion et perspectives Seuil gêne 300 ms pour les délais visuels Avant ce seuil, adaptation inconsciente au conflit visuo-haptique  pas de dégradation de la performance Apres ce seuil, domination de la modalité visuelle  dégradation rapide de la performance Perspectives : impacts sur les performances d’assemblage Impact des gains visuo-haptiques (Lécuyer & al, 2001) Impact de la co-localisation dans les assemblages virtuels (Jansson & Öström, 2004 ; Swapp & al, 2006) Impact de la complexité de la tâche d’assemblage  Domination visuelle ou haptique Persspectives = pour continue cette étude…

Expérimentation 2 : assistance à l’éco-conduite

Problématiques Evaluer l’efficacité des règles basiques d’éco-conduite (sans assistance) Evaluer et comparer l’efficacité de l’éco-conduite avec les assistance visuelle, haptique et visuo-haptique Observer le comportement des conducteur lors de la première utilisation d’une pédale à retour d’effort, ce qui pourrait paraitre intrusif dans le contrôle du véhicule Utiliser des moyens expérimentaux applicables aux véhicules en série

Contexte Contexte d’éco-conduite Assistance visuelle Pratique de l’éco-conduite avec des règles simples Volonté de réduire les émissions polluantes par tous les acteurs du secteur automobile Assistance visuelle Affichage numérique de la consommation instantanée Interfaces visuelles d’éco-conduite à changement de couleur Assistance pédale haptique Nissan : ECO Pedal© Continental : accelerator force feedback pedal AFFP©

Bibliographie Compétition attention visuelle : route / affichages d’aide à la conduite (Recarte & al, 2003 ; Summala & al, 1998) Suivi de véhicule et limitation de vitesses : la pédale haptique permet une amélioration de la performance et une diminution du workload conducteur (Várhelyi & al, 2004 ; Kuge & al, 2006 ; Mulder & al, 2008) Les conducteurs utilisent la co-contraction des muscles antagonistes des bras pour contrôler le véhicule (Pick & Cole, 2006, 2007 ; Toffin & al, 2003 ; Abbink & al, 2004) Malgré leurs différences neuronales et anatomiques, le pied et la main paraissent accomplir leurs fonctions perceptives avec la même facilité (Hajnal & al, 2007) Un conducteur est capable de réaliser des modifications très rapides de l'impédance du pied, pour s'adapter à la spécificité de la tâche à accomplir (Abbink & al, 2004) Tâche de contrôle en position de la pédale Tâche de contrôle en effort de la pédale D’après la littérature, il existe une compétition…

Protocole Tâche 28 participants Conditions Conduire dans un environnement virtuel urbain, le long d’un trajet prédéfini Pas de trafic sur le parcours 28 participants (Sn) None : groupe de contrôle (Sv) Visual : groupe assisté avec interface visuelle (Sh) Haptic : groupe assisté avec interface haptique (Svh) Visual-haptic : groupe assisté avec interfaces visuelle et haptique Conditions T1ref : conduire sans instructions particulières T2eco-behavior : conduire avec l’instruction de ne pas dépasser 2000 tr/min T3eco-assistance : identique à T2 + aide d’une assistance à l’éco-conduite T4eco-behavior : identique à T2

Dispositif expérimental Simulateur CARDS (CTS) Logiciel simulation SCANeR2© Cockpit modulaire, instrumenté avec des pièces série Ecran 150° champ de vision horizontal Deux dispositifs d’assistance à l’éco-conduite Une interface visuelle sur la console centrale (jauge) Une pédale d’accélérateur couplée à un moteur piloté  Ces deux dispositifs fournissent aux conducteurs un retour d’information corrélé à leur niveau d’éco-performance

Environnement virtuel

Loi d’éco-conduite Acc_veh = accélération véhicule Acc_opt = accélération optimale ∆Acc = sur-accélération Xpedal = position pédale ∆Acc = Acc_veh – Acc_opt Fadditionnel = K . Xpedal . (∆Acc / Acc_opt) avec K = facteur raideur pédale La loi d’éco-conduite qui est derrière notre stratégie d’assistance du conducteur est assez simple…

Résultats : consignes d’éco-conduite Contribution des instructions verbales à l’éco-performance Réduction significative des émissions polluantes totales de 5% Les accélérations des conducteurs se rapprochent de notre modèle d’accélérations optimales F(1.88)= 19,87; p<0.001 F(1.88)= 25,85; p<0.001

Résultats : comparaison des conditions assistées Contribution des assistances d’éco-conduite L’utilisation des systèmes d’aide à l’éco-conduite permet une réduction supplémentaire de 5 à 7%, en comparaison aux instructions verbales La stimulation haptique est aussi efficace que la stimulation visuelle en termes de performances d’éco-conduite T3eco-assistance (Sn vs Sv) F(1.88)= 4,69; p<0.05 T3eco-assistance (Sn vs Sh) F(1.88)= 5,74; p<0.05 T3eco-assistance (Sn vs Svh) F(1.88)= 7,51; p<0.01 T3eco-assistance (Sn vs Sv) F(1.88)= 4,42; p<0.05 T3eco-assistance (Sn vs Sh) F(1.88)= 6,35; p<0.05 T3eco-assistance (Sn vs Svh) F(1.88)= 7,86; p<0.005

Résultats : éco-comportement vs éco-assistance Auto-amélioration de l’éco-performance Diminution significative de l’écart type de la position de la pédale d’accélérateur dans les essais assistés par la modalité haptique, en comparaison aux essais avec instructions verbales d’éco-conduite Dans le groupe assisté par la modalité visuelle, cette réduction n’est pas significative Sv (T2 + T4 vs T3) NS Sh (T2 + T4 vs T3) F(1.88)= 12,84; p<0.001 Svh (T2 + T4 vs T3) F(1.88)= 14,23; p<0.001 Sv (T2 + T4 vs T3) NS Sh (T2 + T4 vs T3) F(1.88)= 6,62; p<0.05 Svh (T2 + T4 vs T3) F(1.88)= 9,38; p<0.005

Discussion Contribution des instructions verbales à l’éco-performance Réduction significative des émissions polluantes totales de 5% Les accélérations des conducteurs se rapprochent de notre modèle d’accélérations optimales Contribution des systèmes d’aide à l’éco-conduite L’utilisation des systèmes d’aide à l’éco-conduite permet une réduction supplémentaire de 5 à 7%, en comparaison aux instructions verbales La stimulation haptique est aussi efficace que la stimulation visuelle en termes de performances d’éco-conduite Auto-amélioration de l’éco-performance Diminution significative du workload dans les essais assistés par la modalité haptique Dans le groupe assisté par la modalité visuelle, cette réduction n’est pas significative

Discussion Réaction des conducteurs à l’utilisation de la pédale à retour d’effort Meilleure efficacité de la pédale à retour d’effort sur la stabilité du pied Modification rapide de l’impédance du pied des conducteurs  Bonne adaptation aux modulations de signaux haptiques Le raidissement de la pédale semble entrainer une stimulation inhibitoire reflex Intégration visuo-haptique Canal visuel saturé  Poids de la modalité visuelle chute (Helbig & Ernst, 2008) Réelle auto-amélioration avec le retour haptique (Sh et Svh)  Modalité haptique plus adaptée à la tâche d’éco-conduite

Conclusion et perspectives Efficacité des comportements simples d’éco-conduite Amélioration apportées par les interfaces d’assistance à l’éco-conduite (visuelle ou haptique) Réduction significative du workload conducteur dans les conditions assistées par la pédale à retour d’effort Les conducteurs se fient apparemment plus à la modalité haptique lorsqu’ils ont les deux interfaces à leur disposition Conditions expérimentales non écologiques : absence de trafic routier Etudes ultérieures : impact du trafic routier et des situations critiques d’usage

Expérimentation 3 : démultiplication de la direction

Problématiques Adaptation sensorimotrice aux gains visuo-haptiques au volant Optimisation du couple d’assistance au volant dans une direction à démultiplication variable

Contexte Sur la plupart des véhicules actuels, le ratio de démultiplication entre le volant et les roues est de 1/16 Le calculateur alimente le moteur d'assistance du volant en fonction : De l'angle appliqué au volant Du couple conducteur De la vitesse du véhicule Démultiplication variable de la direction en introduisant un gain sur le ratio roues / volant  Variable Steering Ratio (VSR) BMW : Active Front Steering (AFS) Toyota : Variable Gain-Ratio Steering (VGRS) Audi : Dynamic steering

Bibliographie Perception et action du conducteur Contrôle en boucle ouverte : modèle inverse  consigne angle volant (Cunningham & al, 2001) Modèle interne : anticiper la dynamique du véhicule  minimiser les erreurs en boucle ouverte Contrôle en boucle fermée : retour d’erreur  corrections (Wallis & al, 2007) Adaptation des conducteurs aux perturbations sensorimotrices Modulation d’impédance des bras (Gribble & al, 2003) Mise à jour du modèle interne Premier recours : Stratégie grossière  Modulation d’impédance des bras pour continuer à contrôler le véhicule

Protocole Tâche : enchainement de 2 x 3 slaloms distincts 500 790 1080 1370 1660 1950 Protocole Tâche : enchainement de 2 x 3 slaloms distincts 5 participants (4 masculins, 1 féminin) Conduite très sollicitante : dynamique en slalom assez sèche Essais courts et réservés aux habitués des simulateurs dynamiques Plan d’expérience 1 essai avec condition Sd : 3 premiers slaloms sans gains, 3 derniers slaloms avec un gain double sur la démultiplication 1 essai avec condition Sd&c : 3 premiers slaloms sans gains, 3 derniers slaloms avec un gain double corrélé sur la démultiplication et le retour d’effort au volant

Résultats Gain démultiplication Gain démultiplication & couple volant Application des gains au volant Conditions initiales

Résultats Ré-échantillonnement angle volant en fonction de l’abscisse de la route  écart en valeur absolue de l’angle entre les deux conditions

Discussion Adaptation sensorimotrice aux gains de démultiplication et de couple Adaptation très rapide dans les deux conditions Gain démultiplication  réduction variabilité vitesse rotation volant Intérêt de la corrélation gains démultiplication et couple non vérifié  Préconisation validée par (Liu & Chang, 1995 ; Chai, 2004) Adaptation consciente au changement de démultiplication Distorsion brutale (gain double)  les conducteurs sont conscient des changements de paramétrage de la direction (Kagerer & al, 1997) Adaptation plus facile à un changement de démultiplication progressif Réduction variabilité vitesse volant  montre adaptation à la sensibilité accrue du volant. Afin de garder la même dynamique du véhicule, en tournant moins le volant (Liu & Chang, 1995) : le doublement du gain de démultiplication, non corrélé à un doublement du gain de couple volant, semble influencer négativement le jugement subjectif des conducteurs. (Chai, 2004) : tâche de changement de file à 60 km/h. le retour d’effort doit de préférence être corrélé à la dynamique du véhicule (niveau d'accélération latérale), plutôt qu’à l’angle au volant. (Kagerer & al, 1997) : il est plus facile de s'adapter à une distorsion progressive qu'à une distorsion brutale du retour visuel.

Conclusion et perspectives Préconisation : corréler les gains de démultiplication et de couple volant Retour d’effort asservi à l’accélération latérale plutôt qu’à l’angle volant Adaptation consciente ou inconsciente? Gain démultiplication double  adaptation consciente Gain couple : adaptation inconsciente (Toffin & al, 2003) Identifier la limite d’adaptation sensorimotrice des conducteurs Direction à démultiplication variable asservie à la vitesse du véhicule

Synthèse

Synthèse Pondération dynamique des indices visuels et haptiques dans l’intégration visuo-haptique en fonction de la fiabilité de chaque modalité dans le contexte expérimental Dans différentes conditions expérimentales, le système visuo-haptique a une grande capacité d’adaptation aux conflits visuo-haptiques Adaptation aux délais visuo-haptiques Adaptation à la suppression de l’une ou l’autre des modalités Adaptation aux gains sur l’une ou l’autre des modalités Dans une certaine limite, l’adaptation est inconsciente, puis la perturbation devient consciente à partir d’un certain seuil  L’adaptation inconsciente est plus efficace que l’adaptation consciente

Synthèse Préconisations pour les assemblages virtuels Délai visuel ne dépassant pas 300 ms pour les assemblages virtuels Au delà de ce seuil, la domination d’une des deux modalités dépend du contexte expérimental Préconisations pour l’assistance à l’éco-conduite Modalité haptique aussi efficace que le visuel pour l’assistance à l’éco-conduite Modalité haptique semble être plus fiable et plus efficace pour les conducteurs Préconisations pour la démultiplication de la direction Corréler les gains de démultiplication et de couple volant  assistance au volant asservie à l’accélération latérale plutôt qu’à l’angle volant Adaptation plus facile (inconsciente) aux gains progressifs  Direction à démultiplication variable asservie à la vitesse du véhicule

Merci de votre attention !