Naviguer en vision prothétique simulée : apport de la vision par ordinateur pour augmenter les rendus prothétiques de basse résolution. Soutenance de Thèse de Doctorat de Victor Vergnieux 2 Décembre 2015 Jury Directeur de Recherche, CNRS & IRCAM UPMC Chercheur, CRIR-INLB & Université de Montréal Chargé de Recherche, CNRS & INT Professeur, Université Paul Sabatier & IRIT Chargé de Recherche, CNRS & IRIT Rapporteur Examinateur Directeur de thèse Co-directeur de thèse Isabelle VIAUD-DELMON Marie-Chantal WANET-DEFALQUE Frédéric CHAVANE Jean-Pierre JESSEL Christophe JOUFFRAIS Marc MACÉ

Plan Contexte Contributions Discussion et perspectives Cécité et navigation Neuroprothèses visuelles Vision Prothétique Simulée (VPS) Contributions Points de repère Orientation et mobilité Distance et structure Structure et points de repère Discussion et perspectives

Contexte

Cécité 285 millions de déficients visuels... Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Cécité 285 millions de déficients visuels... ...dont 39 millions de non-voyants [WHO 2014] Rapport INCA [Simson et al. 2005] Déplacement (1er besoin) Outre le souhait de retrouver la vision ...

Navigation Navigation : 2 composantes [Montello 2005] Mobilité Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Navigation Navigation : 2 composantes [Montello 2005] Mobilité Trouver le passage Sensing the immediate environment Orientation Savoir où aller et comment y aller. se repérer décider vérifier valider Terminer par le GPS -> Assure tout l’aspect Wayfinding, le conducteur se concentre sur la Mobilité

Orientation Modèle LRS [Siegel & White 1975] Landmark Points de repère Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Orientation Modèle LRS [Siegel & White 1975] Landmark Points de repère Route Itinéraires Survey Configuration de l’environnement Terminer sur les non-voyants. Besoin de points de repère pour naviguer, d’indices distants. Repérer les croisements, décision à prendre. Grande difficulté pour les non-voyants de naviguer à cause de cette limite à l’orientation. Certains arrivent à naviguer en utilisant des points de repère physique comme des rigoles au sol, des arrêts de métro et parcourent des trajets qu’ils connaissent par cœur. La grande majorité des non-voyants ne naviguent pas seul. Pour repérer des croisements, une piste est de restaurer la vision. Comment peut on restituer la vision ? Informations essentiellement visuelles

Neuroprothèses Visuelles Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Neuroprothèses Visuelles [Brindley & Lewin 1968] 30x30 20x20 10x10 Dobelle : Premier implant / mal terminé. 64 phosphenes. Refus FDA : a continué ses recherches au Portugal. Présent dans la culture Norman : Utah Electrode Array - 100 électrodes. Projet Orion de Second Sight. phosphènes

Neuroprothèses Visuelles Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Système visuel Rétine Nerf optique Cortex visuel (V1) [Dobelle 1974, 2000] [Normann 2007] [Troyk et al. 2003] [Veraart et al. 1998] Physiquement système visuel Neuroprothèses : Voies visuelles Cortex Thalamus (Corps Genouillé Latéral) Nerf optique Rétine Ajouter liste des implants sur les lieux de stimulation ? [Brelen et al. 2005] [Chai et al. 2008] [Nishida et al. 2015] [Zwarck 2011]

Neuroprothèses Visuelles Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Implants rétiniens IRIS – 7x7 électrodes ARGUS II – 6x10 électrodes [Humayun 2009, 2012] Implant IMI (Hornig) 49 électrodes Argus II [Hornig et al. 2007]

Mobilité avec l’Argus II Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Mobilité avec l’Argus II Mobilité et un petit peu d’orientation [Humayun 2012]

Neuroprothèses Visuelles Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Projection et bilan Capacités (d’après la simulation) Vision fonctionnelle Visages Compter ses doigts alors que les projections sur le nombre d’électrodes prévoyaient plus de 1000 électrodes aujourd’hui. On est encore loin de la reconnaissance de visages. Les patients implantés restent sous le seuil de cécité légal. Patients inclus dans des protocoles cliniques contraignants ce qui fait qu’ils sont difficilement accessibles pour faire des évaluations. Comment peut-on les aider à naviguer ? -> Mouvements de la main 2016 [Chader 2009] D’après

Vision Prothétique Simulée (VPS) Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Vision Prothétique Simulée (VPS) Image source Vision par ordinateur [Cha et al. 1992] 1 Simulateur de Vision Prothétique 3 Rendu en Vision Prothétique Simulée Peu de sujets, Manips Contraignantes => Simulation Principe : Caméra -> Traitement Vidéo -> Simulateur de Vision Prothétique 2

Vision Prothétique Simulée Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Mobilité en VPS [Zapf et al. 2014] [McCarthy et al. 2015] Brut Rendu augmenté McCarthy : 4x5 = 20 phosphènes Zapf : 100 phosphènes / 400 phosphènes

Vision Prothétique Simulée Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Mobilité en VPS Rheede : 30x30 avec 8 niveaux de gris Dagnelie : 4x4 6x10 16x16 [Rheede et al. 2010] [Dagnelie et al. 2007]

Vision Prothétique Simulée Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Navigation en VPS Mobilité étudiée utilisation de vision par ordinateur tâches simples Orientation non étudiée tâche de navigation acquisition de connaissances spatiales

Problématique de thèse Contexte Cécité et Navigation Neuroprothèses Visuelles Vision Prothétique Simulée Discussion Contributions Problématique de thèse Quels rendus de vision prothétique basse résolution pour l’orientation ? Objectifs : rendus pertinents pour l’orientation évaluation performance acquisition de connaissances spatiales

Contributions

Dispositif Contexte Discussion Contributions Exp. 1 Dispositif Exp. 2

Exp. 1 : Objectifs et Hypothèse Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 1 : Objectifs et Hypothèse Approche par localisation [Denis 2014] Hypothèse : La localisation de points d’intérêt favorise-t-elle la navigation ?

Exp. 1 : Conditions Irrlicht Localisation Brut Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 1 : Conditions Irrlicht Localisation Brut Parler des hypothèses.

Exp. 1 : Protocole Tâche Variables Dépendantes Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 1 : Protocole Tâche Parcours imposé [Dowling et al. 2005] Déplacement clavier Variables Dépendantes Performance de temps Restitution du trajet (dessin) Hypothèse : Irrlicht > Localisation > Brut Sujets 6 sujets entre 22 et 46 ans Pas forcément les résultats : Pistes à élaborer. Solution hybride de réalité augmentée.

Exp. 1 : Performance Temps (secondes) * * Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 1 : Performance Temps (secondes) * *

Nombre d’erreurs (dessin trajet) Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 1 : Compréhension Nombre d’erreurs (dessin trajet)

Exp. 1 : Discussion Approche par localisation en navigation : Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 1 : Discussion Approche par localisation en navigation : Continuité Ambiguïté ⇒ Navigation compromise La localisation de points de repère ne favorise pas la navigation ⇒ Hypothèse non validée

Exp. 2 : Objectifs et Hypothèse Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 2 : Objectifs et Hypothèse Garantir la mobilité pour permettre l’orientation [McCarthy & Barnes 2010 ; McCarthy et al. 2011] Hypothèse : La perception prothétique augmentée favorise-t-elle la navigation ?

Exp. 2 : Conditions Irrlicht Brut Brut augmenté Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 2 : Conditions Irrlicht Brut Brut augmenté

Exp. 2 : Tâche temps limité 9 joyaux cibles Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 2 : Tâche temps limité 9 joyaux cibles Citer comme exemple. Il est possible d’apprendre la structure d’un lieu uniquement à l’aide d’un jeu d’exploration.

Exp. 2 : Protocole Variables Dépendantes Sujets Indice de Performance Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 2 : Protocole Variables Dépendantes Indice de Performance Plan de l’environnement Sujets 12 sujets entre 23 et 39 ans 𝐼𝑃= 𝐽 𝑖 − 𝐽 𝑀𝐼𝑁 𝐽 𝑀𝐴𝑋 − 𝐽 𝑀𝐼𝑁 ∗50+ 𝑇 𝑀𝐴𝑋 − 𝑇 𝑖 𝑇 𝑀𝐴𝑋 − 𝑇 𝑀𝐼𝑁 ∗50 Sanchez !

Exp. 2 : Performance Indice de Performance Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 2 : Performance Indice de Performance

Exp. 2 : Compréhension Score des plans Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 2 : Compréhension Score des plans

Expérimentation 2 : Conclusions Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Expérimentation 2 : Conclusions Augmentation du sol performance de navigation qualité de la représentation mentale La perception prothétique augmentée favorise la navigation ⇒ Hypothèse Validée Peut-on rendre plus lisible la structure ?

Exp. 3a : Objectifs et Hypothèse Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3a : Objectifs et Hypothèse Rendre plus lisible la structure en désencombrant la vision Distance coupure Performance Irrlicht / SPV Hypothèses En vision Irrlicht : le fait d’augmenter la distance de coupure favorise-t-il la navigation ? En VPS : existe-il une distance de coupure pour laquelle la navigation est favorisée en vision prothétique ?

Exp. 3a : Conditions Irrlicht Vision Prothétique Simulée 3 mètres Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3a : Conditions Irrlicht Vision Prothétique Simulée 3 mètres 6 mètres 9 mètres Brut (∞)

Exp. 3a : Protocole Tâche Variables dépendantes Sujets Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3a : Protocole Tâche Recherche de joyaux en temps limité 12 environnements d’évaluation Variables dépendantes Indice de performance Plan de l’environnement Charge cognitive ressentie (Nasa-TLX) Sujets 14 sujets entre 18 et 31 ans 𝐼𝑃= 𝐽 𝑖 − 𝐽 𝑀𝐼𝑁 𝐽 𝑀𝐴𝑋 − 𝐽 𝑀𝐼𝑁 ∗50+ 𝑇 𝑀𝐴𝑋 − 𝑇 𝑖 𝑇 𝑀𝐴𝑋 − 𝑇 𝑀𝐼𝑁 ∗50

Exp. 3a : Performance Indice de Performance Distance limite de vision Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3a : Performance Indice de Performance Similarité résultats entre VPS-3 et VPS-Inf Distance de Coupure, ni trop ni trop peu d’information les sujets parviennent à naviguer. Distance limite de vision

Exp. 3a : Charge Cognitive Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3a : Charge Cognitive Score Nasa-TLX Similarité résultats entre VPS-3 et VPS-Inf Distance de Coupure, ni trop ni trop peu d’information les sujets parviennent à naviguer. Distance limite de vision

Exp. 3a : Compréhension Score des plans Distance limite de vision Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3a : Compréhension Score des plans Similarité résultats entre VPS-3 et VPS-Inf Distance de Coupure, ni trop ni trop peu d’information les sujets parviennent à naviguer. Distance limite de vision

Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Discussion En vision Irrlicht, l’augmentation de la distance de coupure favorise la navigation. ⇒ Hypothèse 1 validée En VPS, l’utilisation d’une distance de coupure fixée à 6 mètres favorise la mobilité ne favorise pas l’orientation ⇒ Hypothèse 2 validée pour la mobilité ⇒ Hypothèse 2 non validée pour l’orientation

Exp. 3b : Objectifs et hypothèses Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Objectifs et hypothèses Utiliser d’autres rendus pour favoriser la navigation Rendre la distance plus finement Tango Project - Google Rendre la structure elle-même Hypothèses : 3. Rendre la distance en VPS, favorise-t-il la navigation ? 4. Augmenter la structure en VPS, favorise-t-il la navigation ?

Exp. 3b : Conditions Irrlicht VPS Brut VPS Distance VPS FilDeFer Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Conditions Irrlicht VPS Brut Utilisation de rendus qui coupent l’information, et d’autres plus sophistiqués : luminance distance et arêtes, cibles en blanc. Camera Time-of-flight Projet Tango, Algorithme de visions Google Car. VPS Distance VPS FilDeFer

Exp. 3b : Protocole Tâche Variables dépendantes Sujets Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Protocole Tâche Recherche de joyaux en temps limité 12 environnements d’évaluation Variables dépendantes Indice de performance Plan de l’environnement Charge cognitive ressentie (Nasa-TLX) Sujets 14 sujets entre 18 et 31 ans 𝐼𝑃= 𝐽 𝑖 − 𝐽 𝑀𝐼𝑁 𝐽 𝑀𝐴𝑋 − 𝐽 𝑀𝐼𝑁 ∗50+ 𝑇 𝑀𝐴𝑋 − 𝑇 𝑖 𝑇 𝑀𝐴𝑋 − 𝑇 𝑀𝐼𝑁 ∗50

Exp. 3b : Performance Indice de Performance Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Performance Indice de Performance

Exp. 3b : Charge cognitive Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Charge cognitive Score du Nasa-TLX

Exp. 3b : Compréhension Score des plans Contexte Discussion Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Compréhension Score des plans

Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 3b : Discussion En VPS, les rendus de distance et d’augmentation de la structure : améliorent les performances de navigation diminuent la charge cognitive améliorent l’acquisition de connaissances spatiales La plupart des implantés détectent plus de trois nivaux de gris (certains 8) ⇒ Hypothèse 3 validée ⇒ Hypothèse 4 validée

Exp. 4 : Objectifs Hypothèse : Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 4 : Objectifs Hypothèse : Le fait d’ajouter des points de repères pertinents à un rendu VPS augmenté améliore la navigation.

Exp. 4 : Protocole Questionnaire exploratoire Sujets Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 4 : Protocole Questionnaire exploratoire 2 places de Toulouse trajet entre les places Sujets 7 voyants 2 non-voyants 1 malvoyant

Exp. 4 : Résultats Non-voyants : pavages / accès métro Contexte Exp. 1 Dispositif Discussion Contributions Exp. 2 Exp. 3 Exp. 4 Exp. 4 : Résultats Travail à poursuivre sur un trajet plus complexe. Non-voyants : pavages / accès métro Voyants : façades / grandes enseignes ⇒ Travail à poursuivre Approfondir ce questionnaire Données Toulouse

Discussion et perspectives

Discussion Navigation à l’aide de l’Argus II Contexte Discussion Contributions Discussion Navigation à l’aide de l’Argus II [Humayun 2009]

Apports de ces travaux Navigation en VPS basse résolution Orientation Contexte Discussion Contributions Apports de ces travaux Navigation en VPS basse résolution Orientation Augmenter le sol Distance Structure Mobilité Distance de coupure

Pistes complémentaires Contexte Discussion Contributions Pistes complémentaires Dans le prolongement de ces travaux Orientation Structure et Points de repère Environnements urbains Mobilité Obstacles dynamiques Navigation avec implants En réel

Perspectives À plus long terme De multiples rendus à intégrer textes Contexte Discussion Contributions Perspectives À plus long terme textes visages objets De multiples rendus à intégrer utilisation non simultanée sélection et utilisation de rendus spécifiques techniques d’interaction contrôle [Wang 2014] [Denis 2014] Une personne implantée pourrait naviguer en ville -> structure panneaux de rues -> reco texte / zoom enseignes / magasins -> reco de points de repères / façade vendeur/euse -> reco visages / zoom / analyse des émotions choix article -> reco objets/ vêtements De multiples rendus seront alors à intégrer. Il va être difficile, sinon impossible d’utiliser ces rendus simultanément car ils risquent alors d’encombrer la vision. Les neuroprothèses visuelles risquent fort de déboucher sur des systèmes intégrés pour lesquels les utilisateurs devront sélectionner et utiliser des modes de rendu spécifiques à la tâche qu’ils sont en train d’effectuer. Des techniques d’interaction spécifiques seront alors nécessaires et nous pouvons tout à fait imaginer que les futurs utilisateurs de ces implants se serviront des dispositifs tactiles déjà existant pour contrôler précisément ces rendus c’est-à-dire pour prendre le contrôle sur leur vision. [Denis 2014]

Merci de votre attention

ANNEXES

Exp. 3 : Données supplémentaires

Network of Reference Frame Theory [Meilinger 2007]