Développement d’une application Android sur le suivi oculaire Charles Annic/ François Meunier

Sommaire Mise en situation Enjeux du projet Réalisation des tâches Conclusion

Mise en situation Les réflexes oculaires Le nystagmus Les réflexes pupillaires

Mise en situation Intérêt de développer un outil détectant ces troubles Standardisation Qualité des résultats obtenus

Enjeux du projet Problématique Objectif Tâches Avancement

Réalisation des tâches Création du projet et début avec OpenCV Interaction avec la tablette Réalisation du test de suivi d’objet (nystagmus horizontal) Réalisation du test de contraction de la pupille

Réalisation des tâches 1. Création du projet et début avec OpenCV

Réalisation des tâches 1. Création du projet et début avec OpenCV

Réalisation des tâches 1. Création du projet et début avec OpenCV

Réalisation des tâches 1. Création du projet et début avec OpenCV

Réalisation des tâches 1. Création du projet et début avec OpenCV

Réalisation des tâches 1. Création du projet et début avec OpenCV

Réalisation des tâches 2. Interaction avec la tablette Affichage de la caméra frontale Utilisation des capteurs Variation de la luminosité

Réalisation des tâches 2. Interaction avec la tablette Affichage de la caméra frontale

Réalisation des tâches 2. Interaction avec la tablette Utilisation des capteurs (accéléromètre et bousolle)

Réalisation des tâches 2. Interaction avec la tablette Utilisation des capteurs (accéléromètre et bousolle)

Réalisation des tâches 2. Interaction avec la tablette Utilisation des capteurs (accéléromètre et bousolle)

Réalisation des tâches 2. Interaction avec la tablette Utilisation des capteurs (accéléromètre et bousolle)

Réalisation des tâches 2. Interaction avec la tablette Utilisation des capteurs (écran: changement d’illumination)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Détection des yeux Etapes de vérification Déplacement de l’objet (Stimulus visuel) Sauvegarde des images Calcul de l’angle du regard Sauvegardes des angles obtenus Affichage des résultats

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Détection des yeux (caractéristiques pseudo-Haar, cascade de Haar)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Détection des yeux (caractéristiques pseudo-Haar, cascade de Haar)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Étapes de vérification

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Étapes de vérification

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Étapes de vérification

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Étapes de vérification (Étape 3 suite …)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Déplacement de l’objet (stimulus visuel)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Sauvegarde des images

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Sauvegarde des images

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Calcul de la (l’angle) direction du regard

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Calcul de la (l’angle) direction du regard (segmentation d’image par seuillage, détection de contour, approximation elliptique)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Calcul de la (l’angle) direction du regard (segmentation d’image par seuillage, détection de contour, détection des bordures de l’oeil)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Calcul de la (l’angle) direction du regard

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Calcul de la (l’angle) direction du regard (Résultats œil gauche)

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Sauvegarde des angles

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Sauvegarde des angles

Réalisation des tâches 3. Réalisation du test de suivi d’objet (HGN) Affichage des résultats

Réalisation des tâches 4 Réalisation des tâches 4. Réalisation du test de contraction de la pupille Détection des yeux Etapes de vérification Calcul de la taille de la pupille Stockage des données Affichage des résultats

Réalisation des tâches 4 Réalisation des tâches 4. Réalisation du test de contraction de la pupille Calcul de la taille de la pupille (changement d’illumination)

Réalisation des tâches 4 Réalisation des tâches 4. Réalisation du test de contraction de la pupille Calcul de la taille de la pupille (changement d’illumination)

Réalisation des tâches 4 Réalisation des tâches 4. Réalisation du test de contraction de la pupille Calcul de la taille de la pupille realPupilSize

Réalisation des tâches 4 Réalisation des tâches 4. Réalisation du test de contraction de la pupille Calcul de la taille de la pupille

CONCLUSION (DIFFICULTÉS) Manque de documentation Calcul de la distance de l’œil par rapport à la tablette Précision des résultats