perspectives pour la scolarisation des élèves et des étudiants sourds

Présentation au sujet: "perspectives pour la scolarisation des élèves et des étudiants sourds"— Transcription de la présentation:

1 perspectives pour la scolarisation des élèves et des étudiants sourds
Le projet Labiao, perspectives pour la scolarisation des élèves et des étudiants sourds Hélène Terrat Hélène Terrat, Master Handi 2006

2 Hélène Terrat, Master Handi 2006
Le contexte scientifique C’est une recherche avec - des laboratoires (LORIA, EDF R&D, INT, LINC), - une association de parents d’enfants sourds (DATHA), - une entreprise (AUDIVIMEDIA) - et le Ministère de l’Education nationale (INSHEA). Elle porte - sur la reconnaissance et la labialisation des phonèmes - et la conversion des phonèmes en visèmes labiaux et en code LPC en vue d’aider l’intégration scolaire, sociale et professionnelle des personnes sourdes. Hélène Terrat, Master Handi 2006

3 Hélène Terrat, Master Handi 2006
Une remarque : En France, il existe environ sourds sévères et profonds Seules personnes sourdes et non-sourdes pratiquent la LSF. Seuls 2% des sourds connaissent et communiquent avec la LSF. Tous les sourds pratiquent la lecture labiale avec les entendants. Hélène Terrat, Master Handi 2006

4 Le contexte scientifique international
- RNRT ARTUS, BALDI : tête parlante à partir de sous-titres pour la TV, à partir de texte pour enseigner le LPC (origine USA) - SYNFACE : application « réalité virtuelle » dans le domaine audio-visuel et téléphone (origine UE) - SPEECHVIEW : colorer des parties du visage d’un avatar pour désambiguïser les phonèmes au téléphone (origine Israël) Hélène Terrat, Master Handi 2006

5 Hélène Terrat, Master Handi 2006
L’étude LABIAO (lecture Labiale Assistée par Ordinateur) propose - de développer plusieurs logiciels pour aider les sourds - de mettre au point un outil concernant la scolarité, la vie sociale et professionnelle C’est la seule équipe à avoir - un si haut niveau d’ambition scientifique - et un caractère applicatif marqué. Hélène Terrat, Master Handi 2006

6 Hélène Terrat, Master Handi 2006
Les produits LABIAO Logiciel « pour apprendre la lecture labiale et le LPC » Logiciel « salle de classe » Logiciel « au téléphone » Logiciel « en réunion » + quelques contenus audiovisuels labialisés Hélène Terrat, Master Handi 2006

7 Hélène Terrat, Master Handi 2006
La recherche Chaque logiciel a recours à des technologies issues de travaux scientifiques de plusieurs laboratoires : La reconnaissance des phonèmes en temps réel à partir du signal sonore (LORIA / INRIA-DATHA) Le calcul de la position des lèvres et des mains à partir des phonèmes (LORIA / INRIA-DATHA) La coarticulation des lèvres (LORIA / INRIA-DATHA / LINC) Hélène Terrat, Master Handi 2006

8 Hélène Terrat, Master Handi 2006
- La modélisation en 3 dimensions d’une tête parlante (EDF / INT /LORIA/ INRIA-DATHA) - La détection de l’émotion du locuteur, traduite par la voix et reproduite par l’animation du visage (LORIA / LINC) - L’encodage et le décodage MPEG4 (INT / LINC) Hélène Terrat, Master Handi 2006

9 Hélène Terrat, Master Handi 2006
Les grandes étapes permettant de passer du signal sonore du locuteur à la tête parlante Hélène Terrat, Master Handi 2006

10 Hélène Terrat, Master Handi 2006
Le LPC en famille Hélène Terrat, Master Handi 2006

11 Hélène Terrat, Master Handi 2006
Représentation de la lecture labiale associée ou non à des compléments gestuels Hélène Terrat, Master Handi 2006

12 Les difficultés technologiques
La mise en œuvre simultanée de l’ensemble des technologies utilisées L’optimisation du nombre de phonèmes reconnus La prise en compte de la coarticulation et de l’expressivité de la voix La conception d’un système permettant la fluidité et le réalisme des mouvements Hélène Terrat, Master Handi 2006

13 Logiciel « salle de classe »
Une gestion de l’attente des familles Une étroite collaboration avec des codeurs La définition d’un cahier des charges Une expérimentation Hélène Terrat, Master Handi 2006

14 Les objectifs de l’expérimentation
Tester les différentes propositions de la tête codeuse Entraîner progressivement des élèves de notre échantillon à la pratique de cet outil Définir un profil type d’élèves pouvant bénéficier de façon optimale de cet outil Analyser et critiquer la 1ère version du logiciel Hélène Terrat, Master Handi 2006

15 Choix et suivi d’un groupe d’élèves sourds
Contacts avec plusieurs académies en France (Versailles, Créteil, Lyon, Grenoble, Orléans-Tours, Rennes, Aix-Marseille, Poitiers, ) Choix d’étudiants, de lycéens, de collégiens, et quelques élèves de l’école élémentaire (5/35) Contacts avec l’AGEFIPH Dotations en équipements informatiques Hélène Terrat, Master Handi 2006

16 Matériaux de familiarisation à la tête codeuse
une série de 7 DVD Avec une codeuse filmée Avec la tête codeuse et la voix optimisée (100% de phonèmes reconnus) Avec la tête codeuse et une reconnaissance vocale (85% de phonèmes reconnus) Une série de 7 questionnaires associés aux DVD pour tester la compréhension Hélène Terrat, Master Handi 2006

17 Hélène Terrat, Master Handi 2006
Trois exemples de DVD 1- Vidéo d’une codeuse Hélène Terrat, Master Handi 2006

18 Hélène Terrat, Master Handi 2006
Trois exemples de DVD 2 - Vidéo reconnaissance vocale lente. Hélène Terrat, Master Handi 2006

19 Hélène Terrat, Master Handi 2006
Trois exemples de DVD 3- Vidéo optimisée rapide Hélène Terrat, Master Handi 2006

20 Les résultats des tests de familiarisation
Hélène Terrat, Master Handi 2006

21 Les résultats des tests
Hélène Terrat, Master Handi 2006

22 Résultats de la phase de familiarisation
Les résultats sont soit bons, soit mauvais, peu d’intermédiaire. La compréhension est meilleure chez les élèves les plus âgés (étudiants). La compréhension reste bonne même en cas de rapidité de la tête et/ou avec la reconnaissance vocale sans le son, mais avec une attention et une suppléance mentale importante. L’entraînement améliore les performances Hélène Terrat, Master Handi 2006

23 Des modifications au niveau de l’outil
La tête doit être présentée de face Travail sur la fluidité des mouvements (avec la prise en compte des « blancs ») Il faut améliorer la visibilité des lèvres et l’articulation (travaux sur la coarticulation) Hélène Terrat, Master Handi 2006

24 La 1ère version du logiciel
Choix de la source sonore Enregistrement Délai Départ / Pause Calibrage de l’environnement Affichage des phonèmes Hélène Terrat, Master Handi 2006

25 Hélène Terrat, Master Handi 2006
Les problèmes actuels Un délai trop long entre le début du son et celui de l’animation (4 secondes) Un taux de reconnaissance encore trop médiocre dans des conditions normales d’utilisation Démonstration ..\..\..\All Users\Bureau\LABIAO Classe.lnk Hélène Terrat, Master Handi 2006

26 Hélène Terrat, Master Handi 2006
Des questions Un échantillon trop hétérogène (âge, maîtrise du LPC), d’où difficultés à globaliser les résultats La suppléance mentale modifie la perception des performances réelles de l’outil (ce qui gêne dans le pointage des erreurs techniques propres à l’outil) Faut-il faire d’autres types de tests (DVD8) ? Hélène Terrat, Master Handi 2006

27 Hélène Terrat, Master Handi 2006
L’avenir La prise en compte de l’expressivité de la voix permettra certainement une meilleure compréhension Les jeunes enfants apprennent mieux et plus tôt le LPC, ils seront performants plus tôt Il faudra mieux appréhender la complémentarité du rôle des codeurs professionnels et de la tête codeuse, indications d’utilisation Hélène Terrat, Master Handi 2006

28 Hélène Terrat, Master Handi 2006
Conclusion L’objectif de l’expérimentation en classe n’est pas atteint à cause du retard des recherches Mais … la phase de préparation à la familiarisation a été fortement développée et s’est révélée plus riche que prévue Les résultats obtenus confirment notre hypothèse : la cible principale est l’étudiant ou le grand élève sourd Hélène Terrat, Master Handi 2006

29 Hélène Terrat, Master Handi 2006
Conclusion Notre stage a contribué au respect des engagements de l’INSHEA : - Sélection d’un groupe d’élèves sourds et mobilisation des lieux d’enseignement - et analyse des besoins afin de définir le cahier des charges de l’outil et l’enrichissement technique. - familiarisation des utilisateurs avec le futur outil Hélène Terrat, Master Handi 2006