La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Hélène Terrat, Master Handi 2006 Le projet Labiao, Le projet Labiao, perspectives pour la scolarisation des élèves et des étudiants sourds Hélène Terrat.

Présentations similaires


Présentation au sujet: "Hélène Terrat, Master Handi 2006 Le projet Labiao, Le projet Labiao, perspectives pour la scolarisation des élèves et des étudiants sourds Hélène Terrat."— Transcription de la présentation:

1 Hélène Terrat, Master Handi 2006 Le projet Labiao, Le projet Labiao, perspectives pour la scolarisation des élèves et des étudiants sourds Hélène Terrat Hélène Terrat

2 Hélène Terrat, Master Handi 2006 Le contexte scientifique Cest une recherche avec Cest une recherche avec - des laboratoires (LORIA, EDF R&D, INT, LINC), - une association de parents denfants sourds (DATHA), - une entreprise (AUDIVIMEDIA) - et le Ministère de lEducation nationale (INSHEA). Elle porte - sur la reconnaissance et la labialisation des phonèmes - et la conversion des phonèmes en visèmes labiaux et en code LPC en vue daider lintégration scolaire, sociale et professionnelle des personnes sourdes.

3 Hélène Terrat, Master Handi 2006 Une remarque : En France, il existe environ sourds sévères et profonds En France, il existe environ sourds sévères et profonds Seules personnes sourdes et non- sourdes pratiquent la LSF. Seuls 2% des sourds connaissent et communiquent avec la LSF. Tous les sourds pratiquent la lecture labiale avec les entendants.

4 Hélène Terrat, Master Handi 2006 Le contexte scientifique international - RNRT ARTUS, BALDI : tête parlante à partir de sous-titres pour la TV, à partir de texte pour enseigner le LPC (origine USA) - SYNFACE : application « réalité virtuelle » dans le domaine audio-visuel et téléphone (origine UE) - SPEECHVIEW : colorer des parties du visage dun avatar pour désambiguïser les phonèmes au téléphone (origine Israël)

5 Hélène Terrat, Master Handi 2006 Létude LABIAO (lecture Labiale Assistée par Ordinateur) propose (lecture Labiale Assistée par Ordinateur) propose - de développer plusieurs logiciels pour aider les sourds - de mettre au point un outil concernant la scolarité, la vie sociale et professionnelle Cest la seule équipe à avoir - un si haut niveau dambition scientifique - et un caractère applicatif marqué.

6 Hélène Terrat, Master Handi 2006 Les produits LABIAO Logiciel « pour apprendre la lecture labiale et le LPC » Logiciel « salle de classe » Logiciel « au téléphone » Logiciel « en réunion » + quelques contenus audiovisuels labialisés

7 Hélène Terrat, Master Handi 2006 La recherche Chaque logiciel a recours à des technologies issues de travaux scientifiques de plusieurs laboratoires : –La reconnaissance des phonèmes en temps réel à partir du signal sonore (LORIA / INRIA-DATHA) –Le calcul de la position des lèvres et des mains à partir des phonèmes (LORIA / INRIA-DATHA) –La coarticulation des lèvres (LORIA / INRIA-DATHA / LINC)

8 Hélène Terrat, Master Handi La modélisation en 3 dimensions dune tête parlante (EDF / INT /LORIA/ INRIA-DATHA) - La détection de lémotion du locuteur, traduite par la voix et reproduite par lanimation du visage (LORIA / LINC) - Lencodage et le décodage MPEG4 (INT / LINC)

9 Hélène Terrat, Master Handi 2006 Les grandes étapes permettant de passer du signal sonore du locuteur à la tête parlante

10 Hélène Terrat, Master Handi 2006 Le LPC en famille

11 Hélène Terrat, Master Handi 2006 Représentation de la lecture labiale associée ou non à des compléments gestuels

12 Hélène Terrat, Master Handi 2006 Les difficultés technologiques La mise en œuvre simultanée de lensemble des technologies utilisées Loptimisation du nombre de phonèmes reconnus La prise en compte de la coarticulation et de lexpressivité de la voix La conception dun système permettant la fluidité et le réalisme des mouvements

13 Hélène Terrat, Master Handi 2006 Logiciel « salle de classe » Une gestion de lattente des familles Une étroite collaboration avec des codeurs La définition dun cahier des charges Une expérimentation

14 Hélène Terrat, Master Handi 2006 Les objectifs de lexpérimentation Tester les différentes propositions de la tête codeuse Entraîner progressivement des élèves de notre échantillon à la pratique de cet outil Définir un profil type délèves pouvant bénéficier de façon optimale de cet outil Analyser et critiquer la 1 ère version du logiciel

15 Hélène Terrat, Master Handi 2006 Choix et suivi dun groupe délèves sourds Contacts avec plusieurs académies en France (Versailles, Créteil, Lyon, Grenoble, Orléans- Tours, Rennes, Aix-Marseille, Poitiers, ) Choix détudiants, de lycéens, de collégiens, et quelques élèves de lécole élémentaire (5/35) Contacts avec lAGEFIPH Dotations en équipements informatiques

16 Hélène Terrat, Master Handi 2006 Matériaux de familiarisation à la tête codeuse une série de 7 DVD –Avec une codeuse filmée –Avec la tête codeuse et la voix optimisée (100% de phonèmes reconnus) –Avec la tête codeuse et une reconnaissance vocale (85% de phonèmes reconnus) Une série de 7 questionnaires associés aux DVD pour tester la compréhension

17 Hélène Terrat, Master Handi 2006 Trois exemples de DVD 1- Vidéo dune codeuse

18 Hélène Terrat, Master Handi 2006 Trois exemples de DVD 2 - Vidéo reconnaissance vocale lente.

19 Hélène Terrat, Master Handi 2006 Trois exemples de DVD 3- Vidéo optimisée rapide

20 Hélène Terrat, Master Handi 2006 Les résultats des tests de familiarisation

21 Hélène Terrat, Master Handi 2006 Les résultats des tests

22 Hélène Terrat, Master Handi 2006 Résultats de la phase de familiarisation Les résultats sont soit bons, soit mauvais, peu dintermédiaire. La compréhension est meilleure chez les élèves les plus âgés (étudiants). La compréhension reste bonne même en cas de rapidité de la tête et/ou avec la reconnaissance vocale sans le son, mais avec une attention et une suppléance mentale importante. Lentraînement améliore les performances

23 Hélène Terrat, Master Handi 2006 Des modifications au niveau de loutil La tête doit être présentée de face Travail sur la fluidité des mouvements (avec la prise en compte des « blancs ») Il faut améliorer la visibilité des lèvres et larticulation (travaux sur la coarticulation)

24 Hélène Terrat, Master Handi 2006 La 1 ère version du logiciel Choix de la source sonore Enregistrement Délai Départ / Pause Calibrage de lenvironnement Affichage des phonèmes

25 Hélène Terrat, Master Handi 2006 Les problèmes actuels Un délai trop long entre le début du son et celui de lanimation (4 secondes) Un taux de reconnaissance encore trop médiocre dans des conditions normales dutilisation Démonstration..\..\..\All Users\Bureau\LABIAO Classe.lnk..\..\..\All Users\Bureau\LABIAO Classe.lnk..\..\..\All Users\Bureau\LABIAO Classe.lnk

26 Hélène Terrat, Master Handi 2006 Des questions Un échantillon trop hétérogène (âge, maîtrise du LPC), doù difficultés à globaliser les résultats La suppléance mentale modifie la perception des performances réelles de loutil (ce qui gêne dans le pointage des erreurs techniques propres à loutil) Faut-il faire dautres types de tests (DVD8) ?

27 Hélène Terrat, Master Handi 2006Lavenir La prise en compte de lexpressivité de la voix permettra certainement une meilleure compréhension Les jeunes enfants apprennent mieux et plus tôt le LPC, ils seront performants plus tôt Il faudra mieux appréhender la complémentarité du rôle des codeurs professionnels et de la tête codeuse, indications dutilisation

28 Hélène Terrat, Master Handi 2006Conclusion Lobjectif de lexpérimentation en classe nest pas atteint à cause du retard des recherches Mais … la phase de préparation à la familiarisation a été fortement développée et sest révélée plus riche que prévue Les résultats obtenus confirment notre hypothèse : la cible principale est létudiant ou le grand élève sourd

29 Hélène Terrat, Master Handi 2006Conclusion Notre stage a contribué au respect des engagements de lINSHEA : - Sélection dun groupe délèves sourds et mobilisation des lieux denseignement - et analyse des besoins afin de définir le cahier des charges de loutil et lenrichissement technique. - familiarisation des utilisateurs avec le futur outil


Télécharger ppt "Hélène Terrat, Master Handi 2006 Le projet Labiao, Le projet Labiao, perspectives pour la scolarisation des élèves et des étudiants sourds Hélène Terrat."

Présentations similaires


Annonces Google