La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Modélisation du geste communicatif et réalisation dun signeur virtuel de phrases en Langue des Signes Française Olivier Losson Interaction, Image, et Ingénierie.

Présentations similaires


Présentation au sujet: "Modélisation du geste communicatif et réalisation dun signeur virtuel de phrases en Langue des Signes Française Olivier Losson Interaction, Image, et Ingénierie."— Transcription de la présentation:

1 Modélisation du geste communicatif et réalisation dun signeur virtuel de phrases en Langue des Signes Française Olivier Losson Interaction, Image, et Ingénierie de la décision (I3D) Cité scientifique Villeneuve d Ascq Directeurs de thèse : J.-M. Toulotte, B. Cantégrit

2 Sommaire de lexposé Introduction Etat de lArt Buts recherchés et démarche adoptée Spécification du signe Synthèse du signe Spécification et génération de phrases signées Evaluation des signes synthétiques Conclusion et perspectives

3 Le geste de communication Définition Mouvement intentionnel et significatif du corps Fonction informative Conforme à un code reproductible, contrôlable Catégorisation (Kendon) Disparition progressive de la parole Apparition de caractéristiques langagières Gestes co- Gestes de Langue verbaux para-langagedes signes Pantomime Emblèmes

4 La langue des signes Une langue à part entière Double articulation Grammaire et syntaxe propres Capacité à transmettre le message sans ambiguïté Mécanismes paralinguistiques Variations Evolutions diachroniques Variantes nationales, régionales, sociales, ethniques... Un sujet détude privilégié pour le geste...

5 Vers des interfaces gestuelles Le geste en interaction homme-machine Une réponse aux handicaps Outils dédiés à la langue des signes Les besoins de la communauté sourde Outils spécifiques basés sur la vidéo Dictionnaires bidirectionnels Didactitiels Vers des interfaces adaptées aux signes

6 Signes en entrée : capture et identification La capture Caméra (+gants colorés/marqueurs luminescents) Capteurs 6D et gants numériques Exemples A. Braffort, H. Sawada,... La reconnaissance Détection des limites (segmentation) Influence entre gestes (coarticulation) Variabilité (inter/intra-personnelle)

7 Signes en sortie : synthèse (1) Les limites de la vidéo Contraintes de création Volume dinformation (stockage / transmission) Flexions et production de phrases signées Exemple de LAC Premiers travaux danimation synthétique Succession de motifs animés sur fond fixe Harrison, 82 Projet H.A.N.D.S. (HamNoSys) Première synthèse 3D (Shantz & Poizner, 82)

8 Signes en sortie : synthèse (2) F. Godenschweger Dessin au trait animé Spécification de bas niveau T. Lebourque (LIMSI) Génération de mouvements naturels Langage formel de description du signe « Signing Avatars » Tenants et aboutissants ? Reproduction de signes captés ?

9 Tenants et aboutissants Chaîne globale de traduction Analyse grammaticale Texte source Analyse sémantique Correspondance, ordonnancement Synthèse graphique Phrase signée Spécification des signes Phrase à signer mots-signes Evaluation des signes Modèle du signeur virtuel Représentation intermédiaire Synthèse graphique Primitives de synthèse Détail de la synthèse

10 Buts recherchés et démarche adoptée Spécification Lisibilité et compacité de la description Description textuelle (pas de symbole) Intégrité du message + généricité Base = études linguistiques (phonèmes gestuels) Génération Approcher le temps réel Sophistication graphique limitée Production de phrases complètes Etude et modélisation des processus grammaticaux

11 Histoire F x F Travaux de Stokoe (65) ChérèmesT D S Tabular T : Position Designator D : Configuration Signation S : Action effectuée par D dans la position T Validation Battison (74) : Orientation; Klima & Bellugi (78) Nève de Mevergnies (98) : gestèmes COLORIACT Autres ensembles : HamNoSys, Liddell & Johnson Bases linguistiques

12 Spécification manuelle Configuration Configuration Orientation Orientation Localisation Localisation Point manuel Primitive de déplacement paume ( ) index ( ) Primitive de déplacement Spécification manuelle initiale Mouvement Mouvement Spécification manuelle finale

13 Mouvement principal 3 types de trajectoires Dynamique (emphase) Mouvement Mouvement secondaire des doigts du poignet Primitive de déplacement Spécif manu I Spécif manu F Spécif manu tr MVT Mvt princ Forme chemin Modif mvt Mvt sec

14 Outil Vision Suivi manuel Tableur Résultats Mouvement : étude de la dynamique tdtd tftf v max t f - t v ex. Signe Piquer

15 Déplacement 3 formes ComplèteConservation deAnti-symétrie position relative Symétrie des articulateurs

16 Macro-déplacement Signe = 1... (LSF/ASL justice)... ou plusieurs déplts. (LSF bibliothèque) Répétitions Fonctions linguistiques lexicales grammaticales (pluriel, nom/verbe) Plusieurs formes identifiées

17 Spécification hiérarchique complète

18 Config V Configurations manuelles Contacts réels/virtuels Config. digitales Formes statiques des doigts Propriétés man. *Postures pouce *Abduction doigts Contraintes artic. Angles limites statiques et dyn. 5 : Plié 2 : Tendu 3 : Tendu Abduct: 2,3 Recouvert : 4 i = f ( i-1 i+1 ) = g ( Pulpe: 1,2

19 Localisation et Orientation Localisation + Moyenne des configs « naturelles » prédéfinies pour le bras + Définition explicite Orientation Correspondance avec la matrice dorientation souhaitée pour le système bras/main Point manuel

20 sourcils yeux joues bouche épaules tête | visage Expressions faciales Eléments du « visage » Exemples SombreContent Faible Sasseoir

21 Sign #Se_déplacer. Manual: Shift from: (HandSpec config: #Index at: [UpperTorso FrontProx... to: (HandSpec at: [UpperTorso FrontProx Sagittal] ori: [bcc... move: #Natural NonManual: head followsDominantHand Signe Se_déplacer Analyse synt. / Evaluation Synthèse graphique De lencodage à la synthèse

22 Le discours signé Utilisation de lespace Localisation Accord agent/patient (Verbes directionnels)

23 Localisations et accords pronominaux Localisation ex. Maison(gauche), Garçon(droite) Accord pronominal ex.: verbe directionnel demander demander(toi, moi)(moi, toi)(moi, lui)

24 Le discours signé (suite) Utilisation de lespace Localisation Accord agent/patient (Verbes directionnels) Signeur Interlocuteur Je, moi Tu, toi Il, elle, eux (à droite) Il, elle, eux (à gauche) Autres flexions sur les signes Rythme Amplitude du mouvement Types de clause : mécanismes non-manuels Interaction discours/signe paramétrage

25 Autres flexions sur les signes Flexions spatio-temporelles ex. Faire_la_vaisselle (long pénible) Signes paramétriques Boîte(petite) Boîte(grande) Signes génériques Jour_semaine(vendredi) Jour_semaine(lundi)

26 Sign %Maison. Manual: s1 = Shift from: ( HandSpec config: #Moufle poin to: ( HandSpec point: #MiddleTip at: [ move: #Natural weakMove: #Symmetrical. s1 repeat. Synoptique de la synthèse \YNQ4 Toi rester maison toi r Analyse, évaluation et synthèse

27 Synthèse de phrases signées \CND2 jour_semaine (vendredi) il_pleut \NO3 je rester maisonaller bibliothèque je

28 %Julie(droite) téléphoner(Julie,moi) fini. Arriver>endroit être_en_retard elle(Julie). Synthèse de phrases signées %Julie(droite) téléphoner(Julie,moi) fini. Arriver>endroit être_en_retard elle(Julie).

29 Méthodologie de lévaluation Contenu 50 signes représentatifs forme de citation (hors contexte) possibilité de tester à distance (HTML+ ) Protocole 8 informateurs dont 5 sourds demander lacception perçue + nombre de visualisations évaluer la distance sémantique et classifier expliciter la (les) raison(s) de non-identification

30 Résultats Tests 1-8 (moyennes) Evaluation de phrases : marquage des clauses améliorer les expressions non-manuelles implanter les pauses (étude théorique seule) prendre en compte le rythme de production (rupture)

31 Conclusion Création des signes Système de spécification (grammaire formelle) Interface graphique dédition Génération de phrases signées Flexions sur les signes (processus grammaticaux) Module de synthèse graphique Avantages par rapport à la vidéo Facilité de création; signes fléchis Compacité de la description textuelle

32 Perspectives Applications EAO, en particulier à distance (faible volume nécessaire) Analyses syntaxique & sémantique traduction Sous-titrage automatique (ex. télétexte) Traduction de pages web Evolutions du système Rythme de la phrase Synchronisation des articulateurs Fluidité et rendu du signeur Langage compilé (transcription Smalltalk C++) Avatar volumique expressif piloté en VRML

33 Remerciements Membres du jury MM. Pruski et Millot P. Coiffet, F.-X. Nève, S. Gibet, et M. Girod J.-M. Toulotte et B. Cantegrit Contacts avec le public sourd Association I.V.T. (Vincennes) Association S.I.E. (Lille) C.R.E.S.D.A. de Pont-à-Marcq Association SELOS (Lille) Membres dI3D Les (nombreuses) personnes qui mont encouragé!

34 Marqueurs de clauses NégativeAssertiveConditionnelleInterrogativeThématique

35 Accord agent/patient : DONNER Sign %Donner (agent, patient). Manual: me = HandSpec config: #BecCanard point: #IndexTip at: [UpperTorso FrontCont... me selectors: Parameter firstPersonSingular. you = HandSpec config: #BecCanard at: [LowerTorso 70 11] ori: [Supinated]. you selectors: Parameter secondPersonSingular. Shift from: agent selected to: patient selected move: #Linear. Donner(je,toi)Donner(lui,moi) Donner(tu,lui)

36 Application : intégration à LAC Logiciel multimédia destiné Au public sourd acquérir des connaissances spécifiques sentraîner à lire A tout public se familiariser avec diverses techniques de communication enrichir ses connaissances Présentation 2 parties daspect proche : utilisateur & editeur Accessibilité

37 LAC + signeur virtuel


Télécharger ppt "Modélisation du geste communicatif et réalisation dun signeur virtuel de phrases en Langue des Signes Française Olivier Losson Interaction, Image, et Ingénierie."

Présentations similaires


Annonces Google