La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Interaction, Image, et Ingénierie de la décision (I3D)

Présentations similaires


Présentation au sujet: "Interaction, Image, et Ingénierie de la décision (I3D)"— Transcription de la présentation:

1 Interaction, Image, et Ingénierie de la décision (I3D)
Cité scientifique 59650 Villeneuve d ’Ascq Olivier Losson Modélisation du geste communicatif et réalisation d’un signeur virtuel de phrases en Langue des Signes Française Directeurs de thèse : J.-M. Toulotte, B. Cantégrit

2 Sommaire de l’exposé Introduction Etat de l’Art
Buts recherchés et démarche adoptée Spécification du signe Synthèse du signe Spécification et génération de phrases signées Evaluation des signes synthétiques Conclusion et perspectives

3 Le geste de communication
Définition Mouvement intentionnel et significatif du corps Fonction informative Conforme à un code  reproductible, contrôlable Catégorisation (Kendon) Disparition progressive de la parole Apparition de caractéristiques langagières Gestes co Gestes de Langue verbaux para-langage des signes  Pantomime  Emblèmes 

4 La langue des signes Une langue à part entière Variations
Double articulation Grammaire et syntaxe propres Capacité à transmettre le message sans ambiguïté Mécanismes paralinguistiques Variations Evolutions diachroniques Variantes nationales, régionales, sociales, ethniques ... Un sujet d’étude privilégié pour le geste ...

5 Vers des interfaces gestuelles
Le geste en interaction homme-machine Une réponse aux handicaps Outils dédiés à la langue des signes Les besoins de la communauté sourde Outils spécifiques basés sur la vidéo Dictionnaires bidirectionnels Didactitiels Vers des interfaces adaptées aux signes

6 Signes en entrée : capture et identification
La capture Caméra (+gants colorés/marqueurs luminescents) Capteurs 6D et gants numériques Exemples A. Braffort, H. Sawada, ... La reconnaissance Détection des limites (segmentation) Influence entre gestes (coarticulation) Variabilité (inter/intra-personnelle)

7 Signes en sortie : synthèse (1)
Les limites de la vidéo Contraintes de création Volume d’information (stockage / transmission) Flexions et production de phrases signées Exemple de LAC Premiers travaux d’animation synthétique Succession de motifs animés sur fond fixe Harrison, 82 Projet H.A.N.D.S. (HamNoSys) Première synthèse 3D (Shantz & Poizner, 82)

8 Signes en sortie : synthèse (2)
F. Godenschweger Dessin au trait animé Spécification de bas niveau T. Lebourque (LIMSI) Génération de mouvements naturels Langage formel de description du signe « Signing Avatars » Tenants et aboutissants ? Reproduction de signes captés ?

9 Tenants et aboutissants
Chaîne globale de traduction Analyse grammaticale Texte source sémantique Correspondance, ordonnancement Synthèse graphique Phrase signée Spécification des signes Phrase à signer “mots-signes” Evaluation Modèle du signeur virtuel Représentation intermédiaire Synthèse graphique Primitives de synthèse Détail de la synthèse

10 Buts recherchés et démarche adoptée
Spécification Lisibilité et compacité de la description Description textuelle (pas de symbole) Intégrité du message + généricité Base = études linguistiques (phonèmes gestuels) Génération Approcher le temps réel Sophistication graphique limitée Production de phrases complètes Etude et modélisation des processus grammaticaux

11 Bases linguistiques Travaux de Stokoe (65) Validation Chérèmes T D S
Tabular T : Position Designator D : Configuration Signation S : Action effectuée par D dans la position T Validation Battison (74) : Orientation; Klima & Bellugi (78) Nève de Mevergnies (98) : gestèmes COLORIACT Autres ensembles : HamNoSys, Liddell & Johnson Histoire  FxF

12 Primitive de déplacement
Spécification manuelle Configuration Orientation Localisation Point manuel paume ( ) index ( ) Primitive de déplacement Spécification manuelle initiale Mouvement Spécification manuelle finale

13 Primitive de déplacement
Mouvement Primitive de déplacement Spécif manu I Spécif manu F Spécif manu tr MVT Mvt princ Forme chemin Modif mvt sec Mouvement principal 3 types de trajectoires Dynamique (emphase) Mouvement secondaire des doigts du poignet

14 Mouvement : étude de la dynamique
Outil Vision Suivi manuel Tableur Résultats v td tf vmax tf- t ex. Signe Piquer

15 Déplacement 3 formes Symétrie des articulateurs
Complète Conservation de Anti-symétrie position relative Symétrie des articulateurs

16 Macro-déplacement Signe = 1 ... ... ou plusieurs déplts. Répétitions
(LSF/ASL justice) ... ou plusieurs déplts. (LSF bibliothèque) Répétitions Fonctions linguistiques lexicales grammaticales (pluriel, nom/verbe) Plusieurs formes identifiées

17 Spécification hiérarchique complète

18 Configurations manuelles
Config. digitales Formes statiques des doigts Propriétés man. *Postures pouce *Abduction doigts Contraintes artic. Angles limites statiques et dyn. 5 : Plié 2 : Tendu 3 : Tendu Abduct: 2,3 Recouvert : 4 j i = f (j i-1 , j i+1 ) q = g (j) Config V Contacts réels/virtuels Pulpe: 1,2

19 Localisation et Orientation
Moyenne des configs « naturelles » prédéfinies pour le bras Définition explicite Orientation Correspondance avec la matrice d’orientation souhaitée pour le système bras/main Point manuel

20 Expressions faciales Eléments du « visage » Exemples
sourcils yeux joues bouche épaules tête | visage Eléments du « visage » Exemples Sombre Content Faible S’asseoir

21 De l’encodage à la synthèse
Sign #Se_déplacer . Manual: Shift from: (HandSpec config: #Index at: [UpperTorso FrontProx ... to: (HandSpec at: [UpperTorso FrontProx Sagittal] ori: [bcc ... move: #Natural NonManual: head followsDominantHand Analyse synt. / Evaluation Signe Se_déplacer Synthèse graphique

22 Le discours signé Utilisation de l’espace Localisation
Accord agent/patient (Verbes directionnels)

23 Localisations et accords pronominaux
Localisation ex. Maison(gauche), Garçon(droite) Accord pronominal ex.: verbe directionnel demander demander(toi, moi) (moi, toi) (moi, lui)

24 Le discours signé (suite)
Utilisation de l’espace Localisation Accord agent/patient (Verbes directionnels) Interlocuteur Tu, toi Il, elle, eux Il, elle, eux (à gauche) (à droite) Je, moi Signeur Autres flexions sur les signes Rythme Amplitude du mouvement Types de clause : mécanismes non-manuels Interaction discours/signe  paramétrage

25 Autres flexions sur les signes
Flexions spatio-temporelles ex. Faire_la_vaisselle (long pénible) Signes paramétriques Boîte(petite) Boîte(grande) Signes génériques Jour_semaine(vendredi) Jour_semaine(lundi)

26 Synoptique de la synthèse
\YNQ4 Toi rester maison toi Sign %Maison . Manual: s1 = Shift from: ( HandSpec config: #Moufle poin to: ( HandSpec point: #MiddleTip at: [170 42 move: #Natural weakMove: #Symmetrical. s1 repeat . Analyse, évaluation et synthèse r

27 Synthèse de phrases signées
\CND2 jour_semaine (vendredi) il_pleut \NO3 je rester maison aller bibliothèque je

28 Synthèse de phrases signées
%Julie(droite) téléphoner(Julie,moi) fini. Arriver>endroit être_en_retard elle(Julie). %Julie(droite) téléphoner(Julie,moi) fini. Arriver>endroit être_en_retard elle(Julie).

29 Méthodologie de l’évaluation
Contenu 50 signes représentatifs forme de citation (hors contexte) possibilité de tester à distance (HTML+ ) Protocole 8 informateurs dont 5 sourds demander l’acception perçue + nombre de visualisations évaluer la distance sémantique et classifier expliciter la (les) raison(s) de non-identification

30 Résultats Tests 1-8 (moyennes)
Evaluation de phrases : marquage des clauses améliorer les expressions non-manuelles implanter les pauses (étude théorique seule) prendre en compte le rythme de production (rupture)

31 Conclusion Création des signes Génération de phrases signées
Système de spécification (grammaire formelle) Interface graphique d’édition Génération de phrases signées Flexions sur les signes (processus grammaticaux) Module de synthèse graphique Avantages par rapport à la vidéo Facilité de création; signes fléchis Compacité de la description textuelle

32 Perspectives Applications Evolutions du système 
EAO, en particulier à distance (faible volume nécessaire) Analyses syntaxique & sémantique  traduction Sous-titrage automatique (ex. télétexte) Traduction de pages web Evolutions du système Rythme de la phrase Synchronisation des articulateurs Fluidité et rendu du signeur Langage compilé (transcription Smalltalk  C++) Avatar volumique expressif piloté en VRML

33 Remerciements Membres du jury Contacts avec le public sourd
MM. Pruski et Millot P. Coiffet, F.-X. Nève, S. Gibet, et M. Girod J.-M. Toulotte et B. Cantegrit Contacts avec le public sourd Association I.V.T. (Vincennes) Association S.I.E. (Lille) C.R.E.S.D.A. de Pont-à-Marcq Association SELOS (Lille) Membres d’I3D Les (nombreuses) personnes qui m’ont encouragé!

34 Marqueurs de clauses Marqueurs de clauses
Négative Assertive Conditionnelle Interrogative Thématique

35 Accord agent/patient : DONNER
Sign %Donner (agent , patient) . Manual: me = HandSpec config: #BecCanard point: #IndexTip at: [UpperTorso FrontCont... me selectors: Parameter firstPersonSingular. you = HandSpec config: #BecCanard at: [LowerTorso 70 11] ori: [Supinated]. you selectors: Parameter secondPersonSingular. Shift from: agent selected to: patient selected move: #Linear. Donner(je,toi) Donner(lui,moi) Donner(tu,lui)

36 Application : intégration à LAC
Logiciel multimédia destiné Au public sourd acquérir des connaissances spécifiques s’entraîner à lire A tout public se familiariser avec diverses techniques de communication enrichir ses connaissances Présentation 2 parties d’aspect proche : utilisateur & editeur Accessibilité

37 LAC + signeur virtuel


Télécharger ppt "Interaction, Image, et Ingénierie de la décision (I3D)"

Présentations similaires


Annonces Google