Communication Visuo-Gestuelle Langue des Signes Analyse d’Image

Présentation au sujet: "Communication Visuo-Gestuelle Langue des Signes Analyse d’Image"— Transcription de la présentation:

1 Communication Visuo-Gestuelle Langue des Signes Analyse d’Image
Patrice DALLE IRIT - TCI 13 février 2003

2 IRIT-TCI Traitement et Compréhension d’Images
Vision par ordinateur Stéréovision, calibrage, shape from shading Géométrie, Optimisation, Statistiques robustes Interprétation Environnement de conception, Systèmes, Reconnaissance Modélisation du TI, Autonomie, Interaction, Incertain, Évolution Communication Visuo-Gestuelle 13 février 2003 IRIT-TCI-CVG

3 Communication Visuo-Gestuelle
CVG Communication Visuo-Gestuelle Analyse par un système de vision 13 février 2003 IRIT-TCI-CVG

4 Communication Visuo-Gestuelle
CVG Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne 13 février 2003 IRIT-TCI-CVG

5 Communication Visuo-Gestuelle
CVG Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne dans un but de communication avec d’autres personnes avec une machine 13 février 2003 IRIT-TCI-CVG

6 Communication Visuo-Gestuelle
CVG Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne dans un but de communication avec d’autres personnes avec une machine Communication ≠ Interaction 13 février 2003 IRIT-TCI-CVG

7 CVG CVG : pourquoi ? (1/3) Etudier les utilisations de la LS Favoriser leur développement Communication en LS Éducation => apprendre en LS, enseigner la LS Formation => néologismes Vie sociale et professionnelle => outils de communication Développer des services expérimentaux => lieux d’observation de ces situations Institut IRIS Département E&R 13 février 2003 IRIT-TCI-CVG

8 CVG : pourquoi ? (2/3) Finalité : Communication, Langue des Signes
Opportunités Équipe TCI (synergie, masse critique) Vision , mouvement Compréhension IRIT (coopérations) Image (analyse et synthèse) CHM, analyse de la vidéo, indexation TALN (spatial), Dialogue Toulouse LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) LAAS (geste) 13 février 2003 IRIT-TCI-CVG

9 CVG : pourquoi ? (3/3) Problématique Enseignement
Thème émergent en analyse d’images Cadre d’étude pertinent Scientifique : 3D, mouvement, compréhension, sens Applications : CHM (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) LSF, Linguistique : étude des gestes co-verbaux Enseignement DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image Numérique IRR : Intelligence artificielle, Reconnaissance des formes , Robotique 13 février 2003 IRIT-TCI-CVG

10 CVG et analyse d’image Analyse Reconnaissance Interprétation
Détection : silhouette, visage, mouvement Segmentation Composants du visage, du corps Mouvement Reconnaissance Expressions (visage) Gestes Interprétation Mimiques faciales Gestes co-verbaux Signes (de la LSF) 13 février 2003 IRIT-TCI-CVG

11 Etude de la CVG : objectifs
Linguistique Etude des gestes co-verbaux, de la langue des signes Etudes par la langue des signes Transcription Formalisme pour analyser, mémoriser ou générer Ecriture de la LSF Traduction LSF  français Communication à distance Transmission, codage, compression Génération, personnage virtuel ou avatar signant Mémorisation Stockage, indexation, interrogation, restitution 13 février 2003 IRIT-TCI-CVG

12 Linguistique  Informatique apports croisés
CVG Linguistique  Informatique apports croisés Linguistique Primitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncés Informatique Modélisation de la syntaxe et de la sémantique Méthodes formelles Représentations pour rendre compte ou pour générer Modélisation du mouvement et des gestes Environnements Editeurs Outils de manipulation, stockage, interrogation Analyse : LS ( vidéo, direct)  représentation Génération : représentation  personnage de synthèse 13 février 2003 IRIT-TCI-CVG

13 Projets Actions Langue des Signes Analyse des gestes co-verbaux
ACI : Action Cognitique Incitative (ministère de la Recherche) AS : Action Spécifique STIC STIC  domaine IHC  RTP  AS, JEMSTIC, Equipe projet (CNRS) Langue des Signes ACI LS-COLIN (Cuxac) : LS analyseur de langues ( ) AS STIC (Gibet,Toulotte) : Communication en LS ( ) ACI (Garcia-Boutet) : LSF - Formes graphiques ( ) Analyse des gestes co-verbaux AS STIC (Dalle, Cuxac) : interaction gestuelle ( ) 13 février 2003 IRIT-TCI-CVG

14 Analyseurs privilégiés de la faculté de langage,
Projet-1 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique (Action COGNITIQUE) Langues des signes : Analyseurs privilégiés de la faculté de langage, Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image) autour de l'iconicité et de l'utilisation de l'espace. - Sciences du Langage, Université Paris 8 (linguistique de la LSF) - CAMS-LaLIC, Université Paris 4 (linguistique cognitive) - IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image) - LIMSI, CNRS, Orsay (informatique) 13 février 2003 IRIT-TCI-CVG

15 LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif.
Projet-1 LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du processus d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. Travaux communs Identification des primitives signifiantes pour linguistes et informaticiens Structuration, segmentation Spécification d’un outil de transcription 13 février 2003 IRIT-TCI-CVG

16 LS-COLIN : Travaux des linguistes
Projet-1 LS-COLIN : Travaux des linguistes Thèmes de publications issues de l’action (linguistes) Modèle d’une grammaire iconique de la LSF Structures de grande iconicité Opérations de transfert Conséquences cognitives des transferts en LS Classification des configurations manuelles pronomiales en LSF La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant 13 février 2003 IRIT-TCI-CVG

17 Projet-1 13 février 2003 IRIT-TCI-CVG

18 Projet-1 Corpus LS-COLIN 13 février 2003 IRIT-TCI-CVG

19 Exploitation du corpus : « histoire du cheval » (I. Fusellier)
Projet-1 Exploitation du corpus : « histoire du cheval » (I. Fusellier) Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, … 13 février 2003 IRIT-TCI-CVG

20 LS-COLIN : Editeur de partitions
Projet-1 LS-COLIN : Editeur de partitions 13 février 2003 IRIT-TCI-CVG

21 Edition assistée par Traitement d ’Images
Projet-1 Edition assistée par Traitement d ’Images Données: séquences vidéo Détection des zones d’intérêts Entités statiques Locuteur Mains Tête Extraction de l’information mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de l’information extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions 13 février 2003 IRIT-TCI-CVG

22 AS Interaction gestuelle (RTP Dialogue et Communication)
Projet-2 AS Interaction gestuelle (RTP Dialogue et Communication) Etude et Développement de la communication Homme-Machine visuo-gestuelle Patrice DALLE IRIT UMR Toulouse III Christian CUXAC Syntaxe formelle et typologie des langues UMR Paris VIII 13 février 2003 IRIT-TCI-CVG

23 AS-IG : Motivation Intérêt : Constat Causes
Projet-2 AS-IG : Motivation Intérêt : Le geste permet une interaction naturelle Constat Le geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs multimodaux Causes Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de liberté Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision L’expression gestuelle seule est incomplète et ambiguë 13 février 2003 IRIT-TCI-CVG

24 AS-IG : Présentation Objectif Méthode
Projet-2 AS-IG : Présentation Objectif Enrichir les capacités d’échange de la communication visuo-gestuelle Développer des modèles d’analyse des langues gestuelles par un système de vision Méthode Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Transposition à la communication H-M Réalisation d’une maquette de simulation 13 février 2003 IRIT-TCI-CVG

25 AS-IG Apport de la langue des signes
Projet-2 AS-IG Apport de la langue des signes analyse plus faciles à interpréter Langue des Signes Gestes co-verbaux plus expressifs enrichit 13 février 2003 IRIT-TCI-CVG

26 AS-IG : Laboratoires « cœur »
Projet-2 AS-IG : Laboratoires « cœur » Langue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. Sabria Co-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. Guaïtella- Cavé Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet 13 février 2003 IRIT-TCI-CVG

27 AS : Communication en langue des signes des sourds (RTP Handicap)
Projet-3 AS : Communication en langue des signes  des sourds (RTP Handicap) Représentations et Modélisations du mouvement dans le contexte de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes. 13 février 2003 IRIT-TCI-CVG

28 AS : Communication en langue des signes des sourds
Projet-3 AS : Communication en langue des signes  des sourds Modèles et langages de spécification pour la génération et l’animation d’agents de synthèse : Analyse et synthèse des expressions faciales Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re-synthèse en temps réel Interaction multimodale avec les agents virtuels de communication Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue) 13 février 2003 IRIT-TCI-CVG

29 AS : Communication en langue des signes des sourds
Projet-3 AS : Communication en langue des signes  des sourds Porteurs Sylvie Gibet Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte Laboratoire I3D, université des Sciences et Technologies de Lille Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université Stendhal, Grenoble 13 février 2003 IRIT-TCI-CVG

30 Projet-4 ACI-JC La LSF : quelles conditions pour quelles formes graphiques (proposition de projet) Porteurs Dominique Boutet Brigitte Garcia (linguistes - Paris 8) + laboratoires partenaires 13 février 2003 IRIT-TCI-CVG

31 Analyse d’image de personnages signants : Études menées à l’IRIT-TCI
Description Détection , Extraction de primitives Segmentation Caractérisation Reconstruction 3D Reconnaissance Interprétation 13 février 2003 IRIT-TCI-CVG

32 Edition assistée par Traitement d ’Images
Analyse d’image IRIT-TCI Edition assistée par Traitement d ’Images Données: séquences vidéo Détection des zones d’intérêts Entités statiques Locuteur Mains Tête Extraction de l’information mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de l’information extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions 13 février 2003 IRIT-TCI-CVG

33 Analyse d’image dans les projets
Analyse d’image IRIT-TCI Analyse d’image dans les projets Système d’analyse de la LSF Boris Lenseigne Projet LS-COLIN Action STIC : Communication en LS Analyse des gestes co-verbaux Frédérick Gianni Action STIC : interaction gestuelle Résumé d’exposés en LSF ACI : LSF - formes graphiques 13 février 2003 IRIT-TCI-CVG

34 Extraction du locuteur
Analyse d’image IRIT-TCI Extraction du locuteur - Comparaison avec une image de référence du fond - Filtrage et traitement morphologique 13 février 2003 IRIT-TCI-CVG

35 Extraction des entités mains et visage
Analyse d’image IRIT-TCI Extraction des entités mains et visage 1. Extraction des zones de peau 2. Identification des différentes régions par critères de taille et de forme Mains, Visage 13 février 2003 IRIT-TCI-CVG

36 Analyse des mimiques faciales
Analyse d’image IRIT-TCI Analyse des mimiques faciales Détection du visage Suivi du visage  méthode mean shift Modélisation du visage Etude des variations des composants 13 février 2003 IRIT-TCI-CVG

37 Représentation du mouvement par motifs temporels
Analyse d’image IRIT-TCI Représentation du mouvement par motifs temporels tMHI : Intensité pixel = fonction de l’historique du mouvement Détection des gestes symétriques par analyse de l’image tMHI 13 février 2003 IRIT-TCI-CVG

38 Détection des contours mobiles
Analyse d’image IRIT-TCI Détection des contours mobiles Frontières des objets en mouvement 13 février 2003 IRIT-TCI-CVG

39 Suivi des éléments mobiles
Analyse d’image IRIT-TCI Suivi des éléments mobiles 13 février 2003 IRIT-TCI-CVG

40 Estimation 3D de la posture
Analyse d’image IRIT-TCI Estimation 3D de la posture Point 3D = droite de projection  sphère 13 février 2003 IRIT-TCI-CVG

41 Estimation 3D de la posture
Analyse d’image IRIT-TCI Estimation 3D de la posture Filtrage des solutions Modèle géométrique du bras position 3D  valeurs des articulations butées Mouvement hypothèse de continuité modèles différentiels (vitesse et accélération) 13 février 2003 IRIT-TCI-CVG

42 Estimation 3D de la posture
Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement 13 février 2003 IRIT-TCI-CVG

43 Estimation 3D de la posture
Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit 13 février 2003 IRIT-TCI-CVG

44 Visualisation de l’espace de signation
Analyse d’image IRIT-TCI Visualisation de l’espace de signation 13 février 2003 IRIT-TCI-CVG

45 Visualisation de l’espace de signation
Analyse d’image IRIT-TCI Visualisation de l’espace de signation 13 février 2003 IRIT-TCI-CVG

46 Visualisation de l’espace de signation
Analyse d’image IRIT-TCI Visualisation de l’espace de signation 13 février 2003 IRIT-TCI-CVG

47 Système d’analyse de locuteur signant Cahier des charges (1)
Analyse d’image IRIT-TCI Système d’analyse de locuteur signant Cahier des charges (1) Le système doit fournir des outils de TI permettant de segmenter des composants d’un signe des outils de mesure des outils de reconnaissance (régioncomposant d ’un signe) des outils de structuration des composants pour chaque image isolément 13 février 2003 IRIT-TCI-CVG

48 pour la séquence d ’images.
Analyse d’image IRIT-TCI Cahier des charges (2) Le système doit fournir des outils de TI permettant la segmentation temporelle de la séquence des outils de mesure de la dynamique des outils de reconnaissance de trajectoires des outils de structuration des mouvements pour la séquence d ’images. 13 février 2003 IRIT-TCI-CVG

49 Analyse d’image IRIT-TCI
Cahier des charges (3) Remarque sur la reconnaissance et la structuration Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + taille + forme) le contexte (objet qui touche la tête = main) La méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du temps Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante 13 février 2003 IRIT-TCI-CVG

50 Analyse d’image IRIT-TCI
Cahier des charges (4) Contrainte : ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au moment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans le contexte courant vidéo Linguiste Système Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS 13 février 2003 IRIT-TCI-CVG

51 Système Interface linguiste Système intermédiaire
Analyse d’image IRIT-TCI Système Interface linguiste Interprète en termes du TI pilote Système intermédiaire pilote Observe et interprète Séquence d’images de durée t (=objet) Configuration à un moment donné (interp= temps d ’interprétation) 13 février 2003 IRIT-TCI-CVG

52 Contacts IRIT-TCI UPS 118 route de Narbonne Toulouse cedex 4 tel : Références LS-COLIN : Rapport final : contact Patrice Dalle AS-IG : 13 février 2003 IRIT-TCI-CVG