Communication Visuo-Gestuelle Langue des Signes Analyse d’Image Patrice DALLE IRIT - TCI 13 février 2003

IRIT-TCI Traitement et Compréhension d’Images Vision par ordinateur Stéréovision, calibrage, shape from shading Géométrie, Optimisation, Statistiques robustes Interprétation Environnement de conception, Systèmes, Reconnaissance Modélisation du TI, Autonomie, Interaction, Incertain, Évolution Communication Visuo-Gestuelle 13 février 2003 IRIT-TCI-CVG

Communication Visuo-Gestuelle CVG Communication Visuo-Gestuelle Analyse par un système de vision 13 février 2003 IRIT-TCI-CVG

Communication Visuo-Gestuelle CVG Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne 13 février 2003 IRIT-TCI-CVG

Communication Visuo-Gestuelle CVG Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne dans un but de communication avec d’autres personnes avec une machine 13 février 2003 IRIT-TCI-CVG

Communication Visuo-Gestuelle CVG Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne dans un but de communication avec d’autres personnes avec une machine Communication ≠ Interaction 13 février 2003 IRIT-TCI-CVG

CVG CVG : pourquoi ? (1/3) Etudier les utilisations de la LS Favoriser leur développement Communication en LS Éducation => apprendre en LS, enseigner la LS Formation => néologismes Vie sociale et professionnelle => outils de communication Développer des services expérimentaux => lieux d’observation de ces situations Institut IRIS Département E&R 13 février 2003 IRIT-TCI-CVG

CVG : pourquoi ? (2/3) Finalité : Communication, Langue des Signes Opportunités Équipe TCI (synergie, masse critique) Vision , mouvement Compréhension IRIT (coopérations) Image (analyse et synthèse) CHM, analyse de la vidéo, indexation TALN (spatial), Dialogue Toulouse LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) LAAS (geste) 13 février 2003 IRIT-TCI-CVG

CVG : pourquoi ? (3/3) Problématique Enseignement Thème émergent en analyse d’images Cadre d’étude pertinent Scientifique : 3D, mouvement, compréhension, sens Applications : CHM (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) LSF, Linguistique : étude des gestes co-verbaux Enseignement DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image Numérique IRR : Intelligence artificielle, Reconnaissance des formes , Robotique 13 février 2003 IRIT-TCI-CVG

CVG et analyse d’image Analyse Reconnaissance Interprétation Détection : silhouette, visage, mouvement Segmentation Composants du visage, du corps Mouvement Reconnaissance Expressions (visage) Gestes Interprétation Mimiques faciales Gestes co-verbaux Signes (de la LSF) 13 février 2003 IRIT-TCI-CVG

Etude de la CVG : objectifs Linguistique Etude des gestes co-verbaux, de la langue des signes Etudes par la langue des signes Transcription Formalisme pour analyser, mémoriser ou générer Ecriture de la LSF Traduction LSF  français Communication à distance Transmission, codage, compression Génération, personnage virtuel ou avatar signant Mémorisation Stockage, indexation, interrogation, restitution 13 février 2003 IRIT-TCI-CVG

Linguistique  Informatique apports croisés CVG Linguistique  Informatique apports croisés Linguistique Primitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncés Informatique Modélisation de la syntaxe et de la sémantique Méthodes formelles Représentations pour rendre compte ou pour générer Modélisation du mouvement et des gestes Environnements Editeurs Outils de manipulation, stockage, interrogation Analyse : LS ( vidéo, direct)  représentation Génération : représentation  personnage de synthèse 13 février 2003 IRIT-TCI-CVG

Projets Actions Langue des Signes Analyse des gestes co-verbaux ACI : Action Cognitique Incitative (ministère de la Recherche) AS : Action Spécifique STIC STIC  domaine IHC  RTP  AS, JEMSTIC, Equipe projet (CNRS) Langue des Signes ACI LS-COLIN (Cuxac) : LS analyseur de langues (2000-2002) AS STIC (Gibet,Toulotte) : Communication en LS (2003-2004) ACI (Garcia-Boutet) : LSF - Formes graphiques (2003-2005) Analyse des gestes co-verbaux AS STIC (Dalle, Cuxac) : interaction gestuelle (2002-2003) 13 février 2003 IRIT-TCI-CVG

Analyseurs privilégiés de la faculté de langage, Projet-1 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique (Action COGNITIQUE) Langues des signes : Analyseurs privilégiés de la faculté de langage, Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image) autour de l'iconicité et de l'utilisation de l'espace. - Sciences du Langage, Université Paris 8 (linguistique de la LSF) - CAMS-LaLIC, Université Paris 4 (linguistique cognitive) - IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image) - LIMSI, CNRS, Orsay (informatique) 13 février 2003 IRIT-TCI-CVG

LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. Projet-1 LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du processus d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. Travaux communs Identification des primitives signifiantes pour linguistes et informaticiens Structuration, segmentation Spécification d’un outil de transcription 13 février 2003 IRIT-TCI-CVG

LS-COLIN : Travaux des linguistes Projet-1 LS-COLIN : Travaux des linguistes Thèmes de publications issues de l’action (linguistes) Modèle d’une grammaire iconique de la LSF Structures de grande iconicité Opérations de transfert Conséquences cognitives des transferts en LS Classification des configurations manuelles pronomiales en LSF La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant 13 février 2003 IRIT-TCI-CVG

Projet-1 13 février 2003 IRIT-TCI-CVG

Projet-1 Corpus LS-COLIN 13 février 2003 IRIT-TCI-CVG

Exploitation du corpus : « histoire du cheval » (I. Fusellier) Projet-1 Exploitation du corpus : « histoire du cheval » (I. Fusellier) Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, … 13 février 2003 IRIT-TCI-CVG

LS-COLIN : Editeur de partitions Projet-1 LS-COLIN : Editeur de partitions 13 février 2003 IRIT-TCI-CVG

Edition assistée par Traitement d ’Images Projet-1 Edition assistée par Traitement d ’Images Données: séquences vidéo Détection des zones d’intérêts Entités statiques Locuteur Mains Tête Extraction de l’information mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de l’information extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions 13 février 2003 IRIT-TCI-CVG

AS Interaction gestuelle (RTP Dialogue et Communication) Projet-2 AS Interaction gestuelle (RTP Dialogue et Communication) Etude et Développement de la communication Homme-Machine visuo-gestuelle Patrice DALLE IRIT UMR 5505- Toulouse III Christian CUXAC Syntaxe formelle et typologie des langues UMR 7023 - Paris VIII 13 février 2003 IRIT-TCI-CVG

AS-IG : Motivation Intérêt : Constat Causes Projet-2 AS-IG : Motivation Intérêt : Le geste permet une interaction naturelle Constat Le geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs multimodaux Causes Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de liberté Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision L’expression gestuelle seule est incomplète et ambiguë 13 février 2003 IRIT-TCI-CVG

AS-IG : Présentation Objectif Méthode Projet-2 AS-IG : Présentation Objectif Enrichir les capacités d’échange de la communication visuo-gestuelle Développer des modèles d’analyse des langues gestuelles par un système de vision Méthode Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Transposition à la communication H-M Réalisation d’une maquette de simulation 13 février 2003 IRIT-TCI-CVG

AS-IG Apport de la langue des signes Projet-2 AS-IG Apport de la langue des signes analyse plus faciles à interpréter Langue des Signes Gestes co-verbaux plus expressifs enrichit 13 février 2003 IRIT-TCI-CVG

AS-IG : Laboratoires « cœur » Projet-2 AS-IG : Laboratoires « cœur » Langue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. Sabria Co-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. Guaïtella- Cavé Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet 13 février 2003 IRIT-TCI-CVG

AS : Communication en langue des signes des sourds (RTP Handicap) Projet-3 AS : Communication en langue des signes  des sourds (RTP Handicap) Représentations et Modélisations du mouvement dans le contexte de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes. 13 février 2003 IRIT-TCI-CVG

AS : Communication en langue des signes des sourds Projet-3 AS : Communication en langue des signes  des sourds Modèles et langages de spécification pour la génération et l’animation d’agents de synthèse : Analyse et synthèse des expressions faciales Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re-synthèse en temps réel Interaction multimodale avec les agents virtuels de communication Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue) 13 février 2003 IRIT-TCI-CVG

AS : Communication en langue des signes des sourds Projet-3 AS : Communication en langue des signes  des sourds Porteurs Sylvie Gibet Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte Laboratoire I3D, université des Sciences et Technologies de Lille Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université Stendhal, Grenoble 13 février 2003 IRIT-TCI-CVG

Projet-4 ACI-JC La LSF : quelles conditions pour quelles formes graphiques (proposition de projet) Porteurs Dominique Boutet Brigitte Garcia (linguistes - Paris 8) + laboratoires partenaires 13 février 2003 IRIT-TCI-CVG

Analyse d’image de personnages signants : Études menées à l’IRIT-TCI Description Détection , Extraction de primitives Segmentation Caractérisation Reconstruction 3D Reconnaissance Interprétation 13 février 2003 IRIT-TCI-CVG

Edition assistée par Traitement d ’Images Analyse d’image IRIT-TCI Edition assistée par Traitement d ’Images Données: séquences vidéo Détection des zones d’intérêts Entités statiques Locuteur Mains Tête Extraction de l’information mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de l’information extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions 13 février 2003 IRIT-TCI-CVG

Analyse d’image dans les projets Analyse d’image IRIT-TCI Analyse d’image dans les projets Système d’analyse de la LSF Boris Lenseigne Projet LS-COLIN Action STIC : Communication en LS Analyse des gestes co-verbaux Frédérick Gianni Action STIC : interaction gestuelle Résumé d’exposés en LSF ACI : LSF - formes graphiques 13 février 2003 IRIT-TCI-CVG

Extraction du locuteur Analyse d’image IRIT-TCI Extraction du locuteur - Comparaison avec une image de référence du fond - Filtrage et traitement morphologique 13 février 2003 IRIT-TCI-CVG

Extraction des entités mains et visage Analyse d’image IRIT-TCI Extraction des entités mains et visage 1. Extraction des zones de peau 2. Identification des différentes régions par critères de taille et de forme Mains, Visage 13 février 2003 IRIT-TCI-CVG

Analyse des mimiques faciales Analyse d’image IRIT-TCI Analyse des mimiques faciales Détection du visage Suivi du visage  méthode mean shift Modélisation du visage Etude des variations des composants 13 février 2003 IRIT-TCI-CVG

Représentation du mouvement par motifs temporels Analyse d’image IRIT-TCI Représentation du mouvement par motifs temporels tMHI : Intensité pixel = fonction de l’historique du mouvement Détection des gestes symétriques par analyse de l’image tMHI 13 février 2003 IRIT-TCI-CVG

Détection des contours mobiles Analyse d’image IRIT-TCI Détection des contours mobiles Frontières des objets en mouvement 13 février 2003 IRIT-TCI-CVG

Suivi des éléments mobiles Analyse d’image IRIT-TCI Suivi des éléments mobiles 13 février 2003 IRIT-TCI-CVG

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Point 3D = droite de projection  sphère 13 février 2003 IRIT-TCI-CVG

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Filtrage des solutions Modèle géométrique du bras position 3D  valeurs des articulations butées Mouvement hypothèse de continuité modèles différentiels (vitesse et accélération) 13 février 2003 IRIT-TCI-CVG

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement 13 février 2003 IRIT-TCI-CVG

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit 13 février 2003 IRIT-TCI-CVG

Visualisation de l’espace de signation Analyse d’image IRIT-TCI Visualisation de l’espace de signation 13 février 2003 IRIT-TCI-CVG

Visualisation de l’espace de signation Analyse d’image IRIT-TCI Visualisation de l’espace de signation 13 février 2003 IRIT-TCI-CVG

Visualisation de l’espace de signation Analyse d’image IRIT-TCI Visualisation de l’espace de signation 13 février 2003 IRIT-TCI-CVG

Système d’analyse de locuteur signant Cahier des charges (1) Analyse d’image IRIT-TCI Système d’analyse de locuteur signant Cahier des charges (1) Le système doit fournir des outils de TI permettant de segmenter des composants d’un signe des outils de mesure des outils de reconnaissance (régioncomposant d ’un signe) des outils de structuration des composants pour chaque image isolément 13 février 2003 IRIT-TCI-CVG

pour la séquence d ’images. Analyse d’image IRIT-TCI Cahier des charges (2) Le système doit fournir des outils de TI permettant la segmentation temporelle de la séquence des outils de mesure de la dynamique des outils de reconnaissance de trajectoires des outils de structuration des mouvements pour la séquence d ’images. 13 février 2003 IRIT-TCI-CVG

Analyse d’image IRIT-TCI Cahier des charges (3) Remarque sur la reconnaissance et la structuration Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + taille + forme) le contexte (objet qui touche la tête = main) La méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du temps Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante 13 février 2003 IRIT-TCI-CVG

Analyse d’image IRIT-TCI Cahier des charges (4) Contrainte : ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au moment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans le contexte courant vidéo Linguiste Système Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS 13 février 2003 IRIT-TCI-CVG

Système Interface linguiste Système intermédiaire Analyse d’image IRIT-TCI Système Interface linguiste Interprète en termes du TI pilote Système intermédiaire pilote Observe et interprète Séquence d’images de durée t (=objet) Configuration à un moment donné (interp= temps d ’interprétation) 13 février 2003 IRIT-TCI-CVG

Contacts Patrice.Dalle@irit.fr IRIT-TCI UPS 118 route de Narbonne 31062 Toulouse cedex 4 tel : 05-61-55-63-09 http://www.irit.fr/ACTIVITES/EQ_TCI/home.html Références LS-COLIN : http://www.irit.fr/LS-COLIN Rapport final : contact Patrice Dalle AS-IG : http://www.irit.fr/AS-IG 13 février 2003 IRIT-TCI-CVG