La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

13 février 2003 Communication Visuo-Gestuelle Langue des Signes Analyse dImage Patrice DALLE IRIT - TCI.

Présentations similaires


Présentation au sujet: "13 février 2003 Communication Visuo-Gestuelle Langue des Signes Analyse dImage Patrice DALLE IRIT - TCI."— Transcription de la présentation:

1 13 février 2003 Communication Visuo-Gestuelle Langue des Signes Analyse dImage Patrice DALLE IRIT - TCI

2 13 février 2003IRIT-TCI-CVG2 IRIT-TCI Traitement et Compréhension dImages Vision par ordinateur Vision par ordinateur Stéréovision, calibrage, shape from shading Stéréovision, calibrage, shape from shading Géométrie, Optimisation, Statistiques robustes Géométrie, Optimisation, Statistiques robustes Interprétation Interprétation Environnement de conception, Systèmes, Reconnaissance Environnement de conception, Systèmes, Reconnaissance Modélisation du TI, Autonomie, Interaction, Incertain, Évolution Modélisation du TI, Autonomie, Interaction, Incertain, Évolution Communication Visuo-Gestuelle Communication Visuo-Gestuelle

3 13 février 2003IRIT-TCI-CVG3 Communication Visuo-Gestuelle Analysepar un système de vision CVG

4 13 février 2003IRIT-TCI-CVG4 Communication Visuo-Gestuelle Analyse - Attitudes - Expressions - Mouvements - Gestes - Signes par un système de vision desémis par une personne CVG

5 13 février 2003IRIT-TCI-CVG5 Communication Visuo-Gestuelle Analyse - Attitudes - Expressions - Mouvements - Gestes - Signes par un système de vision desémis par une personne dans un but de communication avec dautres personnes avec une machine CVG

6 13 février 2003IRIT-TCI-CVG6 Communication Visuo-Gestuelle Analyse - Attitudes - Expressions - Mouvements - Gestes - Signes par un système de vision desémis par une personne dans un but de communication avec dautres personnes avec une machine Communication Interaction CVG

7 13 février 2003IRIT-TCI-CVG7 CVG : pourquoi ? (1/3) Etudier les utilisations de la LS Favoriser leur développement Etudier les utilisations de la LS Favoriser leur développement Communication en LS Communication en LS Éducation => apprendre en LS, enseigner la LS Éducation => apprendre en LS, enseigner la LS Formation => néologismes Formation => néologismes Vie sociale et professionnelle => outils de communication Vie sociale et professionnelle => outils de communication Développer des services expérimentaux => lieux dobservation de ces situations Développer des services expérimentaux => lieux dobservation de ces situations Institut IRIS Institut IRIS Département E&R Département E&R CVG

8 13 février 2003IRIT-TCI-CVG8 CVG : pourquoi ? (2/3) Finalité : Communication, Langue des Signes Finalité : Communication, Langue des Signes Opportunités Opportunités Équipe TCI (synergie, masse critique) Équipe TCI (synergie, masse critique) Vision, mouvement Vision, mouvement Compréhension Compréhension IRIT (coopérations) IRIT (coopérations) Image (analyse et synthèse) Image (analyse et synthèse) CHM, analyse de la vidéo, indexation CHM, analyse de la vidéo, indexation TALN (spatial), Dialogue TALN (spatial), Dialogue Toulouse Toulouse LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) LAAS (geste) LAAS (geste) CVG

9 13 février 2003IRIT-TCI-CVG9 CVG : pourquoi ? (3/3) Problématique Problématique Thème émergent en analyse dimages Thème émergent en analyse dimages Cadre détude pertinent Cadre détude pertinent Scientifique : 3D, mouvement, compréhension, sens Scientifique : 3D, mouvement, compréhension, sens Applications : Applications : CHM (interaction, commande, observation de lutilisateur, couplage analyse-synthèse) CHM (interaction, commande, observation de lutilisateur, couplage analyse-synthèse) LSF, LSF, Linguistique : étude des gestes co-verbaux Linguistique : étude des gestes co-verbaux Enseignement Enseignement DESS SI : Systèmes Intelligents (vision et interaction) DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de lImage Numérique IRR : Intelligence artificielle, Reconnaissance des formes, Robotique DESS IIN : Ingénierie de lImage Numérique IRR : Intelligence artificielle, Reconnaissance des formes, Robotique CVG

10 13 février 2003IRIT-TCI-CVG10 CVG et analyse dimage Analyse Analyse Détection : silhouette, visage, mouvement Détection : silhouette, visage, mouvement Segmentation Segmentation Composants du visage, du corps Composants du visage, du corps Mouvement Mouvement Reconnaissance Reconnaissance Expressions (visage) Expressions (visage) Gestes Gestes Interprétation Interprétation Mimiques faciales Mimiques faciales Gestes co-verbaux Gestes co-verbaux Signes (de la LSF) Signes (de la LSF) CVG

11 13 février 2003IRIT-TCI-CVG11 Etude de la CVG : objectifs Linguistique Linguistique Etude des gestes co-verbaux, de la langue des signes Etude des gestes co-verbaux, de la langue des signes Etudes par la langue des signes Etudes par la langue des signes Transcription Transcription Formalisme pour analyser, mémoriser ou générer Formalisme pour analyser, mémoriser ou générer Ecriture de la LSF Ecriture de la LSF Traduction LSF français Traduction LSF français Communication à distance Communication à distance Transmission, codage, compression Transmission, codage, compression Génération, personnage virtuel ou avatar signant Génération, personnage virtuel ou avatar signant Mémorisation Mémorisation Stockage, indexation, interrogation, restitution Stockage, indexation, interrogation, restitution CVG

12 13 février 2003IRIT-TCI-CVG12 Linguistique Informatique apports croisés Linguistique Linguistique Primitives, niveaux danalyse Primitives, niveaux danalyse Démarche danalyse ou de production dénoncés Démarche danalyse ou de production dénoncés Informatique Informatique Modélisation de la syntaxe et de la sémantique Modélisation de la syntaxe et de la sémantique Méthodes formelles Méthodes formelles Représentations pour rendre compte ou pour générer Représentations pour rendre compte ou pour générer Modélisation du mouvement et des gestes Modélisation du mouvement et des gestes Environnements Environnements Editeurs Editeurs Outils de manipulation, stockage, interrogation Outils de manipulation, stockage, interrogation Analyse : LS ( vidéo, direct) représentation Analyse : LS ( vidéo, direct) représentation Génération : représentation personnage de synthèse Génération : représentation personnage de synthèse CVG

13 13 février 2003IRIT-TCI-CVG13 Projets Actions Actions ACI : Action Cognitique Incitative (ministère de la Recherche) ACI : Action Cognitique Incitative (ministère de la Recherche) AS : Action Spécifique STIC STIC domaine IHC RTP AS, JEMSTIC, Equipe projet (CNRS) AS : Action Spécifique STIC STIC domaine IHC RTP AS, JEMSTIC, Equipe projet (CNRS) Langue des Signes Langue des Signes ACI LS-COLIN (Cuxac) : LS analyseur de langues ( ) ACI LS-COLIN (Cuxac) : LS analyseur de langues ( ) AS STIC (Gibet,Toulotte) : Communication en LS ( ) AS STIC (Gibet,Toulotte) : Communication en LS ( ) ACI (Garcia-Boutet) : LSF - Formes graphiques ( ) ACI (Garcia-Boutet) : LSF - Formes graphiques ( ) Analyse des gestes co-verbaux Analyse des gestes co-verbaux AS STIC (Dalle, Cuxac) : interaction gestuelle ( ) AS STIC (Dalle, Cuxac) : interaction gestuelle ( ) Projets

14 13 février 2003IRIT-TCI-CVG14 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique ( Action COGNITIQUE) - Sciences du Langage, Université Paris 8 (linguistique de la LSF) - CAMS-LaLIC, Université Paris 4 (linguistique cognitive) - IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image) - LIMSI, CNRS, Orsay (informatique) Langues des signes : Analyseurs privilégiés de la faculté de langage, Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image) autour de l'iconicité et de l'utilisation de l'espace. Projet-1

15 13 février 2003IRIT-TCI-CVG15 LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. L'iconicité des messages fonctionne comme analyseur cognitif. affiner l'inventaire des structures de "grande iconicité" affiner l'inventaire des structures de "grande iconicité" modéliser lémergence du vocabulaire standard à partir du processus d'iconicisation initial; modéliser lémergence du vocabulaire standard à partir du processus d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. Travaux communs Travaux communs Identification des primitives signifiantes pour linguistes et informaticiens Identification des primitives signifiantes pour linguistes et informaticiens Structuration, segmentation Structuration, segmentation Spécification dun outil de transcription Spécification dun outil de transcription Projet-1

16 13 février 2003IRIT-TCI-CVG16 LS-COLIN : Travaux des linguistes Thèmes de publications issues de laction (linguistes) Thèmes de publications issues de laction (linguistes) Modèle dune grammaire iconique de la LSF Modèle dune grammaire iconique de la LSF Structures de grande iconicité Structures de grande iconicité Opérations de transfert Opérations de transfert Conséquences cognitives des transferts en LS Classification des configurations manuelles pronomiales en LSF Classification des configurations manuelles pronomiales en LSF La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant Projet-1

17 13 février 2003IRIT-TCI-CVG17 Projet-1

18 13 février 2003IRIT-TCI-CVG18 Corpus LS-COLIN Projet-1

19 13 février 2003IRIT-TCI-CVG19 Exploitation du corpus : « histoire du cheval » (I. Fusellier) Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, … Projet-1

20 13 février 2003IRIT-TCI-CVG20 LS-COLIN : Editeur de partitions Projet-1

21 13 février 2003IRIT-TCI-CVG21 Edition assistée par Traitement d Images Données: séquences vidéo Détection des zones dintérêts Entités statiques Locuteur MainsTête Extraction de linformation mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de linformation extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions Projet-1

22 13 février 2003IRIT-TCI-CVG22 AS Interaction gestuelle (RTP Dialogue et Communication) Etude et Développement de la communication Homme-Machine visuo-gestuelle Patrice DALLE IRIT UMR Toulouse III Christian CUXAC Syntaxe formelle et typologie des langues UMR Paris VIII Projet-2

23 13 février 2003IRIT-TCI-CVG23 AS-IG : Motivation Intérêt : Intérêt : Le geste permet une interaction naturelle Le geste permet une interaction naturelle Constat Constat Le geste est peu utilisé dans la communication H-M Le geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs multimodaux La vision est peu utilisée dans les dispositifs multimodaux Causes Causes Analyse en temps réel dun objet composé articulé déformable, avec beaucoup de degrés de liberté Analyse en temps réel dun objet composé articulé déformable, avec beaucoup de degrés de liberté Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision Lexpression gestuelle seule est incomplète et ambiguë Lexpression gestuelle seule est incomplète et ambiguë Projet-2

24 13 février 2003IRIT-TCI-CVG24 AS-IG : Présentation Objectif Objectif Enrichir les capacités déchange de la communication visuo-gestuelle Enrichir les capacités déchange de la communication visuo-gestuelle Développer des modèles danalyse des langues gestuelles par un système de vision Développer des modèles danalyse des langues gestuelles par un système de vision Méthode Méthode Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Transposition à la communication H-M Transposition à la communication H-M Réalisation dune maquette de simulation Réalisation dune maquette de simulation Projet-2

25 13 février 2003IRIT-TCI-CVG25 AS-IG Apport de la langue des signes Langue des Signes Gestes co-verbaux analyse enrichit plus faciles à interpréter plus expressifs Projet-2

26 13 février 2003IRIT-TCI-CVG26 AS-IG : Laboratoires « cœur » Langue des signes Langue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG", R. Sabria UPRESA 6065 (Rouen) "DYALANG", R. Sabria Co-verbal Co-verbal UMR 8606 (Paris 5) "LEAPLE", Ch. Hudelot UMR 8606 (Paris 5) "LEAPLE", Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage", I. Guaïtella- Cavé UMR 6057 (Aix-Marseille) "Parole et Langage", I. Guaïtella- Cavé Vision et analyse du geste par ordinateur Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet Projet-2

27 13 février 2003IRIT-TCI-CVG27 AS : AS : Communication en langue des signes des sourds (RTP Handicap) Représentations et Modélisations du mouvement dans le contexte de linteraction et de lanimation dagents de synthèse communicant en langue des signes. Projet-3

28 13 février 2003IRIT-TCI-CVG28 AS : AS : Communication en langue des signes des sourds Modèles et langages de spécification pour la génération et lanimation dagents de synthèse : Modèles et langages de spécification pour la génération et lanimation dagents de synthèse : Analyse et synthèse des expressions faciales Analyse et synthèse des expressions faciales Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re- synthèse en temps réel Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re- synthèse en temps réel Interaction multimodale avec les agents virtuels de communication Interaction multimodale avec les agents virtuels de communication Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue) Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue) Projet-3

29 13 février 2003IRIT-TCI-CVG29 AS : AS : Communication en langue des signes des sourds Porteurs Sylvie Gibet Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte Laboratoire I3D, université des Sciences et Technologies de Lille Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université Stendhal, Grenoble Projet-3

30 13 février 2003IRIT-TCI-CVG30 ACI-JC La LSF : quelles conditions pour quelles formes graphiques (proposition de projet) Porteurs Dominique Boutet Brigitte Garcia (linguistes - Paris 8) + laboratoires partenaires Projet-4

31 13 février 2003IRIT-TCI-CVG31 Analyse dimage de personnages signants : Études menées à lIRIT-TCI Description Description Détection, Extraction de primitives Détection, Extraction de primitives Segmentation Segmentation Caractérisation Caractérisation Reconstruction 3D Reconstruction 3D Reconnaissance Reconnaissance Interprétation Interprétation Analyse dimage

32 13 février 2003IRIT-TCI-CVG32 Edition assistée par Traitement d Images Données: séquences vidéo Détection des zones dintérêts Entités statiques Locuteur MainsTête Extraction de linformation mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de linformation extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions Analyse dimage IRIT-TCI

33 13 février 2003IRIT-TCI-CVG33 Analyse dimage dans les projets Système danalyse de la LSF Système danalyse de la LSF Boris Lenseigne Boris Lenseigne Projet LS-COLIN Projet LS-COLIN Action STIC : Communication en LS Action STIC : Communication en LS Analyse des gestes co-verbaux Analyse des gestes co-verbaux Frédérick Gianni Frédérick Gianni Action STIC : interaction gestuelle Action STIC : interaction gestuelle Résumé dexposés en LSF Résumé dexposés en LSF ACI : LSF - formes graphiques ACI : LSF - formes graphiques Analyse dimage IRIT-TCI

34 13 février 2003IRIT-TCI-CVG34 Extraction du locuteur - Comparaison avec une image de référence du fond - Filtrage et traitement morphologique Analyse dimage IRIT-TCI

35 13 février 2003IRIT-TCI-CVG35 Extraction des entités mains et visage 1. Extraction des zones de peau 2. Identification des différentes régions par critères de taille et de forme Mains, Visage Analyse dimage IRIT-TCI

36 13 février 2003IRIT-TCI-CVG36 Analyse des mimiques faciales Détection du visage Détection du visage Suivi du visage méthode mean shift Suivi du visage méthode mean shift Modélisation du visage Modélisation du visage Etude des variations des composants Etude des variations des composants Analyse dimage IRIT-TCI

37 13 février 2003IRIT-TCI-CVG37 Représentation du mouvement par motifs temporels tMHI : Intensité pixel = fonction de lhistorique du mouvement Détection des gestes symétriques par analyse de limage tMHI Analyse dimage IRIT-TCI

38 13 février 2003IRIT-TCI-CVG38 Détection des contours mobiles Frontières des objets en mouvement Analyse dimage IRIT-TCI

39 13 février 2003IRIT-TCI-CVG39 Suivi des éléments mobiles Analyse dimage IRIT-TCI

40 13 février 2003IRIT-TCI-CVG40 Estimation 3D de la posture Point 3D = droite de projection sphère Analyse dimage IRIT-TCI

41 13 février 2003IRIT-TCI-CVG41 Estimation 3D de la posture Filtrage des solutions –Modèle géométrique du bras position 3D valeurs des articulations butées –Mouvement hypothèse de continuité modèles différentiels (vitesse et accélération) Analyse dimage IRIT-TCI

42 13 février 2003IRIT-TCI-CVG42 Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations dun bras lors dun mouvement Analyse dimage IRIT-TCI

43 13 février 2003IRIT-TCI-CVG43 Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations dun bras lors dun mouvement : étude du bruit Analyse dimage IRIT-TCI

44 13 février 2003IRIT-TCI-CVG44 Visualisation de lespace de signation Analyse dimage IRIT-TCI

45 13 février 2003IRIT-TCI-CVG45 Visualisation de lespace de signation Analyse dimage IRIT-TCI

46 13 février 2003IRIT-TCI-CVG46 Visualisation de lespace de signation Analyse dimage IRIT-TCI

47 13 février 2003IRIT-TCI-CVG47 Système danalyse de locuteur signant Cahier des charges (1) Le système doit fournir Le système doit fournir des outils de TI permettant de segmenter des composants dun signe des outils de TI permettant de segmenter des composants dun signe des outils de mesure des outils de mesure des outils de reconnaissance (région composant d un signe) des outils de reconnaissance (région composant d un signe) des outils de structuration des composants des outils de structuration des composants pour chaque image isolément Analyse dimage IRIT-TCI

48 13 février 2003IRIT-TCI-CVG48 Cahier des charges (2) Le système doit fournir Le système doit fournir des outils de TI permettant la segmentation temporelle de la séquence des outils de TI permettant la segmentation temporelle de la séquence des outils de mesure de la dynamique des outils de mesure de la dynamique des outils de reconnaissance de trajectoires des outils de reconnaissance de trajectoires des outils de structuration des mouvements des outils de structuration des mouvements pour la séquence d images. Analyse dimage IRIT-TCI

49 13 février 2003IRIT-TCI-CVG49 Cahier des charges (3) Les composants sont identifiables par : Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + taille + forme) leurs caractéristiques (main = tâche de couleur peau + taille + forme) le contexte (objet qui touche la tête = main) le contexte (objet qui touche la tête = main) La méthode de reconnaissance nest pas unique La méthode de reconnaissance nest pas unique Le choix de la méthode évolue au cours du temps Le choix de la méthode évolue au cours du temps Système adaptatif : - les objets ont une définition unique - il n y a pas une description discriminante Remarque sur la reconnaissance et la structuration Analyse dimage IRIT-TCI

50 13 février 2003IRIT-TCI-CVG50 Cahier des charges (4) Contrainte : ne pas limiter l espace des problèmes Contrainte : ne pas limiter l espace des problèmes Le linguiste : doit pouvoir exprimer ce quil cherche, au moment de l analyse Le linguiste : doit pouvoir exprimer ce quil cherche, au moment de l analyse Requêtes : exprimées en termes d indices visuels dans le contexte courant Requêtes : exprimées en termes d indices visuels dans le contexte courant Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d images de la LS LinguisteSystème vidéo Analyse dimage IRIT-TCI

51 13 février 2003IRIT-TCI-CVG51 Système Système intermédiaire Interface linguiste pilote Interprète en termes du TI Séquence dimages de durée t (=objet) Configuration à un moment donné ( interp = temps d interprétation) Observe et interprète Analyse dimage IRIT-TCI

52 13 février 2003IRIT-TCI-CVG52 Contacts Contacts IRIT-TCI UPS 118 route de Narbonne Toulouse cedex 4 tel : IRIT-TCI UPS 118 route de Narbonne Toulouse cedex 4 tel : Références Références LS-COLIN : LS-COLIN : Rapport final : contact Patrice Dalle Rapport final : contact Patrice Dalle AS-IG : AS-IG :


Télécharger ppt "13 février 2003 Communication Visuo-Gestuelle Langue des Signes Analyse dImage Patrice DALLE IRIT - TCI."

Présentations similaires


Annonces Google