Recherches sur la Langue des Signes Patrice DALLE IRIT - TCI* IRIS - E&R Présentation de Patrice Dalle : Je suis responsable d’une équipe de recherche sur l’analyse d’image à l’IRIT et animateur du secteur Etudes et Recherche d’IRIS. Un certain nombre de projets de recherche sur la LSF ont été lancés récemment ou vont démarrer, soutenus par le ministère de la recherche ou par le CNRS. Je participe à la plupart de ces projets au titre de l’IRIT. Or je constate que la communauté sourde est très peu présente dans ces projets, que ce soit pour exprimer les besoins ou pour participer aux travaux de recherche. Il m’a donc semblé intéressant de proposer un exposé de ces différentes recherches pour que les sourds aient leur mot à dire dans les travaux qui concernent leur langue. J’espère aussi que cette présentation sera l’occasion d’entamer un débat intéressant voire m eme de démarrer une activité de recherche à IRIS. *Institut de Recherches en Informatique de Toulouse équipe Traitement et Compréhension d’Images

IRIT-TCI Traitement et Compréhension d’Images Présentation IRIT-TCI Traitement et Compréhension d’Images Vision par ordinateur Retrouver les informations sur la scène observée Interprétation Reconnaître les objets, Comprendre la scène Communication Visuo-Gestuelle Analyse des gestes ou signes d’une personne L’équipe TCI que je dirige travaille dans 3 domaines de l’analyse d’image. Celui qui nous intéresse ici est le domaine de la communication visuo-gestuelle et plus particulièrement de la langue des signes. En tant que traiteurs d’image, nous sommes donc amenés à étudier les expressions ou les gestes d’un locuteur en langue des signes, à l’aide d’un système de vision (une ou plusieurs caméras) connecté à un ordinateur. IRIS - 25 juin 2003 Recherches sur la LSF

Communication Visuo-Gestuelle Présentation Communication Visuo-Gestuelle Analyse par un système de vision - Attitudes - Expressions - Mouvements Gestes Signes des émis par une personne dans un but de communication avec d’autres personnes ou avec une machine Cette planche présente les éléments qui interviennent dans la communication visuo-gestuelle et notre problématique de recherche. IRIS - 25 juin 2003 Recherches sur la LSF

Types de recherches sur la langue des Signes LSF , objet de l’étude : recherches linguistiques Communication en LSF : technologies facilitant la communication en LSF sur l’utilisation de la langue des Signes Pédagogie en LSF Accès à la culture : documents en LSF : LSF et vie sociale … Les recherches concernant la LSF peuvent porter sur la langue des signes elle-même ou sur son utilisation par exemple dans l’enseignement (on parle alors de recherche sur la pédagogie en LSF). Nous ne parlerons ici que des recherche sur la langue des signes (on est alors dans le domaine de la linguistique) ou sur la communication en LSF. IRIS - 25 juin 2003 Recherches sur la LSF

Recherches sur la LSF Prérequis nécessaires pour étudier la LSF Thèmes des recherches Recherches sur la LSF Prérequis nécessaires pour étudier la LSF Constitution de corpus Formalismes de notation Outils informatiques d’analyse de corpus vidéo Analyse de la LSF Formation des signes Caractéristiques de la LSF. Ex : grande iconicité Grammaire de la LSF Modalités de la LSF Écriture de la LSF LSF , analyseur de faits de langues Naissance des langues (étude de sourds isolés) LSF et gestuelle co-verbale Les recherche sur la LSF suppose d’abord la constitution d’un corpus et de méthodes, de formalismes et d’outils pour analyser ce corpus. Elles peuvent porter sur différentes facettes de la langue La LS n’ayant pas de modalité écrite des recherches portent aussi sur la possibilité de définir une ou plusieurs formes d’écriture de la LSF. Enfin la LSF ayant une dimension de plus que les langues parlées, on peut considérer ces dernières comme une projection dans un espace linéaire d’une structure plus générale. La LSF est ainsi un analyseur de faits de langues et les retombées des recherches concernent alors toutes les langues. IRIS - 25 juin 2003 Recherches sur la LSF

Communication en LSF Communication à distance Thèmes des recherches Communication en LSF Communication à distance Compression « intelligente » Interfaces adaptées Messagerie en LSF Production d’énoncés en LSF Avatars signants Ecriture de la LSF Prise de notes en LSF Résumés en vidéos, annotation, consultation Traduction LSF  Français Énoncé  sens  représentation  génération Les recherches sur la communication en LSF comportent également plusieurs aspects , qu’il s’agisse de communication à distance, en émission ou en réception, de communication écrite, de mémorisation ou d’articulatin avec le français. IRIS - 25 juin 2003 Recherches sur la LSF

Financement public des recherches Recherches en cours Financement public des recherches Ministère de la recherche ACI : Action Cognitique Incitative CNRS Département STIC (Sciences et Technologies de l’Information et de la Communication)  4 domaines : - STIC : technologies de la communication - IHC (Interaction Humaines et Cognition) ; rôle de l’humain RTP : Réseaux Thématiques Pluridisciplinaires Actions spécifiques Equipes projets INRIA Régions Les financement publics de ces recherches proviennent des ministères, des collectivités locales ou de plusieurs organismes nationaux. IRIS - 25 juin 2003 Recherches sur la LSF

Linguistique  Informatique apports croisés CVG Linguistique  Informatique apports croisés Linguistique Primitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncés Informatique Modélisation de la syntaxe et de la sémantique Méthodes formelles Représentations pour rendre compte ou pour générer Modélisation du mouvement et des gestes Environnements Editeurs Outils de manipulation, stockage, interrogation Analyse : LS ( vidéo, direct)  représentation Génération : représentation  personnage de synthèse Ces recherches font collabore des linguistes et des informaticiens. Chaque discipline enrichit l’autre de son pint de vue, de ses modèles et de ses méthodes ou outils d’analyse. IRIS - 25 juin 2003 Recherches sur la LSF

Projets Gestes Langue des Signes Analyse des gestes co-verbaux AS STIC : analyse des gestes Langue des Signes ACI LS-COLIN (Cuxac) : LS analyseur de langues (2000-2002) AS STIC (Gibet,Toulotte) : Communication en LS (2003-2004) ACI (Garcia-Boutet) : LSF - Formes graphiques (2003-2005) INRIA : ARC-LSF Analyse des gestes co-verbaux AS STIC (Dalle, Cuxac) : interaction gestuelle (2002-2003) Equipe projet (Dalle, Cuxac) : Interaction gestuelle (2004-2007) Cette planche liste les recherches existantes (en blanc), qui vont démarrer (en violet clair) ou qui dont le projet est en attente de réponse (violet foncé). Il existe encore d’autres projets comme le projet Signes à Bordeaux (en démarrage) ou ARC-LSF de l’INRIA (terminé mais débouchant vers le LPC)... IRIS - 25 juin 2003 Recherches sur la LSF

Analyseurs privilégiés de la faculté de langage, Projet-1 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique (Action COGNITIQUE) Langues des signes : Analyseurs privilégiés de la faculté de langage, Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image) autour de l'iconicité et de l'utilisation de l'espace. Présentation du thème et des équipes participant au projet LS-COLIN, terminé fin 2002. - Sciences du Langage, Université Paris 8 (linguistique de la LSF) - CAMS-LaLIC, Université Paris 4 (linguistique cognitive) - IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image) - LIMSI, CNRS, Orsay (informatique) IRIS - 25 juin 2003 Recherches sur la LSF

LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. Projet-1 LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du processus d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. Travaux communs Identification des primitives signifiantes pour linguistes et informaticiens Structuration, segmentation Spécification d’un outil de transcription Étude et réalisation d’un corpus L’iconicité a été au cœur des études. Le principal résultat a été une clarification des primitives utilisées par les linguistes pour analyser la LSF. Ceci a permis de définir un outil informatique pur observer ces primitives sur une vidéo et annoter cette vidéo. D’autre part un corpus de bonne qualité a été réalisé. IRIS - 25 juin 2003 Recherches sur la LSF

LS-COLIN : Travaux des linguistes Projet-1 LS-COLIN : Travaux des linguistes Thèmes de publications issues de l’action (linguistes) Modèle d’une grammaire iconique de la LSF Structures de grande iconicité Opérations de transfert Conséquences cognitives des transferts en LS Classification des configurations manuelles pronomiales en LSF La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant Plusieurs publications ont été réalisées pendant ce projet. Les thèmes des publications des linguistes donnent une idée des travaux qui ont été penés au cours du projet. IRIS - 25 juin 2003 Recherches sur la LSF

Projet-1 Au début du projet une méthode commune d’analyse de la LS « en partition » a été définie. Voici un exemple d’annotation d’une séquence de « Blanche-Neige » IRIS - 25 juin 2003 Recherches sur la LSF

Corpus LS-COLIN Projet-1 Un corpus a été réalisé avec une douzaine de locuteur de différentes régions selon un protocole en 3 parties : Raconter une histoire imposée décrite par un jeu d’images (« cheval ») Expliquer une recette de cuisine (libre) Décrire sa réaction à un événement d’actualité (attentats de New-York) Le locuteur s’adresse à une personne placée juste à côté de la caméra de face Le locuteur est filmé par 3 caméras synchrones : Plan américain de face Gros plan sur le visage Vue de dessus à la verticale du locuteur. La planche montre un montage de ces 3 vues. Ce corpus est disponible et peut être demandé pour des activités de recherche. IRIS - 25 juin 2003 Recherches sur la LSF

Exploitation du corpus : « histoire du cheval » (I. Fusellier) Projet-1 Exploitation du corpus : « histoire du cheval » (I. Fusellier) Voici un exemple de transcription manuelle de ce corpus par un linguiste du projet (Ivani Fusellier). Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, … IRIS - 25 juin 2003 Recherches sur la LSF

LS-COLIN : Editeur de partitions Projet-1 LS-COLIN : Editeur de partitions Un outil informatique a été spécifié et étudié pour informatiser la procédure d’annotation de la vidéo (éditeur de partition). Il n’a pas pu être terminé dans la période du projet. Voici l’interface de ce système. IRIS - 25 juin 2003 Recherches sur la LSF

Edition assistée par Traitement d ’Images Projet-1 Edition assistée par Traitement d ’Images Données: séquences vidéo Détection des zones d’intérêts Entités statiques Locuteur Mains Tête Extraction de l’information mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de l’information extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions D’autre part l’IRIT-TCI a étudié comment des outils d’analyse d’image pourraient être couplés à l’éditeur de partition pour automatiser certaines tâches ou pour enrichir l’analyse manuelle par des mesures. Des exemples de ces outils seront présentés plus loin. IRIS - 25 juin 2003 Recherches sur la LSF

AS Interaction gestuelle (RTP Dialogue et Communication) Projet-2 AS Interaction gestuelle (RTP Dialogue et Communication) Etude et Développement de la communication Homme-Machine visuo-gestuelle Patrice DALLE IRIT UMR 5505- Toulouse III Christian CUXAC Syntaxe formelle et typologie des langues UMR 7023 - Paris VIII Une Action Spécifique a pour but d’explorer un nouveau thème, d’identifier les problèmes, de recenser ceux qui travaillent dans le domaine et de faire des propositions de projets si besoin. Cette action e démarré en septembre 2002 et finira fin 2003. IRIS - 25 juin 2003 Recherches sur la LSF

AS-IG : Motivation Intérêt : Constat Causes Projet-2 AS-IG : Motivation Intérêt : Le geste permet une interaction naturelle Constat Le geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs multimodaux Causes Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de liberté Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision L’expression gestuelle seule est incomplète et ambiguë Cette étude vise à identifier les difficultés d’utilisation du geste en communication homme-machine ou homme-homme médiatisée. IRIS - 25 juin 2003 Recherches sur la LSF

AS-IG : Présentation Objectif Méthode Projet-2 AS-IG : Présentation Objectif Enrichir les capacités d’échange de la communication visuo-gestuelle Développer des modèles d’analyse des langues gestuelles par un système de vision Méthode Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Transposition à la communication H-M Réalisation d’une maquette de simulation Il s’agit de rechercher les relations entre gestuelle-coverbale et langue des signes et d’exploiter les connaissances sur la langue des signes en transposant ce qui peut l’être pour analyser le geste. Cela passe donc d’abord par une formalisation de l’analyse de la langue des signes. IRIS - 25 juin 2003 Recherches sur la LSF

AS-IG Apport de la langue des signes Projet-2 AS-IG Apport de la langue des signes analyse plus faciles à interpréter Langue des Signes Gestes co-verbaux La langue des signes est donc vue comme un moyen pertinent d’analyse de la gestuelle co-verbale et comme une possibilité d’enrichir cette gestuelle et de rendre plus facile son analyse par une machine. plus expressifs enrichit IRIS - 25 juin 2003 Recherches sur la LSF

AS-IG : Laboratoires « cœur » Projet-2 AS-IG : Laboratoires « cœur » Langue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. Sabria Co-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. Guaïtella- Cavé Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet Liste des équipes impliquées dans cette action. IRIS - 25 juin 2003 Recherches sur la LSF

AS : Communication en langue des signes des sourds (RTP Handicap) Projet-3 AS : Communication en langue des signes  des sourds (RTP Handicap) Représentations et Modélisations du mouvement dans le contexte de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes. Cette action spécifique, dont le principe a été admis mais qui n’a pas encore démarré, porte sur l’étude des moyens (NTIC) permettant de faciliter la communication en langue des signes, particlièrement par le biais d’agents signants artificiels. IRIS - 25 juin 2003 Recherches sur la LSF

AS : Communication en langue des signes des sourds Projet-3 AS : Communication en langue des signes  des sourds Modèles et langages de spécification pour la génération et l’animation d’agents de synthèse : Analyse et synthèse des expressions faciales Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re-synthèse en temps réel Interaction multimodale avec les agents virtuels de communication Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue) Voici les thèmes que cette action se propose d’aborder. IRIS - 25 juin 2003 Recherches sur la LSF

AS : Communication en langue des signes des sourds Projet-3 AS : Communication en langue des signes  des sourds Porteurs Sylvie Gibet Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte Laboratoire I3D, université des Sciences et Technologies de Lille Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université Stendhal, Grenoble Participants à cette étude (liste non fermée) IRIS - 25 juin 2003 Recherches sur la LSF

Projet-4 ACI-JC La LSF : quelles conditions pour quelles formes graphiques (proposition de projet) Porteurs Dominique Boutet Brigitte Garcia (linguistes - Paris 8) + laboratoires partenaires Ce projet vise à créer une jeune équipe de chercheurs sur le thème des formes graphiques de la LSF. Il n’a pas encore reçu les financements nécessaires. IRIS - 25 juin 2003 Recherches sur la LSF

La LSF quelles conditions pour quelles formes graphiques Projet-4 La LSF quelles conditions pour quelles formes graphiques Enquête , évaluation Enquête qualitative sur les attentes et besoins des populations concernées Expertise (sémio-linguistique et sociologique) des pratiques graphiques spécifiques Propositions Approche fondée sur le signifiant physiologique, permettant une forme graphique monolinéaire et validée pour la gestualité coverbale Etude d’un outil de fabrication de comptes-rendus d’exposés en LSF Étude de la génération d’énoncés en LSF par des agents virtuels informatiques. Les propositions de nouvelles formes graphiques ne seront élaborées qu’après une importante étude de terrain : pratiques utilisées et besoins IRIS - 25 juin 2003 Recherches sur la LSF

Analyse d’image de personnages signants : Études menées à l’IRIT-TCI Analyse d’image-TCI Analyse d’image de personnages signants : Études menées à l’IRIT-TCI Description Détection , Extraction de primitives Segmentation Caractérisation Reconstruction 3D Reconnaissance Interprétation Nous présentons maintenant les premiers résultats obtenus à l’IRIT dans l’équipe TCI , en analyse d’une séquence d’image de locuteurs en LSF. D’une façon générale les recherches en analyse d’image comportent la détection des composant élémentaires de l’image, la reconstruction de la scène qui a permis de former l’image, la reconnaissance des objets qui composent la scène et la compréhension globale de l’image. IRIS - 25 juin 2003 Recherches sur la LSF

CVG : pourquoi ? Problématique Enseignement Analyse d’image-TCI CVG : pourquoi ? Problématique Thème émergent en analyse d’images Cadre d’étude pertinent Scientifique : 3D, mouvement, compréhension, sens Applications : Communication Homme-Machine (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) LSF, Linguistique : étude des gestes co-verbaux Enseignement DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image Numérique IRR : Intelligence artificielle, Reconnaissance des formes , Robotique Indépendamment de l’intérêt pour la langue des signes, le thème de la CVG (Communication Visuo-Gestuelle) a été retenu dans l’équipe TCI parce qu’il correspond bien aux problèmes qu’on se pose actuellement en analyse d’image et également dans plusieurs formations. IRIS - 25 juin 2003 Recherches sur la LSF

CVG : pourquoi ? Finalité : Communication, Langue des Signes Analyse d’image-TCI CVG : pourquoi ? Finalité : Communication, Langue des Signes Opportunités Équipe TCI (synergie, masse critique) Vision , mouvement Compréhension IRIT (coopérations) Image (analyse et synthèse) CHM, analyse de la vidéo, indexation TALN (spatial), Dialogue Toulouse LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) LAAS (geste) L’environnement toulousain est particulièrement favorable au développement de ce thème de recherche. IRIS - 25 juin 2003 Recherches sur la LSF

CVG et analyse d’image Analyse Reconnaissance Interprétation Analyse d’image-TCI CVG et analyse d’image Analyse Détection : silhouette, visage, mouvement Segmentation Composants du visage, du corps Mouvement Reconnaissance Expressions (visage) Gestes Interprétation Mimiques faciales Gestes co-verbaux Signes (de la LSF) Voici la liste des thèmes abordés. IRIS - 25 juin 2003 Recherches sur la LSF

Edition assistée par Traitement d ’Images Analyse d’image IRIT-TCI Edition assistée par Traitement d ’Images Données: séquences vidéo Détection des zones d’intérêts Entités statiques Locuteur Mains Tête Extraction de l’information mouvement Entités dynamiques Trajectoire Motifs temporels Caractérisation et organisation de l’information extraite Trajectoires Contact Balancement Pointage … Vitesse; Accélération Durée; Direction Forme, Orientations globales et locales, nombre de régions Dans le cadre du projet LS-COLIN, nous avons étudiés les outils d’analyse d’image qui devraient être intégrés dans un éditeur de partition pour assister le linguiste dans son travail d’annotation de la vidéo. IRIS - 25 juin 2003 Recherches sur la LSF

Analyse d’image dans les projets Analyse d’image IRIT-TCI Analyse d’image dans les projets Système d’analyse de la LSF Boris Lenseigne Projet LS-COLIN Action STIC : Communication en LS Analyse des gestes co-verbaux Frédérick Gianni Action STIC : interaction gestuelle Analyse des expressions du visage Hugo Mercier Projet avec WebSourd Saisie des formes graphiques de la LSF Guylhem Aznar, Sébastien Benoist ACI : LSF - formes graphiques Actuellement 4 thèses sont en cours sur les thèmes ci-dessus. IRIS - 25 juin 2003 Recherches sur la LSF

Extraction du locuteur Analyse d’image IRIT-TCI Extraction du locuteur - Comparaison avec une image de référence du fond - Filtrage et traitement morphologique Voici une série d’exemples qui illustrent les différentes étapes du traitement. Il faut d’abord isoler le personnage dans l’image, IRIS - 25 juin 2003 Recherches sur la LSF

Extraction des entités mains et visage Analyse d’image IRIT-TCI Extraction des entités mains et visage 1. Extraction des zones de peau 2. Identification des différentes régions par critères de taille et de forme Mains, Visage … puis détecter et isoler les parties utiles, comme le visage et les mains, IRIS - 25 juin 2003 Recherches sur la LSF

Analyse des mimiques faciales Analyse d’image IRIT-TCI Analyse des mimiques faciales Détection du visage Suivi du visage  méthode mean shift Modélisation du visage Etude des variations des composants On peut alors suivre ces composantes, comme le visage, sur les différentes imges de la séquence ou analyser les mimques faciales. IRIS - 25 juin 2003 Recherches sur la LSF

Représentation du mouvement par motifs temporels Analyse d’image IRIT-TCI Représentation du mouvement par motifs temporels tMHI : Intensité pixel = fonction de l’historique du mouvement La matérialisation du mouvement est intéressante pour analyser comment a été réalisé le geste. Détection des gestes symétriques par analyse de l’image tMHI IRIS - 25 juin 2003 Recherches sur la LSF

Détection des contours mobiles Analyse d’image IRIT-TCI Détection des contours mobiles Frontières des objets en mouvement Ce mouvement peut être étudié en détectant les contours des parties mobiles du corps. IRIS - 25 juin 2003 Recherches sur la LSF

Suivi des éléments mobiles Analyse d’image IRIT-TCI Suivi des éléments mobiles Le suivi peut porter sur un élément particulier, comme ici le bout du doigt. IRIS - 25 juin 2003 Recherches sur la LSF

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Point 3D = droite de projection  sphère On cherche à retrouver la posture 3D du bras. IRIS - 25 juin 2003 Recherches sur la LSF

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Filtrage des solutions Modèle géométrique du bras position 3D  valeurs des articulations butées Mouvement hypothèse de continuité modèles différentiels (vitesse et accélération) Pour cela on introduit un modèle biomécanique du bras. IRIS - 25 juin 2003 Recherches sur la LSF

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement Ne disposant que d’un seul point de vue, on doit faire des hypothèses pour lever les ambiguités d’interprétation de la posture et expmloiter le mouvement. IRIS - 25 juin 2003 Recherches sur la LSF

Estimation 3D de la posture Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit Ce reconstruction est faite avec une certaine erreur sur la position des articulations. IRIS - 25 juin 2003 Recherches sur la LSF

Visualisation de l’espace de signation Analyse d’image IRIT-TCI Visualisation de l’espace de signation On cherche ici à trouver où pointe le doigt dans l’espace de signation. On commence donc par détecter et isoler le doigt. IRIS - 25 juin 2003 Recherches sur la LSF

Visualisation de l’espace de signation Analyse d’image IRIT-TCI Visualisation de l’espace de signation Puis à l’aide d’un modèle simpliste on calcule son orientation, IRIS - 25 juin 2003 Recherches sur la LSF

Visualisation de l’espace de signation Analyse d’image IRIT-TCI Visualisation de l’espace de signation Et on replace cette information dans la géométrie de la scène. IRIS - 25 juin 2003 Recherches sur la LSF

Système d’analyse de locuteur signant Cahier des charges (1) Analyse d’image IRIT-TCI Système d’analyse de locuteur signant Cahier des charges (1) Le système doit fournir des outils de TI permettant de segmenter des composants d’un signe des outils de mesure des outils de reconnaissance (régioncomposant d ’un signe) des outils de structuration des composants Enfin nous étudions l’intégration de tous ces module dans un système. On définit d’abord les fonctions que doit posséder le système, pour traiter un image, pour chaque image isolément IRIS - 25 juin 2003 Recherches sur la LSF

pour la séquence d ’images. Analyse d’image IRIT-TCI Cahier des charges (2) Le système doit fournir des outils de TI permettant la segmentation temporelle de la séquence des outils de mesure de la dynamique des outils de reconnaissance de trajectoires des outils de structuration des mouvements Et pour traiter la séquence d’images (prise en compte du mouvement). pour la séquence d ’images. IRIS - 25 juin 2003 Recherches sur la LSF

Analyse d’image IRIT-TCI Cahier des charges (3) Remarque sur la reconnaissance et la structuration Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + taille + forme) le contexte (objet qui touche la tête = main) La méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du temps On remarque que la reconnaissance d’un composant dépendra souvent du contexte. La méthode de reconnaissance ne sera donc pas unique. Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante IRIS - 25 juin 2003 Recherches sur la LSF

Analyse d’image IRIT-TCI Cahier des charges (4) Contrainte : ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au moment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans le contexte courant vidéo L’interprétation de la séquence sera la résultat d’un dialogue entre le système et le linguiste, chacun apportant sa propre définition des notions étudiées. Linguiste Système Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS IRIS - 25 juin 2003 Recherches sur la LSF

Système Interface linguiste Système intermédiaire Analyse d’image IRIT-TCI Système Interface linguiste Interprète en termes du TI pilote Système intermédiaire pilote Observe et interprète On présente ici les 3 niveaux du système chargés de l’analyse et de l’interprétation des images et du dialogue avec le linguiste. Ce système est en cours d’étude. Séquence d’images de durée t (=objet) Configuration à un moment donné (interp= temps d ’interprétation) IRIS - 25 juin 2003 Recherches sur la LSF

Contacts Patrice.Dalle@irit.fr IRIT-TCI UPS 118 route de Narbonne 31062 Toulouse cedex 4 tel : 05-61-55-63-09 http://www.irit.fr/ACTIVITES/EQ_TCI/ Références LS-COLIN : http://www.irit.fr/LS-COLIN Rapport final : contact Patrice Dalle AS-IG : http://www.irit.fr/AS-IG Adresses pour en savoir plus et liens vers les sites des actions : - LS-COLIN - Interaction gestuelle IRIS - 25 juin 2003 Recherches sur la LSF