(Action COGNITIQUE - Ministère de la Recherche) Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort4, Annick Choisier4, Christophe Collet4, Christian Cuxac1, Patrice Dalle3, Ivani Fusellier1, Rachid Gherbi4, Guillemette Jausions3, Gwénaëlle Jirou1, Fanch Lejeune2,4, Boris Lenseigne3, Nathalie Monteillard1, Annie Risler1, Marie-Anne Sallandre1 Projet pluridisciplinaire laboratoires et universités en présence : 1-Sciences du Langage, Université Paris 8 (linguistique de la LSF) 2-CAMS-LaLIC, Université Paris 4 (linguistique cognitive) 3-IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image) 4-LIMSI, CNRS, Orsay (informatique)

PLAN

II. Formalismes de notation

II. Formalismes de notation Notation de Stokoe Premier système de notation Créé pour prouver que l’ASL est une langue Toute langue doit avoir une écriture Recherche de la double articulation Peu précis

II. Formalismes de notation

II. Formalismes de notation HamNoSys Développé à Hambourg pour l’étude des langues des Signes Méthode de transcription Décrit très précisément le signe Introduction des éléments de prosodie Pas de primitives pour l’expression du visage Développé pour être applicable à toutes les langues des Signes

II. Formalismes de notation Forme générale de HamNoSys Exemple : ASL « fatigant »

III. Outils de saisie pour les langues des signes SyncWriter Outil de transcription pour les linguistes Utilise HamNoSys Pistes configurables

III. Outils de saisie pour les langues des signes SyncWriter Outil de transcription pour les linguistes Utilise HamNoSys Pistes configurables Format d'impression A4

III. Outils de saisie pour les langues des signes SignStream Outil de gestion d’une base de données de signes Utilisé surtout par les linguistes Codage spécialisé pour les linguistes

III. Outils de saisie pour les langues des signes SignStream Outil de gestion d’une base de données de signes Utilisé surtout par les linguistes Codage spécialisé pour les linguistes Lecteur vidéo intégré

III. Outils de saisie pour les langues des signes SignPS Issu d’un projet européen (TIDE) Codage propre Utilisable pour la recherche et par le grand public L ’introduction du TI est à l ’étude

   G Signe bonjour  I MD  C Regard RF RD

Automatisation par Traitement d ’Images Types de traitement Données: séquences vidéo Types de trajectoires particulières: droite, arc, … Glissement Contact Balancement … Détection des zones d’intérêts Entités statiques Locuteur Tête Mains Extraction information mouvement Entités dynamiques Motifs temporels Trajectoire Caractérisation et organisation information extraite Forme, Orientations globales et locales, nombre de régions Vitesse; Accélération Durée; Direction

Lecteur vidéo récupération des images pour traitement

Extraction du locuteur - Comparaison avec une image de référence du fond - Filtrage et traitement morphologique

Extraction des entités mains et tête 1. Extraction des zones de peau 2. Identification des différentes régions par critères de taille et forme Mains, Tête

Représentation du mouvement par motifs temporels Intensité pixel = fonction historique du mouvement Principe Adaptation à la LS