(Action COGNITIQUE - Ministère de la Recherche)

Présentation au sujet: "(Action COGNITIQUE - Ministère de la Recherche)"— Transcription de la présentation:

1 (Action COGNITIQUE - Ministère de la Recherche)
Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort4, Annick Choisier4, Christophe Collet4, Christian Cuxac1, Patrice Dalle3, Ivani Fusellier1, Rachid Gherbi4, Guillemette Jausions3, Gwénaëlle Jirou1, Fanch Lejeune2,4, Boris Lenseigne3, Nathalie Monteillard1, Annie Risler1, Marie-Anne Sallandre1 Projet pluridisciplinaire laboratoires et universités en présence : 1-Sciences du Langage, Université Paris 8 (linguistique de la LSF) 2-CAMS-LaLIC, Université Paris 4 (linguistique cognitive) 3-IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image) 4-LIMSI, CNRS, Orsay (informatique)

2 PLAN

3 II. Formalismes de notation

4 II. Formalismes de notation
Notation de Stokoe Premier système de notation Créé pour prouver que l’ASL est une langue Toute langue doit avoir une écriture Recherche de la double articulation Peu précis

5 II. Formalismes de notation

6 II. Formalismes de notation
HamNoSys Développé à Hambourg pour l’étude des langues des Signes Méthode de transcription Décrit très précisément le signe Introduction des éléments de prosodie Pas de primitives pour l’expression du visage Développé pour être applicable à toutes les langues des Signes

7 II. Formalismes de notation
Forme générale de HamNoSys Exemple : ASL « fatigant »

8 III. Outils de saisie pour les langues des signes
SyncWriter Outil de transcription pour les linguistes Utilise HamNoSys Pistes configurables

9 III. Outils de saisie pour les langues des signes
SyncWriter Outil de transcription pour les linguistes Utilise HamNoSys Pistes configurables Format d'impression A4

10 III. Outils de saisie pour les langues des signes
SignStream Outil de gestion d’une base de données de signes Utilisé surtout par les linguistes Codage spécialisé pour les linguistes

11 III. Outils de saisie pour les langues des signes
SignStream Outil de gestion d’une base de données de signes Utilisé surtout par les linguistes Codage spécialisé pour les linguistes Lecteur vidéo intégré

12 III. Outils de saisie pour les langues des signes
SignPS Issu d’un projet européen (TIDE) Codage propre Utilisable pour la recherche et par le grand public L ’introduction du TI est à l ’étude

13    G Signe bonjour  I MD  C Regard RF RD

14 Automatisation par Traitement d ’Images Types de traitement
Données: séquences vidéo Types de trajectoires particulières: droite, arc, … Glissement Contact Balancement … Détection des zones d’intérêts Entités statiques Locuteur Tête Mains Extraction information mouvement Entités dynamiques Motifs temporels Trajectoire Caractérisation et organisation information extraite Forme, Orientations globales et locales, nombre de régions Vitesse; Accélération Durée; Direction

15 Lecteur vidéo récupération des images pour traitement

16 Extraction du locuteur
- Comparaison avec une image de référence du fond - Filtrage et traitement morphologique

17 Extraction des entités mains et tête
1. Extraction des zones de peau 2. Identification des différentes régions par critères de taille et forme Mains, Tête

18 Représentation du mouvement par motifs temporels
Intensité pixel = fonction historique du mouvement Principe Adaptation à la LS