http://mulce.org Transcription de données multimodales dans Second Life sur le logiciel ELAN Programme 1) Cadre global 2) La multimodalité dans Second Life 3) Que transcrit-on? 4) Comment transcrit-on? 5) Exercice Formation au Laboratoire de Recherche sur le Langage 5 septembre 2011, 14h00 - 16h00 (modif 6 décembre 2012) © (Inès SADDOUR, Ciara WIGHAM & Thierry CHANIER, 2011)

Cadre global Projet global Mulce http://mulce.org Archi21: corpus d’apprentissage Standardisation, mise en forme et en ligne, partage de corpus d’apprentissage Manuel de transcription « Manuel de transcription de données multimodales dans Second Life »: en continuité avec d’autres manuels élaborés dans le cadre du projet Mulce => Ciekanski, M., Chanier, T. & A. Vetter (2008). Rapport d’activité Tâche Tmult1 : Multimodal, modèles, transcription, Annexe technique : Multimodal, conventions de transcription et outils de transcription.

La multimodalité dans Second Life

Transcription de données multimodales dans Second Life

Communication non-verbale artefacts apparence le regard proxémique geste geste expressions faciales « ...all of the ways in which communication is effected between persons when in each other’s presence, by means other than words » (Kendon, 1981) 5

Mode verbal dans Second Life (SL) audio clavardage privé transmission proxémique transmission radio public

Mode non-verbal dans SL movement entrée sortie deplacement kinésique apparence proxémique gestes (McNeill, 2000) habits regard posture morphologie orientation emblèmes (Kita, 2002) pantomimes extra-communicatifs (Cosnier, 1982) iconiques déictiques méta-discursifs performatifs mots-emblèmes

Communication non-verbale avec des objets un acteur fait afficher quelque chose sur un autre objet lors de la séance actuer objet affiché support durée les objets que les étudiants utilisent lors d’un acte kinésique les objets statiques pendant la durée de la séance

Que transcrit-on? TOUT +

Que transcrit-on? Le clavardage privé (chercheurs / chercheurs) (tpc_pri) Le clavardage public (apprenants / chercheurs, apprenants / apprenants) (tpc) Apparition et disparition des avatars (es) Les gestes effectués par les différentes parties du corps des avatars (kin) Le mouvement et l’orientation des avatars (mov) La production des avatars (prod) Tours de parole audio (tpa) Silences (sil)

+ Description des données => Métadonnées Type de données Contenu Qui? acteurs + rôles { chercheurs, informateurs, tuteurs de langue, tuteurs d’architecture, techniciens, collecteurs des données, éditeurs, déposants, annotateurs / transcripteurs…) Où? Quand? Comment? Description des acteurs et de l’environnement …etc.

Comment transcrit-on? ELAN EUDICO Linguistic Annotator Créé par Max Planck Institute for Psycholinguistics, Nijmègue, Pays-Bas (annotation et l’exploitation de corpus multimodaux) Spécifiquement élaboré pour l’analyse du langage, des langues des signes et de la gestuelle. Permet: Création Edition Visualisation Recherche d’annotations de données sur support vidéo et audio

Comment transcrit-on? ELAN Projet ELAN Fichier(s) « média » -> vidéo (mpg, mov, avi..) Fichier d’annotations Un nombre illimité d'annotations Une annotation: une phrase, un mot ou une glose, un commentaire, une traduction ou une description de n'importe quelle caractéristique observée. Les annotations peuvent être créées sur les couches multiples: tiers. Une annotation peut être alignée temporellement à la source audio ou vidéo ou peut référer à d'autres annotations existantes. Le contenu écrit: Unicode Transcription: conservée dans un format XML (eaf.) ELAN fournit différentes vues des annotations, et chaque vue est reliée et synchronisée à la source concernée.

Comment transcrit-on? ELAN Informations pratiques Installation: http://www.lat-mpi.eu/tools/elan/ Manuel d’utilisation: HTML: http://www.lat-mpi.eu/tools/elan/manuel/ PDF: http://www.mpi.nl/corpus/manuals/manual-elan.pdf

L’interface ELAN Exemple d’une fenêtre 1 2 3 4 5

Démonstration

Métadonnées Info dépassée : Télécharger: IMDI Metadata Editor (ISLE Meta Data Initiative) http://www.lat-lat-mpi.eu/tools/imdi/editor Note du 6/12/2012 : il faut maintenant travailler avec Arbil, voir sur même site

Métadonnées Compléter avec les informations suivantes: Le nom, le titre, la date et le lieu de la session. Le titre et le code du projet global (archi21) Le nom, l’adresse postale, l’adresse électronique et l’affiliation de la personne responsable à contacter au sujet du corpus. La liste des acteurs : Plusieurs types d’acteurs sont présents. Les informations fournies dans les métadonnées dépendent du type. La description des acteurs et du cadre global : cette description porte aussi sur le positionnement général des avatars. Les différentes ressources : Il faut attacher les fichiers vidéo et texte du clavardage. Pour les vidéos il faut indiquer leur durée. Plus d’informations: Manuel de transcription de données multimodales dans Second Life

Exercice Tous les documents associés à cette mini-formation dont le TP sont sur http://lrl-diffusion.univ-bpclermont.fr/mulce/metadata/FormationMulce/