Transmodalité – Multimodalité Fabrice Maurel IRIT – Toulouse Directeur : Luis Fariñas Del Cerro Équipe DIAMANT – Nadine Vigouroux Concours CNRS CR Traitement automatique du texte écrit /discours oral et Sciences pour le handicap

2 Cursus - Implications Oct 2000 – août 2003 : Allocataire (allocation couplée dans le cadre du programme cognitique) Moniteur de l’enseignement supérieur Sept 2003 – août 2005 : ATER Jury : J.-L. Nespoulous (Directeur), N. Vigouroux (Directrice), J. Caëlen (Rapporteur), D. Maurel (Rapporteur), J. Virbel (Examinateur), R. Andrée-Obrecht (Présidente) 3 soutiens : ACI cognitique, Région Midi-Pyrénées, Sciences de l’information 2 Groupes de travail PRESCOT : Dialogue, Multimédia et apprentissage 1 activité transversale à l’IRIT : traitement du langage naturel 2 encadrements de DESS (« Sciences Cognitives et Ergonomie ») Participation : au comité scientifique du CJCSC2003 (Paris) Double qualification : section 07 et 27 du CNU Sujet de thèse : Transmodalité et multimodalité écrit/oral : modélisation, traitement automatique et évaluation de stratégies de présentation des structures « visuo- architecturales » des textes.

3 Ce sont les imbéciles, qui aiment les militaires qui boivent trop.  x (  y militaire(y)  boit_trop(y,alcool)  aime(x,y)  imbécile(x)) Ce sont les imbéciles qui aiment les militaires, qui boivent trop.  x (boit_trop(x,alcool)   y (militaire(y)  aime(x,y))  imbécile(x)) Ce sont les imbéciles qui aiment les militaires, qui boivent trop.  x (  y (militaire(y)  aime(x,y))  boit_trop(x,alcool)  imbécile(x)) Les structures visuelles des textes (Virbel, 1989), (Nunberg, 1990), (Scott, 2003), (Power, 2003) Sémantique des structures visuelles Monde oral TTS

4 TTS : contraintes et possibilités TTS phrase Unité de traitement : phrase SSML + SSML

5 Vers une nouvelle architecture OT “écologique” OT normalisé Segmentation Extraction Forme canonique Relations de dépendances Stratégies d’oralisation OT composé 1 Base de règles éditoriales Analyseur architectural TTS OT oralisable Reformulation 2

6 Une petite prosodie vaut-elle un grand discours ? Problématique : équivalence de contenu informationnel Formalisation logico-linguistique Représentations informatiques Forme Conventionnelle Bijective Forme Conventionnelle Surjective Forme Prosodique Hors contexte Forme Prosodique En contexte Objet textuel Forme Discursive Descriptive Forme Discursive Dénominative Forme Discursive Interprétative MAT (Harris, 71 – Virbel, 89) Intonation pragmatique (Rossi, 99) Modèle d’Oralisation par Reformulation des Textes Écrits pour être Lus Silencieusement – MORTELS Application aux structures énumératives (Maurel, 04 – TALN)

7 Vers une nouvelle architecture OT “écologique” OT normalisé Segmentation Extraction Forme canonique DTD XML Relations de dépendances Stratégies d’oralisation OT composé 1 Base de règles éditoriales Analyseur architectural TTS OT oralisable Texte brut / SSML Reformulation 2 Typologies (Virbel, Ho-Dac, Gardes-Tamine, Pery-woodley) Analyseur architectural (Mourad, Friburger, Crucianu, Bourigault) Couche rhétorique (Ascher, charolles, Le Draoulec, Bras, Busquets)

8 Une incapacité « vaut-elle » un handicap ? Problématique : handicaps « définitifs » et incapacités temporaires  apports mutuels Protocole expérimental en cours de passation pour l’accès oral par des personnes âgées à des textes écrits procéduraux (Maurel, 05 – Revue PArole)

9 Contexte du projet – Collaborations STIC-SHS-SDV Compatibilité entre systèmes humains et systèmes artificiels Pragmatique et langage Compréhension/mémorisation des textes Compréhension orale Multimodalité et cognition DIAMANT Dialogue, Interaction, Multimodalité, Accessibilité, Nouvelles Technologies - Handicap - Modèles de la communication écrite - Transmodalité visuelle / non visuelle CSC Conception de Systèmes Coopératifs - Modélisation des connaissances à partir de textes - Communication, plans et intentionnalité ERT 34 « hypermédias et apprentissages » Complémentarité des supports dans les dispositifs d'apprentissage Multimodalité perceptive IFR96 Intégration Collaboration interne