Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Sous la Direction du Pr. Robert MARTY Soutenance de thèse 24 septembre 2004 « Les objets qui concernent ce dont la pensée s’occupe sont des signes. Essayer de déchiffrer les signes et de descendre jusqu’au sens même, c’est comme essayer de peler un oignon ou de descendre jusqu’à l’oignon même. » Charles Sanders Peirce

Problématique : Comment donner une dimension cognitive à l’évaluation des ressources multimédias éducatives à partir du fondement scientifique de la sémiotique triadique? Un objectif affiché : dégager un cadre théorique de la sémiotique peircienne en vue de préconisations opératoires

Préalable : sémiotique Informatique Sciences cognitives Sciences Multimédia éducatif sémiotique Sciences Info-com Sciences de L’éducation

Plan Evaluation du multimédia : état de l’art Notions fondamentales de signe Choix d’un cadre épistémologique Signe et multimédia éducatif L’analyse sémio-cognitive Sémiotique et évaluation

Evaluation du multimédia : état de l’art

Evaluation du multimédia : état de l’art Une préoccupation mondiale…

Evaluation du multimédia : état de l’art de très nombreuses démarches d’évaluation des ressources multimédias ont été recensées à travers le monde, l’approche est dans la plupart des cas tournée vers l’observation du comportement de l’apprenant, la démarche est très souvent empirique, l’architecture des ressources multimédias est rarement analysée, on fait assez souvent référence à des normes « d’utilisabilité des logiciels ».

Evaluation du multimédia : état de l’art Un double constat : il n’existe pas de démarche d’évaluation prenant en compte les processus cognitifs par une modélisation sémiotique a priori de la ressource multimédia les rares modèles utilisés sont exclusivement issus des normes ergonomiques

Evaluation du multimédia : état de l’art Un enseignement : Nous engageons une démarche innovante avec tous les risques que cela suppose dans un champ scientifique où la sémiotique n’est pas spécialement référencée

Notions fondamentales de signe

Esprit de l’interprète Notions fondamentales de signe Le signe transmet une forme de la chose à signifier jusqu’à l’esprit d’un interprète Esprit de l’interprète Chose qui représente Chose à signifier

Notions fondamentales de signe Le signe est mis pour la chose à signifier qui elle, est absente de la situation en cours La preuve : il n’y a pas de grenouille sur cet écran Chose à signifier

Choix d’un cadre épistémologique

Choix d’un cadre épistémologique Le cadre théorique de la sémiotique peircienne La phénoménologie Le signe peircien La sémiosis Justification du choix du signe triadique Le treillis des classes de signes triadiques : un outil d’analyse élaboré

La phénoménologie (ou phanéroscopie) Le cadre théorique de la sémiotique peircienne La phénoménologie (ou phanéroscopie)

Le cadre théorique de la sémiotique peircienne La phénoménologie (ou phanéroscopie) Le fondement de la théorie réside dans la nature des relations logiques que les éléments de tout phénomène entretiennent entre eux Trois catégories sont à la base de cette théorie qui constituent le cadre d’appréhension du phénomène sémiotique

Le cadre théorique de la sémiotique peircienne La priméité Regroupe tous les éléments qui ne sont en relation logique qu’avec eux- mêmes (ce sont des monades) C’est le domaine de la qualité sui généri, du sentiment Les éléments de la priméité sont des primans

Le cadre théorique de la sémiotique peircienne La secondéité Regroupe tous les éléments qui résultent d’une relation dyadique (ce sont des dyades) C’est le domaine des faits, des existants Les éléments de la secondéité sont des secondans

Le cadre théorique de la sémiotique peircienne La tiercéité Regroupe tous les éléments qui résultent d’une relation triadique (ce sont des triades) C’est le domaine des lois, des concepts, des habitudes Les éléments de la tiercéité sont des tertians

Le cadre théorique de la sémiotique peircienne La hiérarchie catégorielle de la phénoménologie Les lois sont régis par Les faits se matérialisent dans Les qualités

Le cadre théorique de la sémiotique peircienne La hiérarchie catégorielle de la phénoménologie Le phanéron est la totalité de ce qui est présent à l’esprit ici et maintenant 3 présuppose 2 qui présuppose 1

Le cadre théorique de la sémiotique peircienne Structuration phénoménologique de la totalité de ce qui est présent à l’esprit : la phanéroscopie Tertians Secondans Primans Lois Faits Qualités

Caractéristiques du signe peircien Le cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien

Le cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien Le signe est général Il englobe donc l’ensemble des systèmes de représentation sans exception

Le cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien Le signe est pragmatique Il produit des effets dont la nature varie selon l’interprète et la situation d’interprétation  pragmatisme « Considérer quels sont les effets pratiques que nous pensons pouvoir être produits par l’objet de notre conception. La conception de tous ces effets est la conception complète de l’objet. » Maxime du pragmatisme C.S. Peirce - 1879

Le cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien Le signe est triadique Il repose sur la coopération de trois instances

Le cadre théorique de la sémiotique peircienne Par extension de sa théorie triadique, Peirce a proposé une architecture du signe basée sur la coopération de six instances ….

Le cadre théorique de la sémiotique peircienne Le signe hexadique

Le cadre théorique de la sémiotique peircienne La sémiosis

Le cadre théorique de la sémiotique peircienne La sémiosis Est le résultat produit par l’effet du signe sur l’interprète. Elle se reproduit à l’infini et enrichit l’interprétant à chaque expérience sémiotique La sémiosis est un processus cognitif global qui s’opère par inférence

Justification du choix du signe triadique Le signe hexadique est une complexification du signe triadique, ce qui ne rend pas l’analyse sémiotique forcément plus aisée Nous lui préférons le signe triadique car : Nous disposons d’un modèle prédictif du signe triadique directement utilisable pour l’analyse sémio-cognitive : le treillis des classes de signes triadiques

des classes de signes triadiques Le cadre théorique de la sémiotique peircienne Le treillis des classes de signes triadiques

Le treillis des classes de signes triadiques : un outil d’analyse élaboré Véritable théorème de la signification, il constitue la formalisation algébrique de la théorie de Peirce produite par Robert Marty

Le treillis des classes de signes triadiques : un outil d’analyse élaboré Une formalisation issue des relations logiques combinatoires

Le treillis des classes de signes triadiques : un outil d’analyse élaboré Dont les classes de signes sont obtenues en application de la hiérarchie catégorielle

Le treillis des classes de signes triadiques : un outil d’analyse élaboré 3.3.3 argument 3.3.2 symbole dicent 3.3.1 symbole rhématique 3.2.2 légisigne indexical dicent 3.2.1 légisigne indexical rhématique 3.1.1 légisigne iconique 2.2.2 sinsigne indexical dicent 2.2.1 sinsigne indexical rhématique 2.1.1 sinsigne iconique 1.1.1 qualisigne

Le treillis des classes de signes triadiques : un outil d’analyse élaboré 10 classes de signes triadiques organisées selon les relations de présupposition représentées par les flèches

Le treillis des classes de signes triadiques : un outil d’analyse élaboré

Le treillis des classes de signes triadiques : un outil d’analyse élaboré Notions de chemins cognitifs La sémiosis cognitive englobe l’ensemble du processus cognitif : de la perception du signe jusqu’à la présence à l’esprit de l’objet Les cinq approches inférentielles possibles ressortent logiquement du treillis des classes de signes triadiques

Le treillis des classes de signes triadiques : un outil d’analyse élaboré Notions de chemins cognitifs 5 et seulement 5 parcours cognitifs sont possibles : 1 - Hypothético-déductif 2 - Hypothético-inductif 3 - Empirico-déductif 4 - Empirico-inductif 5 - Abductif

…aux chemins cognitifs L’analyse sémio-cognitive De la phanéroscopie … …aux chemins cognitifs

L’analyse sémio-cognitive Nous disposons de 3 outils : La phanéroscopie permet de dégager les composantes et la structure de la forme mentale produite (le phanéron) Le treillis des classes de signes procure l’architectonique du signe (classes et relations) Les chemins cognitifs indiquent les modes inférentiels qu’un interprète peut mettre en œuvre (types de raisonnement)

Signe et multimédia éducatif En quoi une ressource multimédia éducative est-elle un signe triadique? 2 principes fondamentaux du multimédia : La multimodalité : un environnement syncrétique La volition : le processus fondamental de l’interactivité Modélisation d’une situation d’interactivité multimédiatisée

En quoi une ressource multimédia éducative est-elle un signe triadique? BC2 = AB2 + AC2

En quoi une ressource multimédia éducative est-elle un signe triadique? Théorème de Pythagore Objet (objet de connaissance à signifier) Signe (représentation multimédia) Interprétant (habitus de l’apprenant)

En quoi une ressource multimédia éducative est-elle un signe triadique ? Interprétant (connaissance mathématique instituée antérieurement) Objet (théorème) Signe (représentation symbolique)

La multimodalité : un environnement syncrétique Les sémiotiques syncrétiques sont des sémiotiques qui mélangent des phénomènes sémiotiques de nature différente En l’état actuel de la technologie disponible les ressources multimédias éducatives utilisent 2 canaux sensoriels pour la représentation : sonore et visuel Signes sonores Signes visuels Hypersigne bimodal

La volition : un processus fondamental dans l’interactivité L’intervention de l’apprenant conditionne le parcours d’apprentissage dans la ressource multimédia Son action est de l’ordre de la volition : processus d'origine psychologique dont le dernier instant est d'ordre musculaire

La volition : un processus fondamental dans l’interactivité Volition vs Volonté Peirce distingue Volition active (aboutit à une action désirée) Volition passive (produit une action subie)

La volition : un processus fondamental dans l’interactivité Une situation triadique décrite par Peirce

Modélisation d’une situation d’interactivité multimédiatisée Coopération de 3 instances dont deux relèvent du système de représentation Coopération multimodale Une organisation en réseau

Modélisation d’une situation d’interactivité multimédiatisée Le treillis syncrétique des classes de signes triadiques Les classes de signes sont multimodales à l’exception de l’argument qui est purement logique

Sémiotique et évaluation Ressource multimédia éducative considérée en tant qu’hypersigne Fondement théorique de l’analyse sémio-cognitive Préconisations pour une évaluation sémiotique

Sémiotique et évaluation Nous proposons deux méthodologies d’évaluation : SémioDev pour la conception de ressources multimédias SémioVal pour l’évaluation de ressources multimédias existantes

SémioDev Sémiotique et évaluation méthodologie pour la conception de ressources multimédias éducatives

Sémiotique et évaluation SémioDev : une méthodologie pour les concepteurs SémioDev

Sémiotique et évaluation SémioDev : une méthodologie pour les concepteurs Objectif : produire les éléments sémiotiques directement utilisables dans UML Diagramme de classes d’objet SémioDev Diagramme de cas d’usage Diagramme de collaboration

Sémiotique et évaluation SémioDev : cinq étapes pour concevoir une ressource multimédia Etape 1 : Prise en compte des objectifs d'apprentissage Etape 2 : Dessin des parcours cognitifs à intégrer Etape 3 : Définition des structures sémiotiques Etape 4 : Elaboration de la charte des concepts de représentation Etape 5 : Architecture de l'interactivité et éléments de scénario

SémioVal Sémiotique et évaluation méthodologie pour l’évaluation de ressources multimédias éducatives en préalable aux usages

Sémiotique et évaluation SémioVal : une méthodologie pour les évaluateurs Ressource multimédia éducative existante SémioVal Rapport d’évaluation sémio-cognitive Usage

Sémiotique et évaluation SémioVal : six étapes pour évaluer une ressource multimédia existante Etape 1 : Qu’évalue-t-on ? Etape 2 : Qu’est ce qui est présent à l’esprit lorsqu’on est face au document multimédia ? Etape 3 : Quels sont les composants sémiotiques qui constituent la représentation multimédia ? Etape 4 : De quelles classes de signes relèvent les composantes du contexte ? Etape 5 : Quelle est la nature des relations multimodales ? Etape 6 : Accède-t-on à la connaissance et selon quels parcours cognitifs?

Perspectives

Perspectives Dans la recherche scientifique Dans l’ingénierie Introduire les hypothèses produites au sein des références habituelles connues * Dans le domaine des Interfaces Homme-Machine (IHM) * Dans le domaine des ontologies Colloques Articles Publications Dans l’ingénierie Convaincre les équipes de projets de la nécessité de l’approche sémiotique Problème des résistances organiques Applicatives Faire valider l’applicabilité des méthodologies proposées Initiation à l’analyse sémio-cognitive des acteurs Développement d’assistants logiciels pour la mise en oeuvre

Fin de la présentation thèse disponible en ligne: http://home. tele2