Université de Perpignan Faculté des lettres et sciences humaines 1 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Soutenance de thèse 24 septembre 2004 « Les objets qui concernent ce dont la pensée s’occupe sont des signes. Essayer de déchiffrer les signes et de descendre jusqu’au sens même, c’est comme essayer de peler un oignon ou de descendre jusqu’à l’oignon même. » Charles Sanders Peirce Sous la Direction du Pr. Robert MARTY

Université de Perpignan Faculté des lettres et sciences humaines 2 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Problématique  Problématique : Comment donner une dimension cognitive à l’évaluation des ressources multimédias éducatives à partir du fondement scientifique de la sémiotique triadique? Un objectif affiché : dégager un cadre théorique de la sémiotique peircienne en vue de préconisations opératoires

Université de Perpignan Faculté des lettres et sciences humaines 3 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Préalable  Préalable : InformatiqueSciences cognitives Sciences Info-com Sciences de L’éducation Multimédia éducatif sémiotique

Université de Perpignan Faculté des lettres et sciences humaines 4 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Plan  Evaluation du multimédia : état de l’art  Notions fondamentales de signe  Choix d’un cadre épistémologique  Signe et multimédia éducatif  L’analyse sémio-cognitive  Sémiotique et évaluation

Université de Perpignan Faculté des lettres et sciences humaines 5 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Evaluation du multimédia : état de l’art

Université de Perpignan Faculté des lettres et sciences humaines 6 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Evaluation du multimédia : état de l’art Une préoccupation mondiale…

Université de Perpignan Faculté des lettres et sciences humaines 7 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Evaluation du multimédia : état de l’art  de très nombreuses démarches d’évaluation des ressources multimédias ont été recensées à travers le monde,  l’approche est dans la plupart des cas tournée vers l’observation du comportement de l’apprenant,  la démarche est très souvent empirique,  l’architecture des ressources multimédias est rarement analysée,  on fait assez souvent référence à des normes « d’utilisabilité des logiciels ».

Université de Perpignan Faculté des lettres et sciences humaines 8 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Evaluation du multimédia : état de l’art  Un double constat :  il n’existe pas de démarche d’évaluation prenant en compte les processus cognitifs par une modélisation sémiotique a priori de la ressource multimédia  les rares modèles utilisés sont exclusivement issus des normes ergonomiques

Université de Perpignan Faculté des lettres et sciences humaines 9 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Evaluation du multimédia : état de l’art  Un enseignement :  Nous engageons une démarche innovante avec tous les risques que cela suppose  dans un champ scientifique où la sémiotique n’est pas spécialement référencée

Université de Perpignan Faculté des lettres et sciences humaines 10 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Notions fondamentales de signe

Université de Perpignan Faculté des lettres et sciences humaines 11 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Notions fondamentales de signe  Le signe transmet une forme de la chose à signifier jusqu’à l’esprit d’un interprète Chose à signifier Esprit de l’interprète Chose qui représente

Université de Perpignan Faculté des lettres et sciences humaines 12 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Notions fondamentales de signe  Le signe est mis pour la chose à signifier qui elle, est absente de la situation en cours La preuve : il n’y a pas de grenouille sur cet écran Chose à signifier

Université de Perpignan Faculté des lettres et sciences humaines 13 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Choix d’un cadre épistémologique

Université de Perpignan Faculté des lettres et sciences humaines 14 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Choix d’un cadre épistémologique  Le cadre théorique de la sémiotique peircienne La phénoménologie Le signe peircien La sémiosis  Justification du choix du signe triadique  Le treillis des classes de signes triadiques : un outil d’analyse élaboré

Université de Perpignan Faculté des lettres et sciences humaines 15 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne La phénoménologie (ou phanéroscopie)

Université de Perpignan Faculté des lettres et sciences humaines 16 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  La phénoménologie (ou phanéroscopie) Le fondement de la théorie réside dans la nature des relations logiques que les éléments de tout phénomène entretiennent entre eux Trois catégories sont à la base de cette théorie qui constituent le cadre d’appréhension du phénomène sémiotique

Université de Perpignan Faculté des lettres et sciences humaines 17 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  La priméité Regroupe tous les éléments qui ne sont en relation logique qu’avec eux- mêmes (ce sont des monades) C’est le domaine de la qualité sui généri, du sentiment Les éléments de la priméité sont des primans

Université de Perpignan Faculté des lettres et sciences humaines 18 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  La secondéité Regroupe tous les éléments qui résultent d’une relation dyadique (ce sont des dyades) C’est le domaine des faits, des existants Les éléments de la secondéité sont des secondans

Université de Perpignan Faculté des lettres et sciences humaines 19 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  La tiercéité Regroupe tous les éléments qui résultent d’une relation triadique (ce sont des triades) C’est le domaine des lois, des concepts, des habitudes Les éléments de la tiercéité sont des tertians

Université de Perpignan Faculté des lettres et sciences humaines 20 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne La hiérarchie catégorielle de la phénoménologie Les lois Les faits Les qualités sont régis par se matérialisent dans

Université de Perpignan Faculté des lettres et sciences humaines 21 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne La hiérarchie catégorielle de la phénoménologie 3 présuppose 2 qui présuppose 1 Le phanéron est la totalité de ce qui est présent à l’esprit ici et maintenant

Université de Perpignan Faculté des lettres et sciences humaines 22 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne Structuration phénoménologique de la totalité de ce qui est présent à l’esprit : la phanéroscopie Lois Faits Qualités Tertians Secondans Primans

Université de Perpignan Faculté des lettres et sciences humaines 23 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien

Université de Perpignan Faculté des lettres et sciences humaines 24 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  Caractéristiques du signe peircien Le signe est général – Il englobe donc l’ensemble des systèmes de représentation sans exception

Université de Perpignan Faculté des lettres et sciences humaines 25 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  Caractéristiques du signe peircien Le signe est pragmatique – Il produit des effets dont la nature varie selon l’interprète et la situation d’interprétation  pragmatisme « Considérer quels sont les effets pratiques que nous pensons pouvoir être produits par l’objet de notre conception. La conception de tous ces effets est la conception complète de l’objet. » Maxime du pragmatisme C.S. Peirce

Université de Perpignan Faculté des lettres et sciences humaines 26 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne  Caractéristiques du signe peircien Le signe est triadique –Il repose sur la coopération de trois instances

Université de Perpignan Faculté des lettres et sciences humaines 27 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne Par extension de sa théorie triadique, Peirce a proposé une architecture du signe basée sur la coopération de six instances ….

Université de Perpignan Faculté des lettres et sciences humaines 28 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne Le signe hexadique

Université de Perpignan Faculté des lettres et sciences humaines 29 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne La sémiosis

Université de Perpignan Faculté des lettres et sciences humaines 30 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne La sémiosis –Est le résultat produit par l’effet du signe sur l’interprète. Elle se reproduit à l’infini et enrichit l’interprétant à chaque expérience sémiotique La sémiosis est un processus cognitif global qui s’opère par inférence

Université de Perpignan Faculté des lettres et sciences humaines 31 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Justification du choix du signe triadique  Le signe hexadique est une complexification du signe triadique, ce qui ne rend pas l’analyse sémiotique forcément plus aisée Nous lui préférons le signe triadique car :  Nous disposons d’un modèle prédictif du signe triadique directement utilisable pour l’analyse sémio-cognitive : le treillis des classes de signes triadiques

Université de Perpignan Faculté des lettres et sciences humaines 32 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le cadre théorique de la sémiotique peircienne Le treillis des classes de signes triadiques

Université de Perpignan Faculté des lettres et sciences humaines 33 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré Véritable théorème de la signification, il constitue la formalisation algébrique de la théorie de Peirce produite par Robert Marty

Université de Perpignan Faculté des lettres et sciences humaines 34 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré Une formalisation issue des relations logiques combinatoires

Université de Perpignan Faculté des lettres et sciences humaines 35 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré Dont les classes de signes sont obtenues en application de la hiérarchie catégorielle

Université de Perpignan Faculté des lettres et sciences humaines 36 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré 10 classes de signes : »3.3.3 argument »3.3.2 symbole dicent »3.3.1 symbole rhématique »3.2.2 légisigne indexical dicent »3.2.1 légisigne indexical rhématique »3.1.1 légisigne iconique »2.2.2 sinsigne indexical dicent »2.2.1 sinsigne indexical rhématique »2.1.1 sinsigne iconique »1.1.1 qualisigne

Université de Perpignan Faculté des lettres et sciences humaines 37 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré 10 classes de signes triadiques organisées selon les relations de présupposition représentées par les flèches

Université de Perpignan Faculté des lettres et sciences humaines 38 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré

Université de Perpignan Faculté des lettres et sciences humaines 39 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré  Notions de chemins cognitifs La sémiosis cognitive englobe l’ensemble du processus cognitif : de la perception du signe jusqu’à la présence à l’esprit de l’objet Les cinq approches inférentielles possibles ressortent logiquement du treillis des classes de signes triadiques

Université de Perpignan Faculté des lettres et sciences humaines 40 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Le treillis des classes de signes triadiques : un outil d’analyse élaboré Notions de chemins cognitifs 5 et seulement 5 parcours cognitifs sont possibles : 1 - Hypothético-déductif 2 - Hypothético-inductif 3 - Empirico-déductif 4 - Empirico-inductif 5 - Abductif

Université de Perpignan Faculté des lettres et sciences humaines 41 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  L’analyse sémio-cognitive De la phanéroscopie … …aux chemins cognitifs

Université de Perpignan Faculté des lettres et sciences humaines 42 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  L’analyse sémio-cognitive Nous disposons de 3 outils : La phanéroscopie  permet de dégager les composantes et la structure de la forme mentale produite (le phanéron) Le treillis des classes de signes  procure l’architectonique du signe (classes et relations) Les chemins cognitifs  indiquent les modes inférentiels qu’un interprète peut mettre en œuvre (types de raisonnement)

Université de Perpignan Faculté des lettres et sciences humaines 43 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Signe et multimédia éducatif  En quoi une ressource multimédia éducative est-elle un signe triadique?  2 principes fondamentaux du multimédia : La multimodalité : un environnement syncrétique La volition : le processus fondamental de l’interactivité  Modélisation d’une situation d’interactivité multimédiatisée

Université de Perpignan Faculté des lettres et sciences humaines 44 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  En quoi une ressource multimédia éducative est-elle un signe triadique? BC 2 = AB 2 + AC 2

Université de Perpignan Faculté des lettres et sciences humaines 45 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Théorème de Pythagore  En quoi une ressource multimédia éducative est-elle un signe triadique? Objet (objet de connaissance à signifier) Signe (représentation multimédia) Interprétant (habitus de l’apprenant)

Université de Perpignan Faculté des lettres et sciences humaines 46 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  En quoi une ressource multimédia éducative est-elle un signe triadique ? Objet (théorème) Signe (représentation symbolique) Interprétant (connaissance mathématique instituée antérieurement)

Université de Perpignan Faculté des lettres et sciences humaines 47 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  La multimodalité : un environnement syncrétique  Les sémiotiques syncrétiques sont des sémiotiques qui mélangent des phénomènes sémiotiques de nature différente  En l’état actuel de la technologie disponible les ressources multimédias éducatives utilisent 2 canaux sensoriels pour la représentation : sonore et visuel Signes sonores Signes visuels Hypersigne bimodal

Université de Perpignan Faculté des lettres et sciences humaines 48 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  La volition : un processus fondamental dans l’interactivité L’intervention de l’apprenant conditionne le parcours d’apprentissage dans la ressource multimédia Son action est de l’ordre de la volition : » processus d'origine psychologique dont le dernier instant est d'ordre musculaire

Université de Perpignan Faculté des lettres et sciences humaines 49 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  La volition : un processus fondamental dans l’interactivité Volition vs Volonté  Peirce distingue Volition active (aboutit à une action désirée) Volition passive (produit une action subie)

Université de Perpignan Faculté des lettres et sciences humaines 50 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  La volition : un processus fondamental dans l’interactivité Une situation triadique décrite par Peirce

Université de Perpignan Faculté des lettres et sciences humaines 51 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Modélisation d’une situation d’interactivité multimédiatisée Coopération de 3 instances dont deux relèvent du système de représentation Une organisation en réseau Coopération multimodale

Université de Perpignan Faculté des lettres et sciences humaines 52 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Modélisation d’une situation d’interactivité multimédiatisée Le treillis syncrétique des classes de signes triadiques Les classes de signes sont multimodales à l’exception de l’argument qui est purement logique

Université de Perpignan Faculté des lettres et sciences humaines 53 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation Ressource multimédia éducative considérée en tant qu’hypersigne Fondement théorique de l’analyse sémio-cognitive Préconisations pour une évaluation sémiotique

Université de Perpignan Faculté des lettres et sciences humaines 54 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation  Nous proposons deux méthodologies d’évaluation : SémioDev SémioDev pour la conception de ressources multimédias SémioVal SémioVal pour l’évaluation de ressources multimédias existantes

Université de Perpignan Faculté des lettres et sciences humaines 55 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation SémioDev méthodologie pour la conception de ressources multimédias éducatives

Université de Perpignan Faculté des lettres et sciences humaines 56 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation  SémioDev : une méthodologie pour les concepteurs SémioDev

Université de Perpignan Faculté des lettres et sciences humaines 57 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation  SémioDev : une méthodologie pour les concepteurs Objectif : produire les éléments sémiotiques directement utilisables dans UML SémioDev Diagramme de classes d’objet Diagramme de cas d’usage Diagramme de collaboration

Université de Perpignan Faculté des lettres et sciences humaines 58 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation  SémioDev : cinq étapes pour concevoir une ressource multimédia Etape 1 : Prise en compte des objectifs d'apprentissage Etape 2 : Dessin des parcours cognitifs à intégrer Etape 3 : Définition des structures sémiotiques Etape 4 : Elaboration de la charte des concepts de représentation Etape 5 : Architecture de l'interactivité et éléments de scénario

Université de Perpignan Faculté des lettres et sciences humaines 59 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation SémioVal méthodologie pour l’évaluation de ressources multimédias éducatives en préalable aux usages

Université de Perpignan Faculté des lettres et sciences humaines 60 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation  SémioVal : une méthodologie pour les évaluateurs Ressource multimédia éducative existante Rapport d’évaluation sémio-cognitive Usage SémioVal

Université de Perpignan Faculté des lettres et sciences humaines 61 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Sémiotique et évaluation  SémioVal : six étapes pour évaluer une ressource multimédia existante Etape 1 : Qu’évalue-t-on ? Etape 2 : Qu’est ce qui est présent à l’esprit lorsqu’on est face au document multimédia ? Etape 3 : Quels sont les composants sémiotiques qui constituent la représentation multimédia ? Etape 4 : De quelles classes de signes relèvent les composantes du contexte ? Etape 5 : Quelle est la nature des relations multimodales ? Etape 6 : Accède-t-on à la connaissance et selon quels parcours cognitifs?

Université de Perpignan Faculté des lettres et sciences humaines 62 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Perspectives

Université de Perpignan Faculté des lettres et sciences humaines 63 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations  Perspectives Dans la recherche scientifique – Introduire les hypothèses produites au sein des références habituelles connues * Dans le domaine des Interfaces Homme-Machine (IHM) * Dans le domaine des ontologies » Colloques » Articles » Publications Dans l’ingénierie – Convaincre les équipes de projets de la nécessité de l’approche sémiotique » Problème des résistances organiques Applicatives – Faire valider l’applicabilité des méthodologies proposées » Initiation à l’analyse sémio-cognitive des acteurs » Développement d’assistants logiciels pour la mise en oeuvre

Université de Perpignan Faculté des lettres et sciences humaines 64 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations

Université de Perpignan Faculté des lettres et sciences humaines 65 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Fin de la présentation Fin de la présentation thèse disponible en ligne: