De la sémiologie … F. de Saussure, Cours de linguistique générale La sémiologie étudie « la vie des signes dans la vie sociale: elle formerait une partie de la psychologie sociale, et par conséquent de la psychologie générale. Elle nous apprendrait en quoi consistent les signes, quelles lois les régissent » (1972:33).

Mais l’analyse de l’image suscite des problèmes L’image n’est pas segmentable comme l’est une langue naturelle L’image est un langage « sans code » Une syntaxe et un vocabulaire ne sont possibles que dans les systèmes très codifiés (image non réaliste) L’image même scientifique donne lieu à des réseaux métaphoriques et métonymiques L’image est polysémique et seule la langue permet d’en fixer (« ancrer ») le sens (Barthes, Coste) rapport image et langue Diversité d’images  nécessité de classer les images

Un langage sans code

Les inscriptions scientifiques Le point et l’intersection de deux droites Figure 1 : Influence de l’angle d’intersection entre deux droites sur la représentation de l’intersection (d’après Lerouge, 1993). L’angle d’intersection des deux droites est déterminant puisqu’il existerait « une valeur limite de cet angle en dessous de laquelle l’intersection comporterait plusieurs points ». Plus cet angle est faible et plus les droites paraissent « couchées », plus l’intersection s’étend sur plusieurs points. La représentation graphique est ici déterminante (Lerouge, 1993 : 119-120) .

De l’image à la langue Si la représentation évoque bien le référent correct ‑ le denotatum, extérieur à la sémiose ‑, elle possède deux designatum, voiture et automobile, vélo et bicyclette étant deux par deux synonymes. La représentation visuelle est bien porteuse de signifiés différents même s’ils sont proches et s’ils appartiennent au même champ sémantique. Leçon 1, Gafi le fantôme, Bentolila, 1992

… à la sémiotique CS. Peirce (1931.1938), Collected papers Philosophe et logicien, il propose une sémiotique qui serait une théorie générale des représentations et des significations, donc la description de toute expérience humaine. D’où la distinction souvent retenue des différents types de représentation: indices, icones, signes. Ecole française (Greimas, Courtes) Théorie d’analyse du discours, de la signification et des procédures d’analyse permettant de décrire des systèmes de signification Voir glossaire sémiologique en ligne

Typologie percienne La« fumée » dans la réalité L’indice est lié au réel dans un rapport de contiguïté (Cfr « il n’y a pas de fumée sans feu ») La représentation ressemble au « représenté » Le mot « fumée » Rapport arbitraire, conventionnel et appris

Les classifications traditionnelles Les classifications structurelles Les classifications fonctionnelles Les échelles d'iconicité Caractéristiques physiques Ressemblance entre Ré et Rant Analogique vs arbitraire, continue vs discret Implication cognitive éventuelle Rôles et fonctions didactiques : attentionnel explicatif (compréhension) rétentionnel (mémorisation) organisationnel interprétatif (significativité) compensatoire affectif

Approche sémiocognitive : de la perception au « signe » visuel (Groupe μ) Le type est donc fondamentalement une classe conceptuelle abstraite, une « représentation mentale constituée par un processus d’intégration ». Le type ne possède aucune caractéristiques physiques: « il peut être décrit par une série de caractéristiques conceptuelles, dont quelques unes peuvent correspondre à des caractéristiques physiques du référent (par exemple, en ce qui concerne le chat, la forme de l’animal, couché, assis ou en pied, la présence de moustache, de queue, de rayures), d’autres ne correspondant pas à de telles caractéristiques (comme le miaulement) » (1992.: 137).

Les classifications sémiocognitives R.E. Wileman (1991) http://tecfa.unige.ch/themes/tdsr/visuali/wileman/wileman_1.html http://tecfa.unige.ch/themes/tdsr/visuali/wileman/wileman_2.html B. Darras (1996, 1998) Les représentations mimétiques Les représentations figuratives Lien avec l'activité perceptive Ressemblance, isomorphisme structurel et fonctionnel avec les percepts, images perceptives Pensée analogique Lien avec l'activité cognitive Reconfiguration du matériel cognitif Résumé cognitif, prototype Pensée conceptuelle

En conséquence Modification d'un paradigme de recherche et des connaissances produites. Nouvelle conception de l'articulation entre les représentations mentales et matérielles, entre sémiotique et psychologie. Intégration des théories psychologiques telles que la théorie du prototype de Rosch (1976, 1978). Nouvelles perspectives pour la compréhension et l'explication des mécanismes de compréhension et de traitement de l'information au sein des représentations matérielle. Implication sur la nature des catégories conceptuelles conçues dans une perspective psycho-écologique et plus analogique .

Approche sémiocognitive (Duval) Travail sur l’impact des systèmes de représentations sur les processus cognitifs et donc sur l’apprentissage Du point de vue théorique, remise en cause de la dichotomie : images matérielles et mentales, externes et internes et de leur hiérarchisation (1995:29) Travail principalement sur les différentes représentations des objets mathématiques Notion de registres sémiotiques différents: la représentation n’est pas l’objet, un objet peut donner lieu à différentes représentations Notion de traitement : production d’une nouvelle représentation dans le même registre (le calcul, l’expansion linguistique,etc) Notion de conversion : passage d’un registre à un autre (tableau à double entrée vs représentation en histogramme)

D’après Duval (communication personnelle, 2003)

Des registres sémiocognitifs différents D’après M. Denis (1989) Image et cognition. Paris: PUF, p.29 Langage formulaire mathématique: La soucoupe : (x-a)2 + (y-b)2= R2 (équation du cercle) La tasse : X2/a  + y2/b  - 2z = 0 (équation du paraboloïde elliptique) Langage verbal (description linguistique) : « (Dessin d’) une tasse sans anse sur une soucoupe plate »

< La congruence entre des registres différents A B A est au-dessus de B Même ordre, mêmes traits sémantiques V 1783 ms A est en dessous de B Même ordre, traits sémantiques opposés F 2077 ms B est au-dessus de A Ordre inverse, mêmes traits sémantiques 2130 ms B est en dessous de A Ordre inverse, traits sémantiques opposés 2139 ms Expérience de Clark et Chase (1972) Duval, 1995: 48