Modélisation de l’apprenant Jean-marc LABAT Université Paris 6 Master Management des connaissances et innovation Spécialité Ingénierie de la Formation.

Présentation au sujet: "Modélisation de l’apprenant Jean-marc LABAT Université Paris 6 Master Management des connaissances et innovation Spécialité Ingénierie de la Formation."— Transcription de la présentation:

1 Modélisation de l’apprenant Jean-marc LABAT Université Paris 6 Master Management des connaissances et innovation Spécialité Ingénierie de la Formation en Ligne Module Modélisation de l’utilisateur

2 Plan Introduction Les différents aspects de la modélisation Les sources d’informations Le diagnostic Les rôles du modèle de l’apprenant E-portfolio Conclusion

3 Quelques pointeurs Communauté internationale –Revue IJAIED –Conférences AIED, ITS En France –Revue STICEF (anciennement STE) –Conférences EIAH (anciennement EIAO), TICE –Association ATIEF www.atief.orgwww.atief.org

4 Introduction Modéliser QUI, QUOI ? –Quel apprenant Individu Groupe –Quels aspects Connaissances Savoir-faire Traits de personnalité Motivation Modéliser COMMENT ? => DIAGNOSTIC –Comment représenter les divers aspects ? –Comment obtenir les informations nécessaires ? –Comment mettre à jour ?

5 Introduction Modéliser AVEC QUEL OBJECTIF ? –individualisation de l’enseignement C’est l’objectif général, privilégié –Aider l’enseignant, le tuteur humain Sans précaution, l’enseignant croule sous la masse d’informations concernant chaque apprenant Les enseignants sont surtout intéressés par l’information sur des groupes –Favoriser la méta cognition Fournir à l’apprenant ce que le système comprend de lui –En particulier dans les « open learner models »

6 Introduction Prise en compte du contexte –Enseignement isolé, à distance ? Comment résoudre le problème de la socialisation des connaissances construites ? Comment faire jouer positivement les conflits cognitifs ? –Quelle place pour le professeur ? Quel est son rôle ? Quand intervient-il ? –Quelles sources d’informations Questionner l’apprenant Faire des tests Recueillir la trace –Quelle participation de l’apprenant à son apprentissage ? Notion de modèle ouvert, accessible à l’apprenant Les réseaux permettent de lui fournir des éléments issus de la trace Les observables

7 Modéliser QUOI ? Les connaissances du domaine 3 constructions théoriques « Overlay model » (modèle de recouvrement) Théorie des bogues Diagnostic cognitif Autres informations –La motivation –Les états émotionnels –Les actions faites lors des sessions précédentes Modèle général –(P, C, T, H) P = connaissances procédurales C = connaissances conceptuelles T = traits individuels H = historique K connaissances à atteindre k= P + C de l’apprenant (avec les connaissances erronées) k’ : k sans les connaissances erronées

8 Overlay Model Idée : représenter les connaissances de l’apprenant dans le même formalisme que celles de l’expert Représentation du domaine –par un graphe Les nœuds sont les concepts du domaine Les arcs sont étiquetés par les liens entre concepts –Prérequis –Généralisation –Spécialisation –Analogie –simplification –Par un système à base de connaissances Représentation de l’apprenant –Les connaissances de l’apprenant sont considérées comme un sous- ensemble de celles de l’expert –Souvent, à chaque concept est attachée une valeur numérique traduisant le degré de connaissances du concept

9 Overlay Model Exemple : APLUSIX (apprentissage de l’algèbre) –Informations sur les concepts manipulés A chaque concept, 4 champs –Employé –Choisi –Combiné –Connu Chaque champ peut prendre 7 valeurs –T-faible, faible, médiocre, moyen, a-bien, bien, t-bien –Concepts regroupés par catégorie Concepts généraux Concepts de factorisation Concepts de réduction

10 Overlay Model Exemples –Guidon Le modèle de l’apprenant est représenté par 3 propriétés attachées à chaque règle de diagnostic de MYCIN A chaque propriété est attaché un nombre traduisant le degré de certitude du système sur le fait que l’apprenant connaît la règle –Graphe génétique (Goldstein) Un nœud = une règle Les arcs servent à choisir le prochain sujet d’apprentissage lien « déviation » (simplification abusive d’une règle –Heuristique naturelle chez un débutant (d’où le terme de génétique)

11 Overlay Model Modèle le plus utilisé –Facile à implanter pour l’utilisateur en général –Se résume souvent à une liste (attribut, valeur) Inconvénients –Modèle très réducteur car les connaissances de l’apprenant ne s’exprime pas nécessairement comme un sous-ensemble de celles de l’expert –Les apprenants peuvent avoir d’autres représentations Représentations erronées Représentations différentes –Novice/Expert –Exemple : »en géométrie, structure hiérarchique des quadrilatères

12 Exemple : conception des quadrilatères Hypothèse sur la relation entre structuration des connaissances sur un domaine et niveau d’expertise –Les novices possèdent de nombreuses catégories exclusives spécifiques et peu de catégories générales –les experts ont un réseau intégrant un plus grand nombre de relations d’implication et moins de relations d’exclusion, et donc des niveaux de catégorisation intermédiaires.

13 Exemple : conception des quadrilatères Les quadrilatères vus par un débutant Les quadrilatères vus par un apprenant Avec un niveau intermédiaire d’expertise Les quadrilatères vus par un expert

14 Théorie des bogues Le système contient une librairie de bogues –Bogue = Modèle de l’apprenant –Modèle dynamique composé d’un ensemble de règles : Cet ensemble de connaissances appliqué au problème doit permettre de trouver la même réponse que l’apprenant un concept manquant ou Une conception erronée Connaissances expertes et ensemble de bogues

15 Théorie des bogues Difficulté majeure –La constitution du catalogue de bogues 3 sources possibles –Les enseignants du domaine –Les résultats d’apprenants –Une construction dynamique à partir de bogues élémentaires et/ou d’un modèle cognitif Intérêt –Sert en même temps à faire le diagnostic Exemples –a/b + c/d = (a+c)/(b+d) –BUGGY et DEBUGGY Brown 78 Domaine : soustraction élémentaire

16 Modèle cognitif Le système tente de comprendre le comportement de l’apprenant en résolution de problèmes avec des explications situées au niveau cognitif –Même objectif que le modèle « théorie des bogues » Modèle de l’apprenant –Base de règles construite plus ou moins dynamiquement –Considéré comme une déviation du modèle de l’enseignant Inconvénient –Encore plus difficile à réaliser que le modèle précédent –Plutôt de la recherche fondamentale sur la modélisation des processus cognitifs de raisonnement que des systèmes opérationnels Exemple –Electre, Equipe pluridisciplinaire

17 Modèle cognitif : exemple d’Electre Sujet –Reconnaissances par les apprenants de circuits montés en parallèle ou en série Objectif : –Plus une architecture cognitive du sujet qu’un véritable modèle de l’apprenant Modèle –Ses connaissances conceptuelles propres au domaine –Ses heuristiques personnelles vues comme des instanciations de stratégies générales –Ses métaconnaissances générales d’activation des connaissances du domaine

18 Modèle cognitif : exemple d’Electre Hypothèses –Tout apprenant a au moins une représentation prototypique de chaque notion enseignée –Le sujet peut aussi se construire une description plus abstraite : le schéma conceptuel –Les novices détectent des analogies invalides fondées sur des traits de surface –Les novices construisent des heuristiques spécifiques De réduction à un prototype De simplification du problème –Exemple Sile générateur est seul sur une maille Alors supprimer cette maille

19 Modèle cognitif : exemple d’Electre Hypothèses –Métaconnaissances d’accès aux connaissances Essayer d’abord d’appliquer ses connaissances du domaine S’il faut modifier sa représentation du problème, essayer d’abord de se ramener à une situation prototypique –Métaconnaissances de contrôle de la résolution R1 : Si plusieurs descriptions sont envisageables Alors choisir celle qui décrit le plus grand nombre d’éléments R2 : Si plusieurs heuristiques de réduction à des prototypes différents sont candidates Alorsprivilégier celle relative au prototype le plus prégnant

20 Autres modèles Modèles dérivés du diagnostic –Parfois le modèle de l’apprenant est directement dérivé de la procédure de diagnostic.  modèle COMPORTEMENTAL Le système ne fait pas d’inférence sur les connaissances de l’apprenant mais juste une analyse des observables –Exemple : mentoniezh Environnement pour l’apprentissage de la démonstration en géométrie –L’apprenant doit construire la solution en articulant des pas de preuves (= un plan) –Le modèle de l’apprenant est constitué des plans reconnus par le module de diagnostic Modèle EPISTEMIQUE –À partir des observables, le système évalue les connaissances de l’apprenant  Le système a des croyances sur l’apprenant

21 Autres informations Traits individuels –Situation générale Nom, âge, références culturelles Niveau initial –Domaine sensori-moteur Sensible aux stimulations sonores/visuelles –Domaine affectif Intérêts, passions, curiosités Motivation Enjeux, objectifs Style pédagogique préféré Comment acquérir ces informations ? –Certaines sont acquises directement auprès de l’apprenant –Certaines sont déduites à l’aide de capteurs Elles sont alors mises à jour au fur et à mesure

22 Autres informations Motivation –H Pain Moods : Motivation Diagnosis Study

23 Autres informations Motivation –H Pain Moods : Motivation Diagnosis Study L’objectif est de formaliser l’expertise humaine sur le diagnostic de la motivation à partir des actions de l’apprenant à l’interface Dans la fenêtre de gauche, les actions de l’apprenant sont rejouées Dans la fenêtre de droite en haut, l’état de la motivation de l’apprenant Dans la fenêtre de droite en bas, ce sont les prédictions faites par les enseignants Après coup, il est demandé à l’enseignant de justifier ses prédictions

24 Autres informations Les émotions –Une machine peut-elle agir « intelligemment » sans prendre en compte des émotions de l’apprenant (de l’utilisateur) ? => thème de recherche actuel –Exemples Conati Jeu Prime climb Ana Paiva Jeu EToy –Etats émotionnels Joie et tristesse Reproche et admiration Fierté et honte –A terme, usage de capteurs (non intrusifs) Regard, battements du cœur, video, …

25 Emotions Table 1 - Mapping gestures to emotions GesturesEmotions Put the toy's hands in front of it's eyes or moving the toy backwards vigorously FEAR Moving the toy slightly backwards (squeezing it slightly) DISGUST Swinging the toy (putting it dancing) and/or playing with its arms HAPPY Bend down its neck or bend down all the toy's trunk SAD To place its arms crosswise or shake the toy vigorously ANGER Open its arms backwards inclining its trunk slightly backwards too SURPRISE Ana Paiva : Jeu EToy L’apprenant joue avec la poupée qui contient des capteurs

26 De quelles informations dispose le système ? 5 sources –Réponses à des exercices (QCM, liste d’associations,…) Le plus classique A priori, diagnostic facile –(Méta) Réponses directes des apprenants Exemple : avez-vous compris ? Intérêt : –Ne pas chercher à deviner ce que l’apprenant peut vous dire lui-même –Peu coûteux à mettre en place, Facile à utiliser Inconvénient : –Biais possible, l’apprenant peut sciemment ou non transformer la réalité

27 De quelles informations dispose le système ? 5 sources –Traces des actions (Fichiers Log ou traces audiovisuelles) Trace de très bas niveau, nécessite souvent d’être agrégées pour fournir des indicateurs de plus haut niveau Intérêt : –Recueil facile, en particulier avec les réseaux –Possibilité de traitement automatique –Fournit aussi de l’information au tuteur humain Inconvénient : –La trace peut être très bavarde –Parfois difficile à analyser »langue naturelle, retours arrières,…

28 Exemple de Trace 194.78.232.8 -- [10/Jan/2003:15:33:43 +0200] "Get /orion/liens.htm HTTP/1.1" 200 1893 "http://www- sop.inria.fr/orion/index.html“ "Mozilla/4.0 (compatible; MSIE 5.0b1; Mac_PowerPC) " –194.78.232.8 est l’adresse Internet de l’utilisateur –la requête a été reçue le 10 Janvier 2003 `a 15 heures, 33 minutes et 43 secondes –l’Url demandée est /Orion/liens.htm (il s’agit d’une URL relative à laquelle on doit ajouter le nom du serveur, ici www-sop.inria.fr) –la requête a été traitée sans erreur (c’est le statut 200) –le document renvoyé contenait 1893 octets –le lien vers ce document a été trouvé dans le document d’URL http://www-sop.inria.fr/orion/index.html –l’utilisateur travaillait sur un Macintosh (Mac PowerPC) avec le logiciel Internet Explorer (MSIE) en version 5.0b1.

29 De quelles informations dispose le système ? –Traces de la résolution de problèmes De plus haut niveau que la trace brute si prévue dans le logiciel de résolution de problèmes Intérêt –Alimente la modélisation au niveau cognitif Inconvénients : –Souvent difficile à faire (cf procédures de diagnostic) –Basée sur des techniques d’IA mais domaine dépendant –Recueil par des capteurs sensori-moteurs Intérêt : –Nouvelles sources d’informations : Eyes tracking, capteurs divers, vidéo Inconvénient –Matériel coûte cher, peu habituel –Dépouillement automatique difficile –Dépouillement manuel très coûteux en temps Exemple : projet LUTIN à la CSI

30 Observateur humain De façon audiovisuelle De façon numérique - Centrées utilisateur - Centrées serveur Traitement des Traces Collecte Traces Primaires Indicateurs Structuration Analyse Plusieurs méthodes - Fouille de données - Les approches numériques - Les approches symboliques

31 Analyse des observables Suivi de l’activité – lecture de documents hypermédia utilisation des méta-données pour analyser le parcours – annotations de documents – utilisations de simulations, de résolveurs de problèmes Analyse des communications – avec ses pairs – avec un tuteur demande de guidage demande d'explications, d'aides Analyse des évaluations – en mode auto-évaluation nombre d'essais consultation des réponses, des explications – en mode évaluation erreurs méta-erreurs

32 Suivi de l’activité :Parcours de l’apprenant Apprenant Parcours du cours Etudier un cours (contenu spécifique) Parcourir les différentes pages de la plate-forme (Fonctionnalités) Parcours de la plate-forme Naviguer sur le Web Travailler sur son poste en local Parcours de la session Se Connecter à la Plate-forme Travailler sur la plate- forme Exercer des activités hors de la plate-forme Interagir au niveau de la page/fichier Consulter, lire, écrire, envoyer, partager chatter,…etc. Ouvrir, créer un nouveau document, lire, écrire modifier, supprimer, …etc.

33 Suivi de l’activité: sémantique des parcours Contenu (la page) Temporalité Activités individuelles ou collectives Forme de parcours [Canter et al. 1985] : –pathiness (chemin) : un chemin est un parcours qui ne passe pas deux fois par le même nœud –ringiness (anneau) : un anneau est un parcours qui retourne à son point de départ –loopiness (boucle) : une boucle est un anneau qui ne contient pas de sous anneau –spikiness (pointe) : une pointe est un anneau qui retourne à l’origine en repassant par les nœuds intermédiaires

34 Suivi de l’activité : Sémantique des parcours Stratégie de parcours [Canter et al. 1985] : –scanning (feuilletage) : l’utilisateur passe en revue un nombre important de pages, de manière superficielle –browsing (navigation) : l’utilisateur suit un chemin jusqu’à parvenir à son but –searching (recherche) : l’utilisateur cherche un document ou une information en particulier –exploring (exploration) : l’utilisateur explore une zone ou un domaine particulier jusqu’à en épuiser les ressources –wandering (errance) : l’utilisateur suit un parcours déstructuré et sans but précis

35 35 Dmc : Durée moyenne de consultation du cours Tc: Type de consultation du cours Dc/Ds: Pourcentage du temps passé sur le cours Fpc: Forme du parcours Npd : Nombre de pages différentes consultées Nombre d’accès précédents au cours Durée prévue pour le cours Chc : Chronologie de consultation Npc : Nombre de pas dans le parcours Tlc : linéarité du parcours Niveau Comportemental Indicateur de Haut Niveau Indicateur Intermédiaire Indicateur de Bas Niveau Données additionnelles Méta-données du cours Prox: Proximité sémantique entre les pages visitées Durée moyenne prévue par page Dc : Durée de consultation du cours Ds : Durée de la session Seuils moyens des valeurs de indicateurs Type de Navigation

36 36 Survol –proche de « scanning » –traduit le fait que l’apprenant a visualisé une proportion importante de pages constituant un cours mais sans s’y attarder –l’utilisateur cherche à acquérir une vision globale « panoramique » du cours Papillonnage –proche de « wandering » –correspond à un parcours désordonné sans stratégie ou but particulier –absence de focalisation sur un cours Étude –correspond à la lecture complète ou presque des pages d’un même cours –l’utilisateur passe un temps certain sur chacune Approfondissement (Recherche) –consulter le cours dans le détail –faire des recherches sur le Web de documents proches du sujet d’étude Type de Navigation

37 37 Dmc –Durée Moyenne de Consultation d’une page du cours –Comparé à un seuil moyen (Exemple : 1 mn) –Valeurs: Faible, Fort Dc/Ds –Détermine la part du temps passé dans le cours par rapport à toute la durée totale de la session –Comparé à un seuil moyen (Exemple : 50 %) –Valeurs: Faible, Fort Indicateurs Intermédiaires Dmc & Dc/Ds

38 38 Canter et al. 1985: pathiness (chemin), ringiness (anneau), loopiness (boucle), spikiness (pointe) Nouvelles valeurs –Scolaire : cette valeur est retenue lorsque la forme dominante est un chemin, avec quelques retours arrière, ou lorsqu’il s’agit d’une pointe –Etoile : cette forme apparaît lorsque l’apprenant à tendance à revenir souvent vers le même nœud, elle apparaît souvent lors d’une recherche –Dispersé : correspond à un anneau ou une mixture de formes de Canter, en d’autre termes, l’apprenant a tendance à aller dans des sens divers. TL: Taux de Linéarité du parcours –Npdc : Nombre de pages différentes consultées (nombre de nœuds) –Npc : Nombre de pages consultées (nombre de pas) –Valeurs dans [ 0,1 ] Si TL> 0,8 => Fpc=Scolaire Indicateurs Intermédiaires Fpc : Forme de parcours

39 39 Typologie de Navigation Règles de Calculs (Dmc, Dc/Ds, Prox, Tc, Fpc) = (Fort, Fort, Fort, Systémique, Etoile)

40 Semble maîtriser le sujet –Parcours de type exploring (exploration), browsing (navigation) ou searching (recherche) –Pourcentage des activités réussies important –Activités en dehors du contenu en relation avec le cours assez nombreuses –Fait des annotations Semble perdu –Stratégie de parcours: wandering (errance), scanning (feuilltage) pas pour la première fois ou exploring dans des zones n’ayant pas de rapport avec son objectif Exp. un apprenant qui explore N2 sans avoir vu son pré-requis N1 et échoue à toutes les activités Semble en échec –Stratégie de parcours: wandering –Échec aux activités Interprétation des comportements

41 Analyse des observables Suivi de l’activité : Exemple : exercice de logique (Merceron-ESILV) –Enregistrement dans une base de données –Studentstudent’s login, tutorial group –Mistake student’s login, exercise id, name of mistake made, rule involved, date –Exercise exercise id, exercise level, number of lines and number of rules used in teacher’s solution –Performancestudent’s login, exercise id, number of lines and number of rules used in student’s solution, performance measure(between 0 and 5), date –Correct usagestudent’s login, exercise id, line number in the proof, rule used, date –Count loginsstudent’s login, number of times logged in –Student level student’s login, student’s level

42 Analyse des observables Suivi de l’activité (Despres-Lium)

43 Analyse des observables Suivi de l’activité (Guéraud –Imag)

44 Analyse des observables Suivi de l’activité Suivi de l’activité (Guéraud –Imag)

45 Analyse des observables Suivi de l’activité (Guéraud –Imag)

46 Analyse des observables Suivi de l’activité (Guéraud –Imag)

47 La pragmatique Théorie des actes de langage d'Austin et Searle –2 principes Théorie du langage est une partie indissociable d'une théorie de l'action Principe d'exprimabilité "tout ce que l'on veut dire peut être dit" –3 composantes dans un acte de langage le locutoire –le fait de produire des sons et des mots l'illocutoire –la production d'un énoncé constitue en elle-même un acte qui opère une transformation des rapports entre les interlocuteurs le perlocutoire –il est défini par les effets de la locution sur l'interlocuteur (effets sur les sentiments, les croyances, les pensées,…) –Exemple A : A quelle heure part le prochain train pour Lille ? B : A 11h23 A : OK B : effet illocutoire : A pense que B croit que le train part à 11h23 effet perlocutoire : A croit B et ajoute ce fait à ses connaissances

48 Catégories d'actes illocutoires Catégories partagées par tous les auteurs –verbes de type assertif –Penser : conjecturer, affirmer, critiquer, reconnaître,… –verbes de type promissif (ou commissif) –S'engager : renoncer, promettre, accepter, souscrire, menacer,... –verbes de type directif –Suggérer : conseiller, recommander, avertir, alerter,... –verbes de type déclaratif –déclarer : définir, approuver, terminer, renoncer, démettre, appeler, annuler,... –verbes de type expressif –Exprimer : saluer, s'excuser, se plaindre, approuver, remercier, condoléances –verbes de type interrogatif –Demander, questionner, solliciter, requérir,...

49 3 composantes : locutoire, illocutoire, perlocutoire Apprentissage actif Demande Information Motivation Demande d'aide ou de conseil pendant la résolution d'un problème Fournit information ou conseil Fournit un retour positif Conversation Changement de la tâche Maintien Acceptation Bascule la tâche courante vers une nouvelle tâche Aide à la cohésion du groupe et à l'implication de ses pairs Répondre à une question binaire Conflit créatif Argumentation Arbitrage Raisonne sur un commentaire ou une suggestion d'un pair Demande l'intervention du tuteur Utilisation des actes de langages [Soller et al., 99])

50 Analyse des observables Analyse des communications –Exemple : Produire une synthèse qualitative des communications 4 catégories d’apprenants (Plety, 96) – l’animateur »caractérisé par un important volume d’interventions –le vérificateur »centré sur les réponses de type évaluation ou régulation –le quêteur »préférant poser des questions –l’indépendant »qui reste plus volontiers à l’écart Mise en œuvre –Chat structuré par les actes de langages (George 2001) –Choix des actes réifiés »Interrogation, proposition, réaction, réponse, évaluation, question

51 Analyse des observables Analyse des communications (Reffay –Besançon) –Champs d’application visés par notre recherche : Communication télématique de groupe –Asynchrone (courriel, forum) –Synchrone (chat,… audio/video-conférence) Formation ou Travail collaboratif animé par un responsable (tuteur ou chef de projet) Taille du groupe : 4 à 15 membres Durée de l’observation : plusieurs semaines Indépendant du domaine disciplinaire

52 Analyse des observables Analyse des communications (Reffay –Besançon) –Comment mesurer si les groupes fonctionnent bien ? Nombre de messages déposés (/ et lus ) –Par l’ ensemble le groupe [par jour] –Par chaque membre [et par jour] Nombre d’ échanges (message + réponse) Nombre de membres avec qui chacun a eu un/des échange(s) Nombre moyen de membres avec qui chacun a eu un/des échange(s) Messages ou longueur des messages Régularité des interventions –Expérience : Les communications de 50 acteurs dans Simuligne Forum : 879 015 car. dans 2686 messages Courriel : 834 753 car. dans 4062 messages Bavardage : 234 694 car. dans 5680 tours de parole

53 Analyse des observables Analyse des communications (Reffay –Besançon)

54 Analyse des observables Analyse des communications (Reffay –Besançon)

55 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs Informations demandées au concepteur – attributs attachés à la question »difficulté »liste des compétences mises en jeu –pour chaque réponse fausse »indication de la (ou des ) compétence(s) mises en défaut Informations demandées à l'apprenant –le degré de certitude sur chaque réponse –quand il a fait une erreur, indication du type d'erreur

56 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs l'apprenant –répond aux questions –indique son degré de certitude Si la réponse est fausse, le système –lui fournit la bonne réponse –lui demande d'indiquer le type de son erreur »En utilisant la même liste que celle utilisée par l’enseignant pour qualifier les réponses fausses Etape 1 Etape 2

57 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs Le système construit 2 listes : –La liste "hasard" contenant les compétences mises en jeu dans les questions et pour lesquelles l'apprenant a indiqué qu'il n'était pas sûr du tout –la liste "Mismatch" qui contient »les réponses erronées pour lesquelles l'apprenant a indiqué un fort degré de certitude »les réponses erronées pour lesquelles l'apprenant ne comprend même pas son type d'erreur Etape 3

58 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs

59 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs Liste de compétences –Vocabulaire (1) –Calcul algébrique (2) –Coefficient directeur (3) –Ordonnée à l’origine (4) –Formule de colinéarité (5) –Formule d’orthogonalité (6) Compétences associées aux erreurs –Rép A : compétence 3 car l’élève a inversé la formule du coefficient directeur. –Rép C : compétence 2 car l’élève a oublié de changer le signe –Rép D : compétence 1 car l’élève a fait un calcul juste mais ne connaît pas le sens de l’expression “ équation réduite ”

60 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs Scénario 1 –Réponse A + apprenant assez sûr de lui –le système lui propose le corrigé, l'apprenant comprend son erreur => Le système enregistre l'erreur mais ne met rien dans la liste Mismatch Scénario 2 –Réponse D + apprenant pas sûr de lui –le système lui propose le corrigé –l'apprenant reconnaît son erreur (oubli du terme équation réduite) => Le système enregistre l'erreur mais ne met rien dans la liste Mismatch

61 Analyse des observables Analyse de l’évaluation –Exemple : Améliorer le processus d'évaluation en enrichissant les QCMs Scénario 3 –Réponse C + apprenant très sûr de lui –le système lui propose le corrigé, l'apprenant reconnaît son erreur => le système met la compétence 2 dans la liste Mismatch et prévient le tuteur Scénario 4 –Réponse A + apprenant assez sûr –le système lui propose le corrigé, l'apprenant ne reconnaît pas son erreur => le système met la compétence 2 dans la liste Mismatch et prévient le tuteur

62 Le diagnostic Définition –Ensemble des processus de mise à jour du modèle de l’apprenant aux niveaux Comportemental Épistémique Stratégique Individuel (traits de personnalité) Niveau de granularité des enregistrements –Indications sur le processus cognitif L’apprenant indique son but, sa stratégie –Étapes intermédiaires L’apprenant indique toutes les étapes de sa résolution –Résultat final L’apprenant fournit juste le résultat final 9 techniques de diagnostic (van Lehn)

63 Le diagnostic Comparaison de chaque résultat intermédiaire trouvé par l’apprenant avec tous ceux possibles –Suppose une profondeur de 1 à chaque étape –Facile à mettre en œuvre –Problèmes Que se passe-t-il quand aucune réponse ne s’apparie ? Le bruit : –l’étudiant a peut-être trouvé par erreur –L’étudiant a fait une faute de saisie –Exemples typiques Utilisation de la théorie ACT Anderson –Lisp tutor, geometry Tutor 1

64 Le diagnostic Comparaison du résultat de l’apprenant avec celui du résolveur –Comparaison de surface entre la réponse de l’apprenant et celle de l’expert Variante de la méthode précédente –Problèmes Possibilités d’erreurs qui se compensent Le résultat peut être trouvé par hasard Ne permet pas une connaissance profonde de l’apprenant –Exemples West (jeu de l’oie pour apprendre l’arithmétique) –Tous les opérateurs utilisés par l’expert et non utilisés par l’apprenant voient leur niveau de connaissances par l’apprenant décrémenté 2

65 Le diagnostic Comparaison du résultat de l’apprenant avec celui du résolveur –Exemple QUIZ système d’apprentissage des enchères au Bridge A chaque tour d’enchères, le résolveur détermine toutes les enchères envisageables avec des informations sur la classe de chacune (description, interrogation, enchère par défaut) La procédure compare la réponse de l’apprenant avec toutes celles trouvées Pour chaque thème du modèle de l’apprenant –Mise à jour du nombre de bonnes utilisations –Mise à jour du nombre d’erreurs (évaluation à tort, non évaluation) Ce type de diagnostic suppose que le résolveur soit enrichi de connaissances non nécessaires à la résolution

66 Exemple : PLASTUR Analyser les stratégies de récupération de défauts en plasturgie chez des régleurs de presses à injecter Jean-Marc Labat*, Pierre Pastré**, Pierre Parage**, Michel Futtersack***, Jean-François Richard****, Emmanuel Sander**** LIP6 Paris 6, ** CNAM,, *** Crip5, Paris 5, **** Paragraphe, Paris 8, Le diagnostic Plan Objectifs scientifiques Modélisation de la résolution de problèmes Machine à injecter et simulateur Modèles à base de contraintes Modèles à base de règles Perspectives

67 Objectifs scientifiques du projet PLASTUR Simuler le comportement des opérateurs et identifier les stratégies et les comportements d’adaptation … dans une situation professionnelle où interviennent des connaissances spécialisées de haut niveau, contrairement aux problèmes classiques où n’existent pas de telles compétences Comparer des analyses faites en situation naturelle par la psychologie ergonomique et la didactique professionnelle avec des analyses faites à partir de traces obtenues avec un artefact Tester des modèles issus de la psychologie cognitive et l’I.A. rarement mis à l’épreuve en situation naturelle

68 Machine à injecter Granules de polymère Vis d’ArchimèdeBuse Contre-pression Pression de Commutation Pression de Maintien Temps de Maintien Temps d’injection Temps de refroidissement Température

69 Modélisation de la résolution de problèmes Tâche : régulation d’une presse à injecter –Corriger les défauts lorsqu’ils apparaissent Dus à des valeurs erronées d’un ou plusieurs paramètres –7 paramètres avec 3 valeurs possibles –La buse peut être matée (2 valeurs) 8 défauts possibles –4 avec une seule cause possible –4 avec plusieurs causes possibles 2 difficultés majeures pour les régleurs –Possibilités d’états compensés –Prise en compte de données non accessibles

70 Modélisation de la résolution de problèmes Modélisation classique par un graphe d’états –Nœuds : états de la machine 4374 (3 7 *2) MAIS les régleurs n’ont pas accès à ces paramètres Pour eux un état est défini par –La vision des défauts –L’interprétation de la courbe –Arcs : actions des régleurs Accéder à l’information –Visionner les défauts –Visionner la courbe Agir sur un paramètre

71 SIMPLAST Un simulateur fidèle à la situation –Les 4374 états sont codés –Les défauts et la courbe sont calculées par rapport à ces états –Pas un simulateur pleine échelle pour favoriser les aspects stratégiques de la résolution 2 modes –Un mode apprenant L’apprenant doit demander l’information –un mode formateur L’information est toujours présente Possibilité de rejouer un protocole –Toutes les actions sont enregistrées

72 Simplast

73 Problématique Différentes classes de régleurs –régleurs expérimentés Aucun défaut La courbe est correcte –régleurs avec une connaissance approximative Acceptent des états compensés (avec des produits sans défaut) Acceptent des produits avec de légers défauts Corpus –2 séries de 4 problèmes résolues par 8 régleurs 64 protocoles –Les 2 séries sont séparées par une formation

74 Modélisation par contraintes Une contrainte est définie par 3 propriétés –Son résultat est une restriction sur les actions possibles. C’est un vecteur indiquant pour chaque éventualité si elles est permise (0), interdite (1) ou indifférente (0,5) –Les contraintes se composent de façon additive : le résultat est une contrainte plus restrictive –Les contraintes forment une liste ordonnée et, en cas de blocage, la contrainte avec la priorité la plus faible est désactivée Etant donné un protocole, un ensemble de C possible et une distance –on construit progressivement par ajout de contraintes la liste qui simule au mieux le protocole

75 Résultats du modèle à base de contraintes La simulation produit une liste d’actions très proches de celles des protocoles –Moins de 5% d’actions erronées 4 heuristiques générales –Changer 1 seul paramètre à la fois –La capacité à interpréter la courbe et à en déduire les actions pertinentes –Les 3 niveaux d’exigence d’un régleur –La stratégie de recueil de l’information Stratégie pilotée par les défauts Stratégie pilotée par la courbe Stratégie pilotée par la connaissance des 2

76 Apports de la modélisation par contraintes Formaliser les résultats de l’analyse du travail concernant les hypothèses des régleurs sur l’origine des défauts ainsi que les différentes stratégies –pilotage par la courbe ou par les défauts Permet d’estimer des caractéristiques individuelles des opérateurs autres que les stratégies –Le niveau d’exigence de l’opérateur –La compréhension de la courbe –Les hypothèses sur les causes des défauts Diagnostic fin du processus de résolution –permet d’envisager l’utilisation du modèle à des fins de formation, notamment pour faire prendre conscience à l’opérateur de la stratégie mise en œuvre et la faire évoluer vers une stratégie plus efficace

77 Modèles à base de connaissances Définition de l’Opérateur Idéal (O.I.) –Commence par rectifier la courbe –Puis stratégie analytique fondée sur Le nombre de fois où une action lui a permis de résoudre les défauts présentés dans le problème L’impact de l’action sur les autres types de défauts. Règles plus générales d’adaptation à la tâche (heuristiques) –Ne pas exécuter 2 fois la même action. –Ne pas revenir en arrière

78 Résultats de l’O.I. L’O.I. a su résoudre l’ensemble des 17 problèmes –Le plus souvent en un nombre de coups optimal –L’architecture développée pour l’O.I. transposable pour les O.V. –Développé en CLIPS et devrait être intégré au simulateur Java. Mais … –Les régleurs réels ne fonctionnent pas sur le modèle de l’OI : Même le régleur le plus performant, ne commence pas de façon systématique à corriger tous les paramètres visibles sur la courbe pour ne passer qu’ensuite, si besoin est, à la correction des défauts résiduels

79 Deux opérateurs virtuels Opérateur Rustique (O.R.) –Prend en considération uniquement les défauts – Ne connaît pas (ou très peu) les informations de la courbe –Hypothèse simplificatrice : l’O.R. observe la pièce après chaque action Opérateur Expert (O.E.) –Prend en compte des informations de la courbe –Effectue des demandes sur les défauts visuels –Même hypothèse simplificatrice que pour l’O.R. –La base de règles du modèle expert est une extension de la base de règles du modèle rustique

80 Evaluation de l’opérateur rustique –Pour les trois sujets concernés, les qualités de simulation sont très bonnes Coïncidence sur l’ensemble des actions sur 6 ou 7 des 8 problèmes Evaluation de l’opérateur expert –Encourageante, mais non suffisante –Troisième niveau de modélisation à envisager

81 Apports de la simulation à base de connaissances Nouvelles hypothèses –Les régleurs n’agissent pas sur un registre purement épistémique mais sur un registre pragmatique Les défauts acceptables ne sont éliminés que si c’est compatible avec le coût L’utilisation de la courbe des pressions est impérative uniquement en cas d’états compensés produisant des défauts inacceptables –Les experts font des inférences sur des données inaccessibles Variables physiques déductibles à partir des observations Des variables physiques non accessibles Sur des variables construites –Le concept de bourrage

82 Bilan : Apports réciproques Double fonction de la démarche modélisatrice –Tentative de validation d’une analyse en didactique professionnelle jusque-là seulement partiellement formalisée et largement qualitative –support pour une évolution conceptuelle liée aux nécessités d’explicitation propre à la construction d’un modèle informatique et aux réinterprétations liées aux résultats des premières tentatives de simulations Pour la psychologie cognitive et l’informatique –permet d’éprouver et de faire évoluer des modèles en sortant des problèmes ‘jouets’ et en prenant en compte l’influence des connaissances antérieures

83 Perspectives Conception d’un modèle conjoint aux 2 modèles présentés –Diagnostic au niveau fin assuré par l’approche contrainte –Les contraintes identifiées servent d’entrées pour la sélection de l’opérateur virtuel le plus pertinent –Les modèles à base de connaissances sont support d’interactions directes avec les experts du domaine ou de l’analyse du travail, et adapté à la construction de profils Conception d’un environnement de formation –Les expériences faites dans une école d’ingénieurs spécialisés en plasturgie montrent la richesse du simulateur sur le plan de la résolution de problèmes

84 Le diagnostic Reconstitution du chemin –Cette méthode complète la précédente quand il y a plus d’un pas de raisonnement entre 2 états successifs –Problème : il y a en général plusieurs chemins Reconnaissance de plans –Nécessite que les connaissances soient de type résolution de problèmes (proche de la méthode précédente) –Un épisode de la résolution est analysé par un arbre : Les feuilles = les actions primitives Les nœuds = les sous-buts –Exemples Macsyma advisor (Genesereth), Mentoniezh (Py) –Problème : que se passe-t-il s’il y a plusieurs arbres ? Aucun ? 3 4

85 Le diagnostic Construction de règles boguées par induction –Règles construites à partir de 2 ensembles Un pour les opérateurs (pour la partie conclusion) Un pour les prédicats (pour la partie conditions) –Problèmes La construction de la partie conditions par discrimination à partir d’exemples et de contre-exemples est difficile Cela demande beaucoup de données initiales 5

86 Le diagnostic Analyse par système expert –Utile quand le résultat est complexe à analyser –Démarche heuristique construite par l’expert –Avantage Permet de fournir des explications à l’apprenant –inconvénients Très souvent complètement domaine dépendant Incomplétude des systèmes experts –Exemple : GUIDON Si –L’hypothèse de l’étudiant utilise une des conclusions de la règle Ri –Il n’utilise pas les autres conclusions de Ri Alors –Diminuer le degré de croyance que l’étudiant connaît Ri 6

87 Le diagnostic Analyse par système expert –Exemple : Explications dans SIMPLUS Analyse des choix erronés des joueurs Génération automatique de commentaires –Utilisation de critères de gestion définis par l’expert »11 critères principaux »Chacun est composé de plusieurs sous-critères »Pour chaque sous-critère, définition d’un intervalle de valeurs « correctes » –Si une combinaison de critères est vérifiée alors génération d’un commentaire

88 Le diagnostic STOCKS PARA PRODUIT ASTOCKS PARA PRODUIT A1 Mois de Stocks A2Coefficient d’offre A3Attractivité du prix A4Attractivité de la Publicité A5 Qualité ENCOURS BANCAIRE BENCOURS BANCAIRE B1Montant du découvert B2Montant du stocks de produit fini B3Hiérarchie des taux B2-B1Financement des stocks EXCEDENT DE TRESORERIE CEXCEDENT DE TRESORERIE C1Excèdent important C2Trésorerie placée C3Hiérarchie des taux C4Emprunt en cours DELAIS DDELAIS D1Total de jours de délais D2Coefficient d’heures supplémentaires D3Importance du stock D4Délais Produits DELAIS DDELAIS D1Total de jours de délais D2Coefficient d’heures supplémentaires D3Importance du stock D4Délais Produits INVESTISSEMENTS EINVESTISSEMENTS E1Part de marché E2Importance du stock E3Endettement E4Rentabilité Financière PRODUCTIVITE FPRODUCTIVITE F1Gain cumulé de productivité F2Perte de maintenance F3Gain d’organisation F4Effort de maintenance F5Effort d’organisation COUT DES UC GCOUT DES UC G1Coût UC G2Coefficient d’heures supplémentaires G3Coefficient de coût G4Importance du stock G5Coefficient d’utilisation

89 Le diagnostic Analyse par système expert –Commentaires Une centaine de possibilités sont actuellement prévues Ils sont générés par le système à partir de ratios de gestion Dans chaque catégorie, le commentaire est sélectionné si tous les ratios mentionnés sur sa ligne sont validés Sélection des trois premiers commentaires dans l’ordre des critères d’analyse selon la priorité établie par l'expert –A (1),D (2),G (3),B (4),C (5),E (6),F (7), H (8),J (9),I (10),K (11) Les commentaires générés (affichés ou non) sont conservés pour les périodes suivantes

90 Le cas des rotatives 42 défauts visibles Analyse des défauts d’un imprimé –Pour chaque défaut Liste des causes réparties selon les 5 catégories Construction d’un arbre composé de 2 parties –La description du défaut –Les causes possible pour chaque nœud final de la description

91 Fiche des défauts : exemple du doublage doublage latéralcirconférentiel Pb de tensionblanchet Description Causes 3 4 56 1 27 9810

92 Fiche des défauts : exemple du repérage repérage Écart importantÉcart faible travers latéral Description Causes 36 56 6 89 1 local circonférentiel général 7 4 52

93 Système expert Donnée de l’exercice –Description du défaut réel et de sa (ses) cause(s) Modélisation de la machine –État de référence –État courant  Calcul de l’écart Analyse du comportement de l’apprenant –Usage des outils pour diagnostiquer le défaut –Analyse des hypothèses qu’il émet Hypothèse envisagée impossible Mauvaises priorités sur les hypothèses à envisager

94 Système expert Analyse du comportement de l’apprenant Dans cette phase, le SE donne l’accès à l’apprenant au simulateur –Suivi de ses actions de remédiation Action ne correspondant pas à la cause en cours de traitement Dépassement de seuil Hypothèse à rejeter non comprise (modifications de valeurs qui s'avèrent être correctes) Manque de retour à l’état précédent Bon résultat mais par hasard Bilan –Pas de modèle cognitif de l’apprenant –Un système de guidage de l’apprenant efficace

95 Le diagnostic Utilisation d’un arbre de décision –Pour prendre en compte l’interaction entre plusieurs erreurs L’apprenant donne juste le résultat final –Exemple : BUGGY A partir de 55 erreurs élémentaires => 55 paires Un arbre est construit à partir des réponses de l’apprenant –Le sommet de l’arbre est le 1 er problème –Pour chaque réponse existante, un nœud fils est créé –A ce nœud sont attachées toutes les erreurs qui produisent cette réponse L’opération est recommencée pour chaque problème Diagnostic = chemin du sommet jusqu’à une feuille Hyp : Si les problèmes sont bien choisis, chaque chemin est unique, une feuille correspond à un seul diagnostic Problème –Procédé trop cher au-delà de combinaisons de 2 bogues 7 2

96 Le diagnostic Utilisation d’un arbre de décision 7 PB1 Sol1 Bug2 Bug1 + Bug4 Bug7 + Bug4 Bug 7 PB2 Bug7 + Bug4 Bug 7 Sol1.1 Sol1.2 Bug1 + Bug4 Bug 2 PB3 Bug1 + Bug4 Sol 2 Sol1.2.1Sol1.2.2

97 Le diagnostic Génération de tests de diagnostics Pour dépasser les limites de l’arbre de décision –L’algorithme génère un ensemble de diagnostics, détermine les réponses attendues et compare avec celles de l’apprenant –Ceux qui matchent le plus sont gardés –Exemple DEBUGGY Sélection de 10 erreurs élémentaires qui matchent quelques réponses de l’apprenant Création de toutes les paires avec ces 10 erreurs + quelques autres => environ 200 paires Sélection des paires qui matchent le plus et itération du processus tant que cela permet d’augmenter le nombre de réponses de l’apprenant correspondant Diagnostic final = ensemble des erreurs reconnues –Problème Assez inefficace dans le cas général 8

98 Le diagnostic Diagnostic cognitif –Nécessite des équipes pluridisciplinaires S’apparente aux méthodes précédentes mais en s’appuyant sur des théories issues des sciences humaines –Théorie didactique du domaine enseigné –Théorie psychologique de la résolution de problèmes par des novices –Voie très complexe pour être vraiment opérationnelle Plutôt de la recherche fondamentale –Exemples REPAIR ELECTRE –Problèmes Trop coûteux à concevoir et très domaine dépendant QUESTION : –Les procédures représentent-elles les erreurs des apprenants ou produisent-elles seulement les mêmes effets ? 9

99 Le diagnostic Exemple : REPAIR (Brown et Van Lehn) –Objectif : trouver une origine rationnelle aux erreurs –Hypothèse : les erreurs sont le résultat « d’actions complexes et volontaires qui reflètent des croyances erronées » –Construction A partir d’un graphe ET/OU représentant un savoir correct, REPAIR créé une impasse en supprimant un nœud du graphe. Si cela bloque la résolution, REPAIR invente un dépannage en instanciant une stratégie générale (d’où le nom de REPAIR) : –Sauter une étape, –Revenir à un nœud précédent –Remplacer une opération par une autre

100 Le diagnostic Exemple : ELECTRE (Palies) –Basé sur une taxonomie des traits de surface non pertinents –5 étapes Recherche des prototypes de montage et de lois d’électricité grâce aux exercices prototypiques Recherche des heuristiques de réduction au prototype Parmi les exercices dont la résolution par l’apprenant n’est pas expliquée, ELECTRE cherche à déterminer les schémas conceptuels Recherche des heuristiques de simplification –ELECTRE détermine quels concepts ont été appliqués et donc quelles transformations effectuer sur les énoncés pour pouvoir les appliquer Recherche des méta-heuristiques des apprenants concernant l’ordre d’activation des heuristiques

101 Un exemple de diagnostic thèse de Khider HAKEM Titre : Les apprentissages mathématiques élémentaires : du diagnostic à la remédiation Objectifs –Construire un outil qui permettra d’analyser les difficultés des élèves dans la résolution de problèmes d’arithmétiques énoncés en langue naturelle Il s’agit de tester la résolution de classes de problèmes isomorphes pour lesquels on veut mesurer l’influence de certains paramètres –Élaborer des profils cognitifs qui vont nous permettre de situer les compétences construites par l’apprenant au cours de sa scolarité –Faire des propositions de remédiation adaptées aux profils diagnostiqués

102 Exemples de problèmes isomorphes Problèmes de complément –EX 1 : Henri achète à la librairie une trousse qui coûte 5 Euros et une équerre. Il paie 8 Euros. [Combien coûte l’équerre ?] Hugo achète une équerre et un stylo. Il paie 10 Euros. Combien coûte le stylo ? –EX 2 : Driss a voyagé en bateau pendant 11h et est arrivé à 19h. [A quelle heure est-il parti ?] Jonathan est parti à la même heure que Driss et a voyagé pendant 10h. A quelle heure est-t-il arrivé ?

103 Codage des problèmes isomorphes 48 types de problèmes différents Tests : –Une série de 12 problèmes résolus par 1000 élèves Type de variableType de problème Question finale Amorçage x : Effectifs y : Prix z : Ages d : Durée p : Poids t : Taille a : comparaison e : complément p : partie t : tout 0 : absence 1 : présence

104 Trace d’un exercice que l’élève a déjà fait l’enseignant pourra revenir sur la trace de l’élève http://www.diane-eiah.fr

105 Schéma de résolution PB complément Question porte sur une partie Cherche parite3 ? Sequence1= tout1 et partie1 Séquence2= tout2 Stratégie par étape tout1 - partie1=partie2 tout2 – partie2 = partie3(sol) Stratégie par différence tout1 – tout2=valdiff partie1 – valdiff = partie3(sol) Question porte sur une tout Cherche tout2 ? Sequence1= tout1 et partie1 Séquence2=partie3 Stratégie par étape tout1 - partie1=partie2 partie2 + partie3 = tout2 (sol) Stratégie par différence parite1 – partie2=valdiff tout1 + valdiff = tout2 (sol)

106 Diagnostic Hypothèse –Le diagnostic nous permettra d’identifier les stratégies mises en œuvre, les erreurs de calcul, les résolutions partielles, les interprétations Codage du diagnostic –Utilisation d’un tableau de 18 colonnes Col 1: codage de la stratégie (étapes ou différence) 4 Groupes de 4 colonnes –La première caractérise le type de calcul –la seconde indique si les données de l’opération sont correctes –La troisième indique si le résultat est correct –la quatrième indique s’il y a une formulation du résultat Col 18 : Formulation en langue naturelle du résultat

107 Exemple Exemple 1 : Stratégie à étape –12 – 5 = 7 –les Lambert sont 7. –11 – 7 = 4 –les Meunier sont 4 Exemple 2 : Stratégie par différence –12-11=1 –5-1=4 –les Meunier sont 4 Col1Col2Col3Col4Col5Col6Col7Col8Col9Col10Col11Col12Col13Col14Col15Col16Col17Col18 120009999999912000 299999999200932000 StratégieRésultat intermédiaire Calcul à étape Calcul du terme de la comparaison (Pb comparaison) Calcul par différence (Tout1&Tout2 partie1 & partie2) (Pb complément) Calcul de la réponse a la question finale Form. de la soluti on Codage des réponses de l’élève Dans la famille Dubois, il y a 5 personnes. Quand les Dubois vont manger en forêt avec les Lambert, ils sont 12 au pique- nique. Quand les Lambert vont manger en forêt avec les Meunier, ils sont 11 au pique- nique. Combien sont-ils dans la famille Meunier ? Nature de ce qui est calculé xep0

108 Réalisation du Diagnostic automatique L’enseignant saisit les énoncés : –Enregistrement des variables (tout1, tout2, partie1, partie2, partie3, valdiff) dans la BD L’élève résout un exercice –Un traitement sur les réponses de l’élève nous permet d’identifier 4 tableaux : Le premier contient tous les nombres saisis par l’apprenant Le second contient les opérations effectuées par l’enfant Le troisième contient tous les nombres qui ne sont pas des opérandes et des résultats d’opérations Le quatrième contient tous les mots du texte séparés par des blancs Exemple de réponse d’un élève 12 – 5 = 7 les Lambert sont 7 11 – 7 = 4 les Meunier sont 4

109 Réalisation du codage Principe –Le codage automatique s’effectue en comparant les réponses de l’élève (tableaux) avec les données de la BD (tout1, tout2, partie1, partie2, partie3, valdiff) en utilisant la grille d’analyse (codage) Exemple de codage –Si ((op1 op op2 = résultat) = (tout1 – partie1 = res)) { –Colonne2 = 2 –Colonne3 = 0 } –Opération : operande1 opérateur operande2 = résultat –op1, op2 : opérandes – op : opérateur (+, -, x, : )

110 Comparaison entre le codage manuel et le codage automatique Élève (CM2) ExerciceÉchecRéussite 5428858230 Col 1 Col 2 Col 3 Col 4 Col 6 Col 7 Col 8 Col 10 Col 11 Col 12 Col 14 Col 15 Col 16 Co l17 Total Erre urs 151711147767772331191458 Erreurs de codage par colonne Résultats du codage automatique des protocoles 80% similaire au codage manuel (toute les colonnes sont correctes) 20% différent du codage manuel (au moins une colonne est incorrecte)

111 Un fichier au format (Excel) est créé à la fin de chaque exercice Il contient le diagnostic des exercices que l’élève a effectué

112 Exemple de diagnostic en langue naturelle http://khakem.free.fr/formDiag.php?type=e

113 Exemple de diagnostic en langue naturelle

114 Les rôles du modèle de l’apprenant (Self) Description en 6 fonctions –Corrective Éliminer les erreurs dans les connaissances de l’apprenant –Élaborative Augmenter ses connaissances –stratégique Décider de changements dans la stratégie tutorielle –diagnostique Résoudre les problèmes de cohérence dans les connaissances –prédictive Prédire les réponses de l’apprenant –évaluative Évaluer l’apprenant, le système

115 Les rôles du modèle de l’apprenant Correctives –1) identification des erreurs Messages pré-enregistrés les mêmes pour tous –Ex : vous avez oublié la retenue Messages avec des variables instanciées –Ex : ?X n’est pas la bonne fonction Messages calculés en fonction du contexte –Assemblage de phrases –Ex : WHILE peut faire boucler Vous auriez du utiliser un IF Messages sur des erreurs profondes –Ex : évoquer la commutativité et non la règle utilisée –Remarque Aucun système ne génère automatiquement les messages en tenant compte des connaissances de l’apprenant

116 Les rôles du modèle de l’apprenant Correctives –2) remédiation directe Le système fournit une correction directe en relation avec K (et non k) Erreur factuelle sans misconception profonde Erreur d’utilisation –Ex : BIP détecte qu’il manque des mots clés dans un programme Erreur non comprise mais le système sait ce qu’il aurait fallu faire –LISP tutor indique la règle idéale –3) remédiation indirecte Le système fournit une indication, une aide –GEOMETRY tutor « essayer d’utiliser le fait que I est le milieu de AB

117 Les rôles du modèle de l’apprenant Correctives –4) contre-exemple Le système génère un contre-exemple (proche de la génération de jeux de tests pour les programmes) K et la solution fournie sont inconsistants –2 cas possibles »Proposer un contre-exemple qui permet à l’apprenant de reconnaître immédiatement son erreur »Proposer un contre exemple que l’étudiant ne reconnaît pas mais que le système va expliciter Exemple : –Scholar (J. Carbonell, 1970) »Dialogue en langage naturel sur les connaissances en géographie »Si l’élève dit qu’il faut du soleil pour faire pousser du riz le système lui demande s’il pousse du riz en Afrique

118 Les rôles du modèle de l’apprenant Correctives –5) trace de solution Re-présentation de la solution en temps différé avec commentaires à chaque étape –Très peu de système, très coûteux –Domaine dépendant »Travail de hakem partiellement

119 Les rôles du modèle de l’apprenant Correctives –6) rétrospection Utiliser le modèle de l’apprenant pour repérer l’origine de la difficulté plutôt que la difficulté elle-même –7) nouvel essai Recommencer sur un exemple voisin –Le plus simple Construction de l’exemple –Proche de la génération de contre-exemple –Banque de problèmes de remédiation »On choisit par heuristique la difficulté –8) repli tactique Reprendre sur un thème plus facile, maîtriser par l’apprenant pour le remettre en confiance

120 Les rôles du modèle de l’apprenant Elaboratives –Utilisé pour compléter les connaissances de l’apprenant Augmenter k –1) choix dirigé par un plan d’études Utiliser un modèle du domaine (une ontologie) pour choisir une connaissance proche –Ex : »Zone proximale de développement (ZPD-Vygotsky) » utiliser le graphe génétique Approche par planification –2) comparaison expert-apprenant Comparaison de k et K –3) Choix par analyse des faiblesses de l’apprenant –4) Contrôle par l’apprenant Choix par menus

121 Les rôles du modèle de l’apprenant Stratégiques –1) changement de plan Si l’apprenant semble en échec, il peut être préférable de replanifier l’apprentissage –Ex : MENO-tutor (B. Wolff) »Utilisation de méta-règles pour changer de stratégie –2) changement dans le style d’interaction tutorielle S’appuyer sur les traits caractéristiques T du modèle de l’apprenant –Privilégier une approche ludique –Fournir des corrections directes et simples plutôt que des remédiations indirectes –Adopter un style familier –Fournir des encouragements – choisir des exercices très simples –…

122 Les rôles du modèle de l’apprenant Diagnostiques –Quand il y a des « trous » dans la connaissance qu’a le système de k Si pour un exercice mal résolu, plusieurs connaissances étaient en jeu, choisir par heuristique un exercice portant sur chacune des connaissances prises séparément générer un nouvel exercice en exécutant en chaînage arrière les règles erronées Questionner l’apprenant pour découvrir ses croyances et comparer avec les hypothèses du système

123 Les rôles du modèle de l’apprenant Prédictives –1) prédiction de performances Utile si l’apprenant ne se comporte pas comme attendu –2) prédiction d’apprentissage Serait-il possible grâce à P que le système puisse prévoir le résultat d’actions didactiques ?????? Évaluatives –1) Évaluation de l’apprenant Résumer les résultats de l’apprenant Présenter ces résultats au tuteur, au système (mise à jour du modèle de l’apprenant), à l’apprenant lui-même –2) Évaluation du système Avec des apprenants virtuels, on peut tester l’efficacité des décisions prises par le système

124 Les rôles du modèle de l’apprenant QUESTION : LE MODELE DE L’APPRENANT EST-IL AUSSI UTILE QU’ON LE DIT ? REPONSE : –Pas si sûr car les enseignants eux-mêmes n’ont pas de modèle élaboré des apprenants –En tout cas, pas de modèle individuel mais des prototypes et surtout une image du groupe-classe (important car ils ne peuvent pas se permettre de faire une individualisation poussée) => « Bypassing the intractable problem of student modelling » J. Self ITS 88 Montréal

125 Les rôles du modèle de l’apprenant REGLES PRATIQUES (slogans) –S1 : NE DEVINEZ PAS ; DEMANDEZ A L’APPRENANT DE VOUS DIRE CE QUE VOUS VOULEZ SAVOIR –S2 : NE DIAGNOSTIQUEZ PAS CE QUE VOUS NE POUVEZ PAS EXPLOITER –S3 : INSISTEZ SUR LES CROYANCES DE L’APPRENANT ; NE LES CONSIDEREZ PAS COMME DES BOGUES –S4 : NE FEIGNEZ PAS L’OMNISCIENCE ; ADOPTEZ LE ROLE D’UN COLLABORATEUR FAILLIBLE

126 Le e-Portfolio –En France http://www.enfa.fr/portfolio –Dans le monde http://www.eportfolios.ac.uk http://electronicportfolios.org http://www.aahe.org/initiatives/ipp.htm http://theospi.org http://sakaiproject.org

127 Le e-Portfolio Une vision étendue de la notion de « modélisation de l’humain » Contenu –Un CV classique –Des productions personnelles Textes Photos Vidéos programmes informatiques... –Traces de l’ensemble des apprentissages effectués et des compétences acquises tout au long de la vie Certifiées par les enseignants, les employeurs

128 Le e-Portfolio Intérêts –Support à l’évaluation formative Évaluations plus constructives et authentiques –Personal Development Planning (PDP) Aspect réflexif sur son processus d’apprentissage –regard critique sur soi Lien entre théorie et pratique –Support à l’évaluation sommative À destination des organisations éducatives –Sélection de candidats –Support à la formation tout au long de la vie –Life-Long Learning (LLL) Processus de VAE –Support à l’embauche A destination des recruteurs –Prouver ses compétences en montrant ses productions

129 Le e-Portfolio Avantages du « numérique » –Révisions, mises à jour aisées –Intégration facilitée de ressources multiples En particulier avec des liens hypermédia –Accessibilité par le biais du web pour le public Possibilité de choisir ceux qui ont accès Possibilité de ne rendre visible qu’une partie de son e-portfolio –Pérennité –Portabilité –Création de sauvegardes

130 Le e-Portfolio Problématiques Structure imposée Structure libre Outil personnel Outil institutionnel

131 Le e-Portfolio Métaphores (M. Diez) –Un miroir Soulignant la nature réflexive du portfolio –Une carte Facilitant l’auto-évaluation Permettant de se donner un plan et des buts –Un sonnet Un cadre avec des contraintes formelles rigides mais un contenu qui permet la diversité et la créativité –Un catalyseur Facilitant la relation entre étudiants, enseignants, employeurs

132 Le e-Portfolio Architecture informatique –Support Outils d’édition Outils de stockage (base de données, fichiers) Outils d’indexation, de recherche –Paramétrisation Affichage sélectif Accès sélectif –Outils de validation externe Pour les enseignants

133 Generic ePortfolio : Public Demonstrator

134 create context-specific tools via simple Web forms Student view Selecting tools by Course and Year Course Admin view ‘Generic’ framework: Customisation SWOT : Strengths, Weaknesses, Opportunities, Threats

135 ‘Generic’ framework: Sharing SWOT : Strengths, Weaknesses, Opportunities, Threats

136 Configuring learning outcomes / skills sets Course Admin view ‘Generic’ framework: Customisation

137 BILAN La modélisation de l’utilisateur reste très difficile –Difficile de comprendre ce qu’il veut (ses plans) –Difficile de connaître ses difficultés –Difficile de connaître ses besoins La modélisation de l’apprenant est encore plus problématique –Ses connaissances sont évolutives –Il peut y avoir du « bruit » dans ses actions –Même si on a une image fidèle, on ne sait pas nécessairement apporter une remédiation efficace Conclusion Proposer lui des aides, des conseils Ne lui imposer pas des contraintes supplémentaires sous prétexte que vous savez mieux que lui ce qui lui est nécessaire Le plus souvent possible, laisser à l’apprenant et/ou à l’utilisateur le plus de choix possibles

138 Bibliographie Pédagogie générale –DE LA GARANDERIE A. : "Les profils pédagogiques", Paidoguides, Le Centurion, 1987 –MEIRIEU P.: "Apprendre...oui, mais comment", E.S.F., 1989 –AVANZINI G. : "Différencier... pourquoi ? ", cahiers pédagogiques n° 239, p 10, décembre 1985 Tuteurs intelligents-modélisation de l’apprenant –PALIES O. : "Méta-connaissances pour la modélisation de l'élève. Contribution au diagnostic cognitif par système expert", thèse d'Université, Université Paris VI, mars 1988 –PY D. : "Reconnaissance de plan pour l'aide à la démonstration dans un tuteur intelligent de la géométrie", Thèse d'Université, Rennes 1, 1990 –J-M. Labat : A Pragmatic way for Student Modelling : The QUIZ Example, East-West conference, pp 194-198, Moscou, 1992 –JM Labat "EIAH : Quel retour d'informations pour le tuteur ? ", Conférence TICE 2002, p 81-87, 2002

139 Bibliographie –WENGER E "Artificial intelligence and Intelligent tutoring systems", Addison Wesley, 1987 –GOLDSTEIN I.P. : "The genetic graph : a representation for the evolution of procedural knowledge", Intelligent Tutoring Systems, Sleeman et Brown, p 51-78, 1982 –BURTON R.R. : "Diagnosing bugs in a simple procedural skill", dans Intelligent Tutoring Systems, édité par D. Sleeman et J.S. Brown, 1982 –OHLSSON S., LANGLEY P. : "Identifying solution paths in cognitive diagnosis", in Mandl, Learning issues for intelligent tutoring systems, Springer-Verlag, 1987 –VANLEHN K. : " Student modeling", dans Foundations of Intelligent Tutoring System, M.C. Polson, p 55-78; 1988 –SELF J. : "Student model : what use are they ? ", IFIP/TC3, FRASCATI, mai 1987, North Holland –SELF J. : "Bypassing the intractable problem of student modeling", ITS 88, Montréal, p18-24, 1988