1 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire.

Présentation au sujet: "1 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire."— Transcription de la présentation:

1 1 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivité Olivier Hû - Philippe Trigano Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France olivier.hu@utc.fr ; philippe.trigano@utc.fr

2 2 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Plan Les sources des critères d analyse La nécessité d une structuration adaptative La nécessité de prise en compte de la subjectivité La confrontation entre subjectivité humaine et évaluation analytique Notre prototype Validations Perspectives Conclusions

3 3 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse Les Sources : –Les Normes –Les Guides de style –Les Critériologies et Ontologies des domaines D où un grand nombres de recommandations : –A tous les niveaux de détails : directives, critères, recommandations… –Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie… Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

4 4 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse… en ergonomie Normes : –Norme ISO/WD 9241 –Accessibilité W3C WAI ATAG / UAAG / WCAG Guide de style : –Windows Interface Guidelines For Software Design –OSF Motif Style Guide –Mac OS 8 Human Interface Design Apple Recueils de recommandations et critériologies : –J. Vanderdonckt - Guide ergonomique des IHM. –D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems. –International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM... Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

5 5 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention WAMMI ( Website Analysis MeasureMent Inventory ) WebSAT Projet EvalWeb ( INRIA, LIHS Toulouse,UCL ) Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions pour le Web Les sources des critères danalyse… en multimédia Questionnaire NUMI J. Ziegler - Standards for Multimedia User Interfaces Les normes d édition Musicologie (Chion M.), Photographies…

6 6 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse… en pédagogie La norme RIP : critères pédagogiques, critères techniques, critères juridiques Le questionnaire d évaluation METANE A l intérieure de différentes méthodes ou ouvrages (MEDA…) Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

7 7 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse… conséquences Un très (trop) grand nombre de recommandations Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation… Un temps d évaluation long Pas besoin de toutes les recommandations tout le temps Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

8 8 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone

9 9 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Q1 Q2 Q3 Q4 1 3 3 1 Criterion mark Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable

10 10 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Question : Avez-vous…? Réponses : Proposition 1 Proposition 2... … … Q 221 Q 222 Q 223 … C 21 C 22 C 23 P=1 P=3 Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique

11 11 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative alwaysoftensometimesnever Do you see this default ? Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués

12 12 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués Une évaluation toujours incomplète Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

13 13 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité de prendre en compte la subjectivité Un contexte complexe : plaisir dutilisation, motivation, empathie… Des compétences hétérogènes des enseignants Pouvoir confronter les a priori de l évaluateur Détecter des défauts ressentis et non formulés Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

14 14 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité de prendre en compte la subjectivité Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel Une capitalisation Une description « neutre » Deux exploitations futures : des impressions « calculées » une description du public cible Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

15 15 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité de prendre en compte la subjectivité Les Impressions Générales Une Notation Instinctives Une Profondeur dAnalyse Variable Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

16 16 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Le résultat doit être vu comme une proposition : þsa qualité est de la responsabilité de l évaluateur þil permet de confronter son opinion à la vision analytique þla méthode aide et ne remplace pas l évaluateur Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions La confrontation entre subjectivité humaine et évaluation analytique

17 17 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Explanation Reformulation Exemples Theory Help Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions La confrontation entre subjectivité humaine et évaluation analytique Une aide à l évaluation Vers un apprentissage de l évaluation

18 18 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La cohérence de l évaluateur entre un niveau et les niveaux inférieurs correspondants … … C 2 C 21 C 22 C 23 +10 -9-10 -8 Notes Instinctives Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l évaluation Un indice de cohérence La confrontation entre subjectivité humaine et évaluation analytique

19 19 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Note CalculéeNote Instinctive Indice de cohérence Pondérée par Proposition de résultat Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l évaluation Un indice de cohérence Une proposition de note « intelligente » La confrontation entre subjectivité humaine et évaluation analytique

20 20 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Une aide à l évaluation Un indice de cohérence Une proposition de note « intelligente » Vers un rapport descriptif Commentaires Génération de descriptions Rapport descriptif Notes finales Rapport final d évaluation Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions La confrontation entre subjectivité humaine et évaluation analytique

21 21 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Notre prototype

22 22 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Note instinctive Impressions Générales Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Notre prototype

23 23 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Proposition de note finale Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Notre prototype

24 24 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Validations Des cycles de conceptions avec des étudiants de second cycle : –Une cinquantaine détudiants pour une trentaine de logiciels Usage réel –Recueil dinformations sur lusage du prototype par des enseignants ou des experts Observation sur le terrain –Observation de lusage de différents logiciels par une classe de cm2 Une confrontation avec les concepteurs Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

25 25 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Validations Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Impressions Générales : –Terrain : bonne prédiction de l adéquation public/logiciel –Concepteurs : retour sur la population cible Le Questionnaire : –Terrain : bonne détection des erreurs ergonomiques –Concepteurs : vision clinique multicompétence Notes Instinctives / Calculées : –Terrain : investissement et apprentissage de lévaluateur –Concepteurs : priorité de développement

26 26 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Perspectives : Utilisabilité du prototype Présentation des résultats Ordonnancement des critères Portabilité de la méthode à dautres questionnaires Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

27 27 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Perspectives : (M ) -1 Un outil d aide à la conception La même base de critères que EMPI Génération d un « cahier des charges » Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Perspectives : QML

28 28 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Conclusions La base de recommandations est riche en taille et en diversité Ne jamais oublier le contexte humain Une instrumentation plus quune automatisation Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

29 29 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivité Olivier Hû - Philippe Trigano olivier.hu@utc.fr ; philippe.trigano@utc.fr