1 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivité Olivier Hû - Philippe Trigano Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP Compiègne, France ;

2 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Plan Les sources des critères d analyse La nécessité d une structuration adaptative La nécessité de prise en compte de la subjectivité La confrontation entre subjectivité humaine et évaluation analytique Notre prototype Validations Perspectives Conclusions

3 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse Les Sources : –Les Normes –Les Guides de style –Les Critériologies et Ontologies des domaines D où un grand nombres de recommandations : –A tous les niveaux de détails : directives, critères, recommandations… –Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie… Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

4 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse… en ergonomie Normes : –Norme ISO/WD 9241 –Accessibilité W3C WAI ATAG / UAAG / WCAG Guide de style : –Windows Interface Guidelines For Software Design –OSF Motif Style Guide –Mac OS 8 Human Interface Design Apple Recueils de recommandations et critériologies : –J. Vanderdonckt - Guide ergonomique des IHM. –D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems. –International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM... Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

5 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention WAMMI ( Website Analysis MeasureMent Inventory ) WebSAT Projet EvalWeb ( INRIA, LIHS Toulouse,UCL ) Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions pour le Web Les sources des critères danalyse… en multimédia Questionnaire NUMI J. Ziegler - Standards for Multimedia User Interfaces Les normes d édition Musicologie (Chion M.), Photographies…

6 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse… en pédagogie La norme RIP : critères pédagogiques, critères techniques, critères juridiques Le questionnaire d évaluation METANE A l intérieure de différentes méthodes ou ouvrages (MEDA…) Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

7 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources des critères danalyse… conséquences Un très (trop) grand nombre de recommandations Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation… Un temps d évaluation long Pas besoin de toutes les recommandations tout le temps Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

8 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone

9 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Q1 Q2 Q3 Q Criterion mark Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable

10 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Question : Avez-vous…? Réponses : Proposition 1 Proposition 2... … … Q 221 Q 222 Q 223 … C 21 C 22 C 23 P=1 P=3 Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique

11 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative alwaysoftensometimesnever Do you see this default ? Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués

12 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité dune structuration adaptative Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués Une évaluation toujours incomplète Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

13 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité de prendre en compte la subjectivité Un contexte complexe : plaisir dutilisation, motivation, empathie… Des compétences hétérogènes des enseignants Pouvoir confronter les a priori de l évaluateur Détecter des défauts ressentis et non formulés Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

14 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité de prendre en compte la subjectivité Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel Une capitalisation Une description « neutre » Deux exploitations futures : des impressions « calculées » une description du public cible Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

15 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La nécessité de prendre en compte la subjectivité Les Impressions Générales Une Notation Instinctives Une Profondeur dAnalyse Variable Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

16 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Le résultat doit être vu comme une proposition : þsa qualité est de la responsabilité de l évaluateur þil permet de confronter son opinion à la vision analytique þla méthode aide et ne remplace pas l évaluateur Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions La confrontation entre subjectivité humaine et évaluation analytique

17 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Explanation Reformulation Exemples Theory Help Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions La confrontation entre subjectivité humaine et évaluation analytique Une aide à l évaluation Vers un apprentissage de l évaluation

18 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention La cohérence de l évaluateur entre un niveau et les niveaux inférieurs correspondants … … C 2 C 21 C 22 C Notes Instinctives Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l évaluation Un indice de cohérence La confrontation entre subjectivité humaine et évaluation analytique

19 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Note CalculéeNote Instinctive Indice de cohérence Pondérée par Proposition de résultat Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l évaluation Un indice de cohérence Une proposition de note « intelligente » La confrontation entre subjectivité humaine et évaluation analytique

20 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Une aide à l évaluation Un indice de cohérence Une proposition de note « intelligente » Vers un rapport descriptif Commentaires Génération de descriptions Rapport descriptif Notes finales Rapport final d évaluation Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions La confrontation entre subjectivité humaine et évaluation analytique

21 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Notre prototype

22 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Note instinctive Impressions Générales Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Notre prototype

23 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Proposition de note finale Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Notre prototype

24 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Validations Des cycles de conceptions avec des étudiants de second cycle : –Une cinquantaine détudiants pour une trentaine de logiciels Usage réel –Recueil dinformations sur lusage du prototype par des enseignants ou des experts Observation sur le terrain –Observation de lusage de différents logiciels par une classe de cm2 Une confrontation avec les concepteurs Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

25 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Validations Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Impressions Générales : –Terrain : bonne prédiction de l adéquation public/logiciel –Concepteurs : retour sur la population cible Le Questionnaire : –Terrain : bonne détection des erreurs ergonomiques –Concepteurs : vision clinique multicompétence Notes Instinctives / Calculées : –Terrain : investissement et apprentissage de lévaluateur –Concepteurs : priorité de développement

26 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Perspectives : Utilisabilité du prototype Présentation des résultats Ordonnancement des critères Portabilité de la méthode à dautres questionnaires Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

27 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Perspectives : (M ) -1 Un outil d aide à la conception La même base de critères que EMPI Génération d un « cahier des charges » Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Perspectives : QML

28 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Conclusions La base de recommandations est riche en taille et en diversité Ne jamais oublier le contexte humain Une instrumentation plus quune automatisation Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions

29 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivité Olivier Hû - Philippe Trigano ;