Méthodologie de conception d’applications Multimédias Educatives : la méthode EMPI
Les sources des critères d’analyse Les Normes Les Guides de style Les Critériologies et Ontologies des domaines D ’où un grand nombres de recommandations : A tout les niveaux de détails : directives, critères, recommandations… Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie…
Les sources des critères d’analyse… en ergonomie Normes : Norme ISO/WD 9241 Accessibilité W3C WAI ATAG / UAAG / WCAG Guide de style : The Windows Interface Guidelines For Software Design OSF Motif Style Guide Mac OS 8 Human Interface Design Apple Recueils de recommandations et critériologies : J. Vanderdonckt - Guide ergonomique des IHM. Namur. 1994 D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems.(97) De nombreuses revues et conférences : International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM... W3C Web Content Accessibility Guidelines W3C User Agent Accessibility Guidelines W3C Authoring Tool Accessibility Guidelines
Les sources des critères d’analyse… en multimédia Questionnaire NUMI Standards for Multimedia User Interfaces (Ziegler J.) Les normes d ’édition Musicologie (Chion M.), Photographies… pour le Web WAMMI (Website Analysis and MeasureMent Inventory) WebSAT Projet EvalWeb (INRIA, LIHS Toulouse,UCL)
Les sources des critères d’analyse… en pédagogie La norme RIP : critères pédagogiques, critères techniques, critères juridiques Le questionnaire d ’évaluation METANE A l ’intérieure de différentes méthodes ou ouvrages comme MEDA
Les sources des critères d’analyse… conséquences Un très (trop) grand nombre de recommandations Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation Un temps d ’évaluation long Pas besoin de toutes les recommandations tout le temps
La nécessité d’une structuration adaptative Un parcours synchrone
La nécessité d’une structuration adaptative Un parcours synchrone Une pondération adaptable Q1 Q2 Q3 Q4 1 3 Criterion mark
La nécessité d’une structuration adaptative Un parcours synchrone Une pondération adaptable Une adaptation dynamique P=1 P=3 … Q 221 222 223 C 21 22 23 Question : Avez-vous… Réponses : Proposition 1 Proposition 2 ...
La nécessité d’une structuration adaptative Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués always often sometimes never Do you see this default ?
La nécessité d’une structuration adaptative Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués Une évaluation toujours incomplète
La nécessité de prendre en compte la subjectivité Un contexte complexe : plaisir d’utilisation, motivation, empathie etc. Des compétences hétérogènes des enseignants Pouvoir confronter les a priori de l ’évaluateur Détecter des défauts ressentis et non formulés
La nécessité de prendre en compte la subjectivité Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel Une capitalisation Une description « neutre » Deux exploitations futures : des impressions « calculées » une description du public cible
La nécessité de prendre en compte la subjectivité Les Impressions Générales Une Notation Instinctives Une Profondeur d’Analyse Variable
La confrontation entre subjectivité humaine et évaluation analytique Le résultat doit être vue comme une proposition : sa qualité est de la responsabilité de l ’évaluateur il permet de confronter son opinion à la vision analytique la méthode aide et ne remplace pas l ’évaluateur
La confrontation entre subjectivité humaine et évaluation analytique Help Explanation Reformulation Exemples Theory Une aide à l ’évaluation Vers un apprentissage de l ’évaluation
La confrontation entre subjectivité humaine et évaluation analytique Notes Instinctives Une aide à l ’évaluation Un indice de cohérence +10 C 2 C C C 21 22 23 … … La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants -9 -10 -8
La confrontation entre subjectivité humaine et évaluation analytique Une aide à l ’évaluation Un indice de cohérence Une proposition de note « intelligente » Note Calculée Note Instinctive Pondérée par Indice de cohérence Proposition de résultat
La confrontation entre subjectivité humaine et évaluation analytique Génération de descriptions Commentaires Une aide à l ’évaluation Un indice de cohérence Une proposition de note « intelligente » Vers un rapport descriptif Rapport descriptif Notes finales Rapport final d ’évaluation
Notre prototype
Notre prototype Note instinctive Impressions Générales
Notre prototype Proposition de note finale :
Validations Des cycles de conceptions avec des étudiants de second cycle : environ une cinquantaine d ’étudiant pour une trentaine de logiciels Usage réel recueil d ’information sur l ’usage du prototype par des enseignants Observation sur le terrain observation de l ’usage de différents logiciels par une classe de cm2 Une confrontation avec les concepteurs
Validations
QML Perspectives : (M)-1 Un outil d ’aide à la conception La même base de critère que EMPI Génération d ’un « cahier des charges » QML Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports
Conclusions La base de recommandations est riche en taille et en diversité Ne jamais oublier le contexte humain Une instrumentation plus qu’une automatisation