Les sources des critères d’analyse

Présentation au sujet: "Les sources des critères d’analyse"— Transcription de la présentation:

1 Méthodologie de conception d’applications Multimédias Educatives : la méthode EMPI

2 Les sources des critères d’analyse
Les Normes Les Guides de style Les Critériologies et Ontologies des domaines D ’où un grand nombres de recommandations : A tout les niveaux de détails : directives, critères, recommandations… Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie…

3 Les sources des critères d’analyse… en ergonomie
Normes : Norme ISO/WD 9241 Accessibilité W3C WAI ATAG / UAAG / WCAG Guide de style : The Windows Interface Guidelines For Software Design OSF Motif Style Guide Mac OS 8 Human Interface Design Apple Recueils de recommandations et critériologies : J. Vanderdonckt - Guide ergonomique des IHM. Namur. 1994 D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems.(97) De nombreuses revues et conférences : International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM... W3C Web Content Accessibility Guidelines W3C User Agent Accessibility Guidelines W3C Authoring Tool Accessibility Guidelines

4 Les sources des critères d’analyse… en multimédia
Questionnaire NUMI Standards for Multimedia User Interfaces (Ziegler J.) Les normes d ’édition Musicologie (Chion M.), Photographies… pour le Web WAMMI (Website Analysis and MeasureMent Inventory) WebSAT Projet EvalWeb (INRIA, LIHS Toulouse,UCL)

5 Les sources des critères d’analyse… en pédagogie
La norme RIP : critères pédagogiques, critères techniques, critères juridiques Le questionnaire d ’évaluation METANE A l ’intérieure de différentes méthodes ou ouvrages comme MEDA

6 Les sources des critères d’analyse… conséquences
Un très (trop) grand nombre de recommandations Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation Un temps d ’évaluation long Pas besoin de toutes les recommandations tout le temps

7 La nécessité d’une structuration adaptative
Un parcours synchrone

8 La nécessité d’une structuration adaptative
Un parcours synchrone Une pondération adaptable Q1 Q2 Q3 Q4 1 3 Criterion mark

9 La nécessité d’une structuration adaptative
Un parcours synchrone Une pondération adaptable Une adaptation dynamique P=1 P=3 … Q 221 222 223 C 21 22 23 Question : Avez-vous… Réponses : Proposition 1 Proposition 2 ...

10 La nécessité d’une structuration adaptative
Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués always often sometimes never Do you see this default ?

11 La nécessité d’une structuration adaptative
Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués Une évaluation toujours incomplète

12 La nécessité de prendre en compte la subjectivité
Un contexte complexe : plaisir d’utilisation, motivation, empathie etc. Des compétences hétérogènes des enseignants Pouvoir confronter les a priori de l ’évaluateur Détecter des défauts ressentis et non formulés

13 La nécessité de prendre en compte la subjectivité
Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel Une capitalisation Une description « neutre » Deux exploitations futures : des impressions « calculées » une description du public cible

14 La nécessité de prendre en compte la subjectivité
Les Impressions Générales Une Notation Instinctives Une Profondeur d’Analyse Variable

15 La confrontation entre subjectivité humaine et évaluation analytique
Le résultat doit être vue comme une proposition : sa qualité est de la responsabilité de l ’évaluateur il permet de confronter son opinion à la vision analytique la méthode aide et ne remplace pas l ’évaluateur

16 La confrontation entre subjectivité humaine et évaluation analytique
Help Explanation Reformulation Exemples Theory Une aide à l ’évaluation Vers un apprentissage de l ’évaluation

17 La confrontation entre subjectivité humaine et évaluation analytique
Notes Instinctives Une aide à l ’évaluation Un indice de cohérence +10 C 2 C C C 21 22 23 … … La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants -9 -10 -8

18 La confrontation entre subjectivité humaine et évaluation analytique
Une aide à l ’évaluation Un indice de cohérence Une proposition de note « intelligente » Note Calculée Note Instinctive Pondérée par Indice de cohérence Proposition de résultat

19 La confrontation entre subjectivité humaine et évaluation analytique
Génération de descriptions Commentaires Une aide à l ’évaluation Un indice de cohérence Une proposition de note « intelligente » Vers un rapport descriptif Rapport descriptif Notes finales Rapport final d ’évaluation

20 Notre prototype

21 Notre prototype Note instinctive Impressions Générales

22 Notre prototype Proposition de note finale :

23 Validations Des cycles de conceptions avec des étudiants de second cycle : environ une cinquantaine d ’étudiant pour une trentaine de logiciels Usage réel recueil d ’information sur l ’usage du prototype par des enseignants Observation sur le terrain observation de l ’usage de différents logiciels par une classe de cm2 Une confrontation avec les concepteurs

24 Validations

25 QML Perspectives : (M)-1 Un outil d ’aide à la conception
La même base de critère que EMPI Génération d ’un « cahier des charges » QML Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports

26 Conclusions La base de recommandations est riche en taille et en diversité Ne jamais oublier le contexte humain Une instrumentation plus qu’une automatisation