Titre conférence lundi 27 mars 2017

Présentation au sujet: "Titre conférence lundi 27 mars 2017"— Transcription de la présentation:

1 Titre conférence lundi 27 mars 2017 Un Formalisme de Description de Questionnaires pour l ’Evaluation Fabrice Issac - Olivier Hû Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP Compiègne, France ; Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

2 Plan La place du questionnaire
Nos objectifs : un formalisme et des outils Etat de l ’art provisoire Les possibilités de QML La chaîne éditoriale complète Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

3 La place du Questionnaire
Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion L ’Outil d ’évaluation par excellence : universellement utilisé facile à mettre en place facile à utiliser Des inconvenients : capitalisation « à la main » correction souvent fastidieuse prédominance du modèle linéaire type de critère d ’évaluation restreint Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

4 Nos Objectifs Un formalisme : Des outils : Capitalisation
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un formalisme : Capitalisation Automatisation Dynamisme Des outils : pour l ’exportation pour la conception pour l ’édition Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

5 Etat de l ’art provisoire
TML : Questions fermées, réponse unique, juste/faux, avec aide et renforcement Calculs : f(réponse, nombre d ’essai, indices) Bodenreider & Kohler (TML+) : Question suivante en fonction de la réponse Paramètres d ’édition TACO (serveur Web) : Questions fermées, réponse unique, juste/faux, essentielle ou pas. Calculs : f(réponse, pondération) QuizCode (projet Ariadne) Environnement complet Basé sur un formalisme (type XML) Questions variées : ouvertes, graphiques etc. Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

6 Etat de l ’art provisoire
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Limites : des réponses booléennes hormis Quizcode, des questions essentiellement textuelles l ’influence des réponses est limitée des résultats numériques structure du questionnaire, au mieux, arborescente Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

7 Les Possibilités de QML : les Types de Questions
Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Question ? rep1 rep2 rep3 Fermée/Ouverte/Mixte Question ? Question ? rep1 rep2 Autre : Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

8 Les Possibilités de QML : les Types de Questions
Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fermée/Ouverte/Mixte Nombre de réponses attendues variable Question ? Vrai Faux Quelles sont les… ? Rep1 Rep2 Rep3 Rep4 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

9 Les Possibilités de QML : les Types de Questions
Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fermée/Ouverte/Mixte Nombre de réponses attendues variable Avec degré de justesse Question ? rep1 rep2 rep3 0 /20 20 /20 10 /20 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

10 Les Possibilités de QML : les Types de Questions
Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fermée/Ouverte/Mixte Nombre de réponses attendues variable Avec degré de justesse Multimédia (dans la formulation) Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

11 Les Possibilités de QML : les Résultats associés
Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Q1 = 20 /20 Q2 = 0 /20 Q3 = 0 /20 Q4 = 10 /20 Poids = 1 3 1 Note Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

12 Les Possibilités de QML : les Résultats associés
Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Textuels : vers l ’édition d ’un rapport Rapport Critère…: - Il n ’y a pas de … - Attention à … … Rq: - Ne pas oublier de... Q1. Il n ’y a pas de … Q2. Rq : Ne pas oublier de … Q3. Attention à ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

13 Les Possibilités de QML : les Résultats associés
Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Textuels : vers l ’édition d ’un rapport Réactions : résultats fournis au moment de la validation de la réponse Indice Renforcement Orientation Signal visuel ou sonore ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

14 Les Possibilités de QML : les Résultats associés
Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Textuels : vers l ’édition d ’un rapport Réactions : résultats fournis au moment de la validation de la réponse Influences : adaptation dynamique Question : Avez-vous…? Réponses : Proposition 1 Proposition 2 ... P=3 … Q 221 222 223 C 21 22 23 P=1 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

15 Les Possibilités de QML : une Adaptation dynamique
Titre conférence Les Possibilités de QML : une Adaptation dynamique lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Modification du parcours Q1 SQ11 SQ12 L1 Structure initiale : - 1 sous question par défaut : Lien 1 - 2 sous questions possibles Exemple d ’évolution avec 2 possibilités de réponses : Q1 SQ11 SQ12 L1 Réponse 1 Q1 SQ11 SQ12 L1 Réponse 2 Influence locale ou globale Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

16 Les Possibilités de QML : une Adaptation dynamique
Titre conférence Les Possibilités de QML : une Adaptation dynamique lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Modification du parcours Modification des calculs Q1 Q2 Q3 C1 C2 Q1 Q2 Q3 C1 Q1 Q2 Q3 C1 C2 C3 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

17 Les Possibilités de QML : la Gestion du Parcours
Titre conférence Les Possibilités de QML : la Gestion du Parcours lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Nombre d ’essais 1 réponse = validation n modifications autorisées Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

18 Les Possibilités de QML : la Gestion du Parcours
Titre conférence Les Possibilités de QML : la Gestion du Parcours lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Nombre d ’essais Question bloquante La validation n’est activé, et la question suivante posée, que si la bonne réponse est donnée. Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

19 Les Possibilités de QML : la Gestion du Parcours
Titre conférence Les Possibilités de QML : la Gestion du Parcours lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Nombre d ’essais Question bloquante Gestion du temps Temps limite pour répondre. Réponse ‘ time-out ’ Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

20 La Chaîne Editorial complète
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Auteurs Outil d ’aide à la conception Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

21 La Chaîne Editorial complète
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Une capitalisation couplée à une base de règles ergonomiques Auteurs Outil d ’aide à la conception Questions Calculs Règles Edition Ergonomie Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

22 La Chaîne Editorial complète
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Une capitalisation couplée à une base de règles ergonomiques Un Outil d ’aide à l ’édition Sortie : - papier - site Web - ... Utilisateurs Auteurs Outil d ’aide à la conception Editeurs Outil d ’aide à l ’édition Questions Calculs Règles Edition Ergonomie Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

23 La Chaîne Editorial complète
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Une capitalisation couplée à une base de règles ergonomiques Un Outil d ’aide à l ’édition Un Outil d ’aide à la correction ? Sortie : - papier - site Web - ... Utilisateurs Auteurs Outil d ’aide à la conception Editeurs Outil d ’aide à l ’édition Questions Calculs Règles Edition Ergonomie Correcteurs Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

24 Prototype Un outil de génération automatique sur le Web
tout type de questions adaptions et parcours dynamiques calculs contextuels Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

25 Conclusion Un formalisme puissant mais qui peut être complété :
Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un formalisme puissant mais qui peut être complété : notion de famille de questions possibilités de traitements des réponses : pointage graphique, lancement de TAL sur questions ouvertes… tout besoin nouveau… avec ses propres balises Un développement « propre » des applications : étude des tâches des utilisateurs interface à manipulation directe mises en place de passerelles Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

26 Merci de votre attention
Titre conférence lundi 27 mars 2017 Un Formalisme de Description de Questionnaires pour l ’Evaluation Fabrice Issac - Olivier Hû Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP Compiègne, France ; Merci de votre attention Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant