Titre conférence lundi 27 mars 2017 Un Formalisme de Description de Questionnaires pour l ’Evaluation Fabrice Issac - Olivier Hû Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France fabrice.issac@utc.fr ; olivier.hu@utc.fr Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Plan La place du questionnaire Nos objectifs : un formalisme et des outils Etat de l ’art provisoire Les possibilités de QML La chaîne éditoriale complète Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

La place du Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion L ’Outil d ’évaluation par excellence : universellement utilisé facile à mettre en place facile à utiliser Des inconvenients : capitalisation « à la main » correction souvent fastidieuse prédominance du modèle linéaire type de critère d ’évaluation restreint Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Nos Objectifs Un formalisme : Des outils : Capitalisation Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un formalisme : Capitalisation Automatisation Dynamisme Des outils : pour l ’exportation pour la conception pour l ’édition Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Etat de l ’art provisoire TML : Questions fermées, réponse unique, juste/faux, avec aide et renforcement Calculs : f(réponse, nombre d ’essai, indices) Bodenreider & Kohler (TML+) : Question suivante en fonction de la réponse Paramètres d ’édition TACO (serveur Web) : Questions fermées, réponse unique, juste/faux, essentielle ou pas. Calculs : f(réponse, pondération) QuizCode (projet Ariadne) Environnement complet Basé sur un formalisme (type XML) Questions variées : ouvertes, graphiques etc. Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Etat de l ’art provisoire Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Limites : des réponses booléennes hormis Quizcode, des questions essentiellement textuelles l ’influence des réponses est limitée des résultats numériques structure du questionnaire, au mieux, arborescente Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Les Possibilités de QML : les Types de Questions Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Question ? rep1 rep2 rep3 Fermée/Ouverte/Mixte Question ? Question ? rep1 rep2 Autre : Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Types de Questions Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fermée/Ouverte/Mixte Nombre de réponses attendues variable Question ? Vrai Faux Quelles sont les… ? Rep1 Rep2 Rep3 Rep4 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Types de Questions Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fermée/Ouverte/Mixte Nombre de réponses attendues variable Avec degré de justesse Question ? rep1 rep2 rep3 0 /20 20 /20 10 /20 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Types de Questions Titre conférence Les Possibilités de QML : les Types de Questions lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fermée/Ouverte/Mixte Nombre de réponses attendues variable Avec degré de justesse Multimédia (dans la formulation) Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Résultats associés Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Q1 = 20 /20 Q2 = 0 /20 Q3 = 0 /20 Q4 = 10 /20 Poids = 1 3 1 Note Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Résultats associés Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Textuels : vers l ’édition d ’un rapport Rapport Critère…: - Il n ’y a pas de … - Attention à … … Rq: - Ne pas oublier de... Q1. Il n ’y a pas de … Q2. Rq : Ne pas oublier de … Q3. Attention à ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Résultats associés Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Textuels : vers l ’édition d ’un rapport Réactions : résultats fournis au moment de la validation de la réponse Indice Renforcement Orientation Signal visuel ou sonore ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : les Résultats associés Titre conférence Les Possibilités de QML : les Résultats associés lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Valeurs numériques avec pondération Textuels : vers l ’édition d ’un rapport Réactions : résultats fournis au moment de la validation de la réponse Influences : adaptation dynamique Question : Avez-vous…? Réponses : Proposition 1 Proposition 2 ... P=3 … Q 221 222 223 C 21 22 23 P=1 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : une Adaptation dynamique Titre conférence Les Possibilités de QML : une Adaptation dynamique lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Modification du parcours Q1 SQ11 SQ12 L1 Structure initiale : - 1 sous question par défaut : Lien 1 - 2 sous questions possibles Exemple d ’évolution avec 2 possibilités de réponses : Q1 SQ11 SQ12 L1 Réponse 1 Q1 SQ11 SQ12 L1 Réponse 2 Influence locale ou globale Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : une Adaptation dynamique Titre conférence Les Possibilités de QML : une Adaptation dynamique lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Modification du parcours Modification des calculs Q1 Q2 Q3 C1 C2 Q1 Q2 Q3 C1 Q1 Q2 Q3 C1 C2 C3 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : la Gestion du Parcours Titre conférence Les Possibilités de QML : la Gestion du Parcours lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Nombre d ’essais 1 réponse = validation n modifications autorisées Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : la Gestion du Parcours Titre conférence Les Possibilités de QML : la Gestion du Parcours lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Nombre d ’essais Question bloquante La validation n’est activé, et la question suivante posée, que si la bonne réponse est donnée. Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

Les Possibilités de QML : la Gestion du Parcours Titre conférence Les Possibilités de QML : la Gestion du Parcours lundi 27 mars 2017 Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Nombre d ’essais Question bloquante Gestion du temps Temps limite pour répondre. Réponse ‘ time-out ’ Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant

La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Auteurs Outil d ’aide à la conception Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Une capitalisation couplée à une base de règles ergonomiques Auteurs Outil d ’aide à la conception Questions Calculs Règles Edition Ergonomie Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Une capitalisation couplée à une base de règles ergonomiques Un Outil d ’aide à l ’édition Sortie : - papier - site Web - ... Utilisateurs Auteurs Outil d ’aide à la conception Editeurs Outil d ’aide à l ’édition Questions Calculs Règles Edition Ergonomie Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un Outil d ’aide à la conception Une capitalisation couplée à une base de règles ergonomiques Un Outil d ’aide à l ’édition Un Outil d ’aide à la correction ? Sortie : - papier - site Web - ... Utilisateurs Auteurs Outil d ’aide à la conception Editeurs Outil d ’aide à l ’édition Questions Calculs Règles Edition Ergonomie Correcteurs Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Prototype Un outil de génération automatique sur le Web tout type de questions adaptions et parcours dynamiques calculs contextuels Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Conclusion Un formalisme puissant mais qui peut être complété : Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion Un formalisme puissant mais qui peut être complété : notion de famille de questions possibilités de traitements des réponses : pointage graphique, lancement de TAL sur questions ouvertes… tout besoin nouveau… avec ses propres balises Un développement « propre » des applications : étude des tâches des utilisateurs interface à manipulation directe mises en place de passerelles Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Merci de votre attention Titre conférence lundi 27 mars 2017 Un Formalisme de Description de Questionnaires pour l ’Evaluation Fabrice Issac - Olivier Hû Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France fabrice.issac@utc.fr ; olivier.hu@utc.fr Merci de votre attention Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Nom de l'intervenant