Evaluation of a module of OPESS in a real situation J.M. Fürbringer, L. Canetta, R. Glardon LGPP, EPFL, Lausanne,

Evaluation module 14

Apprenants

Caractéristiques des apprenants Population –5 étudiants d'échange –19 micro-techniciens –13 mécaniciens Expériences –certains étudiants d'échange avaient une expérience de e-learning –2 étudiants de micro technique aussi aucune motivation particulière pour le média

Problèmes au niveau des apprenants Peu autonomes Relativement chargés par des autres cours Pas entrainés à choisir les bonne méthodes d’apprentissage

Suggestion au niveau des apprenants doivent être instruits sur les méthodologies d'apprentissage: un guide de l'apprenant est nécessaire Un meilleur usage doit être fait des étudiants ayant déjà de l'expérience

Enseignants

Caractéristiques des enseignants Un professeur bon communicateur mais pas compétent en e-learning Un développeur - chef de projet sensible à l'aspect pédagogique, mais n’ayant pas d’autorité en la matière Un tuteur pas formé en e- learning

Problèmes au niveau des enseignants Manque d'expériences en e-learning, particulièrement dans l'animation du Forum Manque de conviction pour le media de la part d'une partie du groupe Participation au forum peu dynamique Disponibilité restreinte et faible réactivité

Usage du forum Trop de réponses pas données dans le forum Délais moyen trop long: –Par soucis de ne donner que des réponses complètes –Il n’a pas été fait suffisamment usage de récépissé Délais (jours) Nombre de messages

Suggestion au niveau des enseignants la motivation des enseignants doit être perceptible pour les apprenants Les compétences des enseignants doivent être adaptées: –formation pédagogique relative au e-learning nécessaire pour les professeurs, les développeurs et les tuteurs

Materiel

Caractéristique du matériel Texte en XML Mind map du sujet Beaucoup d’animations flash Exercices d'application

Inventory management

Problèmes au niveau du matériel Plusieurs animations contenaient des bugs Texte pas optimum au niveau de la progression de la complexité (trop lent au début trop rapide à la fin) Lecture à l'écran mal aisée: les étudiants étudie principalement à partir des impressions Images sur la version PDF peu lisibles, problème notamment pour les équations

Suggestion au niveau du matériel Correction des bugs dans les animations Amélioration de la lisibilité et l’ergonomie générale Concentré l’effort sur les parties interactives –Animation du forum –Exercice interactif –Quiz –Travail collectif –Simulations Théorie accessible principalement en PDF

Context

Caractéristique du context Un module en e-learning parmi un cours en FaF Implémentation sur WebCT Solution choisie: blended learning

Time Frame

Déroulement de l’expérience 1rst f2f session –Presentation of the project to the student –Presentation of the environment with practice 1rst period of personal work –Very low activity on the forum –Only technical problems –No question posted 2nd f2f session –Unscheduled, unmarked test –Results ok 2nd period of personal work –more forum activity during the second period 3rd f2f session –Presentation of stock strategies to compensate incomplete material

Problèmes au niveau du context scénario pédagogique statique: les interactions entre tuteur et apprenants n’ont pas été pensées suffisamment introduction abrupte du e- learning qui a brusqué les étudiants expérience trop courte pour atteindre une vitesse de croisière

Suggestions au niveau du context Faire des expériences plus longue en tenant compte du besoin de mise en route Prévoir des scénario pédagogiques plus dynamiques dans lesquels les interactions sont favorisées et rétribuée

Evaluation

Problèmes au niveau de l’évaluation de l’apprentissage Pas centrée sur le matériel Décalée par rapport aux consignes du cours: –annoncé au niveau savoir-comprendre –évalué au niveau savoir faire Pas valide: on sait pas ce qu’on a mesuré

Learning evaluation

Questionnaire d’évaluation

Evaluation du module par les étudiants

Conclusions La possibilité d’apprendre au moment ou ils le désire est appréciée par certains étudiants Trop peu d’étudiant on participé au forum Le changement de pédagogie sans raison explicite a brusqué les étudiants. Les étudiants ont peur de perdre le contact avec le professeur

Lesson learned The module must be improved: –Putting more emphasis on the responsibility of the student for answering the quiz –Abandon auto-learning strategy (course companion) –Improve exercise correction (more comprehensive) –Improve animation use (introduction, explanation) –Up-to-date animation of the forum (answer delay, proactivity) –Improve the tutoring –Improve the motivation with a problem resolution approach –Tune up and validate the content with the previous knowledge of the students