Praxiling – UMR Université de Montpellier 3 - CNRS Sciences du langage. Moujahed AL SABRI NEDEP juin 2009 Evaluation d’un support numérique d’apprentissage grammatical

Plan du travail  Problématique : questions et hypothèses  Etat de l’art  Méthodes d’évaluation d’un site web  Méthode heuristique  Modèle d’évaluation automatique  Modèle sur critères d’évaluation  Méthode empirique (test-utilisateur)  Objectifs  Corpus d’analyse (site de grammaire)  Modèle proposé pour l’évaluation d’un site de grammaire  Résultats  Conclusion  Problématique : questions et hypothèses  Etat de l’art  Méthodes d’évaluation d’un site web  Méthode heuristique  Modèle d’évaluation automatique  Modèle sur critères d’évaluation  Méthode empirique (test-utilisateur)  Objectifs  Corpus d’analyse (site de grammaire)  Modèle proposé pour l’évaluation d’un site de grammaire  Résultats  Conclusion

Problématique : questions et hypothèses QuestionsHypothèses  Quelle est la bonne méthode d’évaluation ?  Qui est censé évaluer un site de grammaire ?  Personnalisation d’une grille d’analyse  Une méthode mixte d’évaluation (critères + test-utilisateur)  Le rôle déterminant de l’enseignant dans l’évaluation grammaticale sur Internet Problématique : pourquoi et comment évaluer un site de grammaire ?

Etat de l’art : Méthodes d’évaluation d’un site web 1. Méthode heuristique 1.1. Modèle d’évaluation automatique  Exemple: Modèle sur critères d’évaluation  Critères d’évaluation (Tomé 2000) 1. Description/contenu 2. Navigation et chargement 3. Public visé 4. Niveau de langue 5. Actualisation 6. Langue oral 7. Activités 8. Autoévaluation 9. Organisation des composants 10. Outils complémentaires

Etat de l’art : Méthodes d’évaluation d’un site web Bastien, Leulier, L Scapin et Rocquencourt estiment que « tous les aspects de la qualité ergonomique des sites web ne sont donc pas évalués par ces outils. Ces derniers demeurent néanmoins des aides non négligeables. Comme pour les autres méthodes ou techniques d’évaluation, l’évaluation automatique ne saurait se passer de tests d’utilisation. » (nd. 195) Ten usability heuristics of Nielsen : 1. Visibility of system status. 2. Match between system and the real world. 3. User control and freedom. 4. Consistency and standards. 5. Error prevention. 6. Recognition rather than recall. 7. Flexibility and efficiency of use. 8. Aesthetic and minimalist design.9. Help users recognize, diagnose, and recover from errors. 10. Help and documentation 2. Méthode empirique (test-utilisateur)  Critères d’évaluation (Perrot 2001) (1. Présentation 2. Analyse de l’interface 3. Analyse pédagogique)  Critères d’évaluation (Université de León 2003) (1. Auteur 2. Contenu 3. Intérêt pédagogique) ( Logiciels d’enregistrement: CamStudio ou Camtasia )

Objectifs  Evaluer le site de grammaire avant d’être intégré dans l’enseignement ou dans l’apprentissage.  Parvenir à une méthode d’évaluation cernant tous les aspects de l’objet à évaluer.  Aider le public intéressé à s’orienter vers les sites de qualité.

Corpus d’analyse (site de grammaire)  Grammaire Interactive du français (Reverso) URL:

Modèle proposé pour l’évaluation d’un site de grammaire 1. Fiche analytique du site - Informations sur l’identité - Caractéristiques générales du site (description, objectifs et public visé… Perrot 2001) - Type d’approche et présentation grammaticale - Scénario pédagogique (Charnet 2002) 2. Ergonomie du site - Interface - Navigation et parcours pédagogique - Guidage fonctionnel - Guidage pédagogique -Type d’exercices et gestion des erreurs 3. Test d’utilisabilité - Navigation et apports pédagogiques - Résultats d’acceptabilité 4. Outils complémentaires (Tomé 2000) 5. Synthèses et utilisations envisageables

Résultats 1.Pas d’informations sur (spécialités des auteurs, objectifs et public visé); grammaire traditionnelle, grammaire explicitée; Scénario pédagogique pauvre 1.Navigation libre et facile - Manque d’activités (nombre limité d’exercices) 3. Test d’utilisateur (trop de publicité animée, Réticence d’accepatabilité) 4. Outils complémentaires (moteur interne + outils d’aides ex. traduction, dictionnaire, glossaire) 5. Site de savoirs ( intéressant seulement pour un public désirant approfondir ses connaissances grammaticales et avoir des réponses à des questions précises)

Conclusion La généralisation d’une grille d’analyse ne peut pas s’appliquer dans tous les domaines, que sa personnalisation est nécessaire non pas seulement pour contextualiser les critères d’évaluation mais aussi pour atteindre facilement et d’une façon plus ciblée les objectifs de cette étude évaluative. Complémentarité entre les deux méthodes heuristique et empirique L’identité du site et les objectifs égalent crédibilité et confiance

Merci de votre attention