Etape « 6. Correction et discussion »

Slides:



Advertisements
Présentations similaires
Analyse d’items Ensemble de procédés statistiques dont le but est d ’évaluer la qualité d’un instrument de mesure et des items qui le composent. Ensemble.
Advertisements

Le Centre international détudes pédagogiques CIEP Ministère de lEducation nationale Quand les psychométriciens sen mêlent… Patrick Riba.
27 mars 2013Jacques PERRIN BTS CONCEPTION ET REALISATION DE CARROSSERIES Méthodes dévaluation et de certification Paris FFC.
NOUVEAUX PROGRAMMES DE CAP FRANCAIS HISTOIRE ET GEOGRAPHIE C C F.
L’utilisation des Normes ISO 9001 et ISO 9004 dans la démarche qualité
Laboratoire Inter-universitaire de Psychologie Cours 6
1 Introduction : Quelles méthodes & techniques de collectes de données ? => Construction méthodologique à partir dinstruments empruntés à divers domaines.
Modélisation des systèmes non linéaires par des SIFs
Le modèle de lenseignement explicite Une piste pour lintégration des technologies à lenseignement et à lapprentissage.
Présentation d'un outil logiciel pour soutenir la détection des tentatives de fraudes lors de l'évaluation des apprentissages Sébastien Béland (UQAM) Gilles.
Expériences contrôlées Quasi-expériences Études de cas
Le projet de plate-forme électronique de construction et de gestion qualité de tests standardisés Cette recherche est : commanditée par la Direction Générale.
Sommaire Généralités Types de tests Qualités des tests
Les types d’évaluation pédagogique dans un système d’enseignement/apprentissage La littérature foisonne de typologie d’évaluation dans un système d’enseignement/apprentissage.
Le Croisic 19 mai 2011 Le Croisic 19 mai 2011 Angélique Rambaud
Objectifs du chapitre 8: Mesures verbales en psychologie
Formation CGQTS © – Système Méthodologique dAide à la Réalisation de Tests © – Université de Liège – pour lIFA, Janvier 2005 Interprétation des rpbis à
Recherche d’un thème de projet Identification d’un besoin
Plans à groupes indépendants: organisation
ACTIVITES MENTALES AU COLLEGE
Régression linéaire simple
Colloque ADMEE 2005 – Le concept de cohérence spectrale appliqué à lanalyse ditems de tests standardisés – Jean-Luc Gilles1 Colloque ADMEE 2005 Le concept.
Analyse d'un dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après.
Janvier 2012 Les nouvelles épreuves de Sciences économiques et sociales au baccalauréat.
DISPOSITIF DÉVALUATION diagnostique de la maîtrise de la langue et des mathématiques CM2 Version 2007.
Séminaire international du CUD 5 septembre 2001 Gestion qualité des tests pédagogiques standardisés dans lenseignement supérieur Jean-Luc Gilles
SEMAINE DE LA RECHERCHE
Introduction à la recherche en science politique
La méthodologie expérimentale Fondements et bases d’application
Approche qualité & critères de qualité des évaluations des apprentissages – Jean-Luc Gilles – Séminaire TECFA 22 mars Fondements dune approche qualité.
Établissement d'une mesure d'efficience pour un fonds en capital de risque, spécialisé en développement local. Groupe de recherche en capital de risque.
La détection des patrons de réponse inappropriés dans le contexte des tests adaptatifs par ordinateur Gilles Raîche, UQAM Jean-Guy Blais, Université de.
Lévaluation des apprentissages FPE 7550 Andrée Cantin Leçon 2 15 septembre 2004.
La méthodologie expérimentale Fondements et bases d’application
La méthodologie expérimentale Fondements et bases d’application
EVALUATION DE LA DOULEUR AIGUE
Expériences contrôlées Rappel du cours d’IHM
La théorie classique des tests
Le comportement des coûts Chapitre 3
Objectifs Chapitre 8: Mesure en psychologie
Objectifs du chap. 5: Plans de recherche classiques Savoir identifier et distinguer les modes de comparaison des mesures Savoir identifier et distinguer.
Les analyses multivariées
Objectifs du chap. 5: Plans de recherche classiques
Objectifs du chap. 5: Plans de recherche classiques Savoir identifier et distinguer les modes de comparaison des mesures Savoir identifier et distinguer.
CDS - 2 mars 2006 Améliorer la maîtrise du français des étudiants de 1er bac. en médecine et dentisterie dans le cadre du MIT.
CDS - 9 février 2011 Améliorer la maîtrise du français des étudiants de 1er bac. en médecine et dentisterie dans le cadre du MIT.
UNE CARRIERE AU SEIN DU POUVOIR JUDICIAIRE Examen daptitude professionnelle HOGE RAAD VOOR DE JUSTITIE | CONSEIL SUPÉRIEUR DE LA JUSTICE.
Modélisations et applications de la théorie de la réponse à l’item
Objectifs du chapitre 4: Mesures verbales en psychologie
Epreuve d’évaluation des compétences expérimentales.
EAF : Evaluation de l’épreuve orale
GTS813: cours #6 Évaluation d’une mesure (Validité, Répétabilité, Fiabilité, précision) Activité. Études de cas #2: Qui pose la question? La question est-elle.
 BERGOT Guillaume HAVEZ Maxime. Présentation Problématique Endogène Exogènes Résultats Bilan  Présentation du contexte  Problématique  Mise en place.
Méthodes de Biostatistique Chapitre 9 Tests Nonparamétriques.
CDS - 8 février 2007 Améliorer la maîtrise du français des étudiants de 1er bac. en médecine et dentisterie dans le cadre du MIT.
 BERGOT Guillaume HAVEZ Maxime. Présentation Problématique Endogène Exogènes Résultats Bilan  Présentation du contexte  Problématique  Mise en place.
Question 1 Il est vain de vouloir éviter toute subjectivité lors de l’évaluation. Il faut plutôt en avoir pleinement conscience et mettre en place les.
Études de Marché MBA Mars 2005 La recherche par sondage.
Études de Marché MBA Hivers 2006 La recherche par sondage.
Études de Marché Dess communication de masse
Régression linéaire (STT-2400)
L2S4M3 Méthode clinique 1 : Examen psychologique et tests CM N°2
Validation d’une méthode d’analyse
Examen psychologique de l‘adulte et du sujet âgé Examen psychologique de l‘adulte et du sujet âgé UPJV Département de Psychologie Cours du 6 novembre 2013.
Evaluer 1. Objectif(s) (pourquoi évaluer ?) 2. Objet (évaluer quoi ?) 3. Procédure (comment évaluer ?) 4. Exemples L. Heurley Formation DCE / SUP – 4 mars.
Utilisation du logiciel EduStat © Analyse classique d’items Compilations.
Impact sur la puissance statistique de la binarisation d’un critère de jugement continu dans un essai randomisé en clusters Agnès Caille, Clémence Leyrat,
Chapitre 12 Des modeles corrélationnelles. A la fin de ce chapitre on sera capable de:  definir le but et l’utilisation des modeles correlationnelles.
Utilisation du logiciel EduStat © Analyse classique d’items L’examen du rapport.
Transcription de la présentation:

Etape « 6. Correction et discussion » (Gilles et Leclercq, 1995) Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Indices classiques d’analyse de la qualité des épreuves de facilité/difficulté Indices de fidélité Indices de discrimination Indices de validité Analyse du pouvoir discriminatif d’une question dans le cadre : Coefficient de bipartition (avec correction de Spearman-Brown) Notamment, en validation concomitante et en validation prédictive Approche théorique basée sur les « experts » Approche Expérimentale basée sur les « résultats » Coefficient de bipartition de Guttman d’une mesure critériée d’une mesure de la cohérence interne Approche Introspective basée sur les « évalués » Coefficient alpha de Cronbach (avec calcul du nombre de questions parallèles à retrancher ou ajouter) Indices de discrimination « D » Coefficient de corrélation question-total Indices corrélationnels de discrimination Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

de facilité/difficulté Indices de facilité/difficulté Approche expérimentale basée sur les « résultats » Approche théorique basée sur les « experts » Approche Introspective basée sur les « évalués » Par exemple à l’aide des pourcentages de certitude… Le cas des tests de Compréhension de Texte de Vulgarisation Scientifique (CTVS) Facteurs qui peuvent influencer la facilité/difficulté : - le temps imparti ; - la part des réponses dues au hasard ; - le niveau de compétence des répondants et la position de l’épreuve dans le contexte d’apprentissage. Les classements a priori des Items… Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

A propos des tests de Compréhension d’un Texte de Vulgarisation Scientifique (CTVS) : (Gilles et Melon, 2000) Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Trois sources d’erreurs qui affectent la fidélité des mesures : Indices de fidélité Trois sources d’erreurs qui affectent la fidélité des mesures : - l’instrument ; - le contexte ; - l’individu. Procédures d’évaluation de la fidélité : - « test-retest »  coefficient de stabilité (r) …  effet d’apprentissage… - méthode des « formes parallèles » (r) …  garanties quant au total parallélisme ?  fluctuations dans les performances des évalués … - utiliser les informations obtenues en une seule passation  coef. de bipartition (r)  multiples combinaisons pour définir les moitiés de test  fidélité systématiquement sous-estimée … - examiner toutes les combinaisons possibles : alpha de Cronbach à partir de l’entièreté des questions du test Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Matrices « binaires » et « spectrales » des épreuves Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Indices de fidélité Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

Indices de discrimination Lorsqu’une des deux variable est métrique et que l’autre est dichotomique : l’indice de corrélation point bisériale (rpbis) Indice de sensibilité à l’enseignement (Cox et Vargas, 1966) Indice de sensibilité relative (Mac Guigan, 1967) CERT Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)

CERT Construction d'épreuves standardisées et d'épreuves - Jean-Luc Gilles (2005)