Présentation d'un outil logiciel pour soutenir la détection des tentatives de fraudes lors de l'évaluation des apprentissages Sébastien Béland (UQAM) Gilles Raîche (UQAM) David Magis (U. Liège) Martin Lesage (UQAM) ADMÉE Canada Jeudi 26 novembre 2009

Plan 1. Mise en contexte. 2. Classification des indices. 2.1 Indices non-paramétriques. 2.2 Indices paramétriques. 3. Le programme personFitR. 4. Un exemple dapplication. 5. Discussion.

1. Mise en contexte 75% des étudiants américains ont déjà triché (Hutton, 2006). 78% des enseignants au collégial croient que leurs étudiants ne répondent pas correctement aux tests (Laurier, Froio, Pearo et Fournier, 1998).

1. Que peut-on faire pour prévenir ce type de comportement/stratégie? Avoir plusieurs surveillants au sein dune classe. Avoir des locaux bien éclairés. Répéter le même item sous différentes formes afin de vérifier la consistance des réponses dun sujet. Etc.

1. Indices de détection de patrons de réponses inappropriés Indice de détection {0,0,1,1,1,0,0,1,1} Résultat du calcul

2. Classification des indices Selon Meijer et Sijtsma (2001) et Karabatsos (2003), il existe 2 grandes catégories dindices: Indices paramétriques (découlant de la théorie de la réponse aux items). Indices non-paramétriques (ne découlant pas de la théorie de la réponse aux items).

G=Σ0(1-0)+1(1-0)+1(1-0) 2.1 Indices non-paramétriques: un exemple 2 erreurs de Guttman Patron de réponses ordonné dun sujet = {001} Guttman (1944, 1950)

2.2 Indices paramétriques Où θ est un paramètre dhabileté de la personne a i un paramètre de discrimination de litem b i un paramètre de difficulté de litem c i un paramètre de pseudo-chance de litem Cette catégorie dindices est basée sur la probabilité de bonne réponse dun étudiant à un item.

2.2 Indices paramétriques: un exemple Levine et Rubin (1979) Drasgow, Levine et Williams (1985)

3. Malheureusement, il existe peu de logiciels qui intègrent ce genre dindices WPerfit (Ferrando et Lorenzo, 2000) Lz, ECIz2 et ECIz4 Package ltm (Rizopouloz, 2009) Lz Webdétecte (Raîche, 2005) Lz

3. personfitR: 27 indices Indices non-paramétriques Indices paramétriques GGuttman (1944, 1950)UWright et Stone (1979) G*Van Der Flier (1977)lnUWright (1980) NCITatsuoka et Tatsuoka (1982)ZUWright et Stone (1979) CSato (1975)WWright (1980) MCIHarnisch et Linn (1981)lnWWright (1980) rbisDonlon et Fischer (1968)ZUWright et Stone (1979) LoLevine et Rubin (1979) Lz Drasgow, Levine et Williams (1985) M Molenaar et Hoijtink (1990) ECITatsuoka (1984) ZetaTatsuoka (1996) SfitFerrando (2004) Cfit et Dfit Blais, Raîche et Magis (2009)

3. personFitR: commentaires préliminaires Le programme utilise uniquement des matrices de données dichotomiques. Le traitement des données manquantes doit se faire a priori. Il est possible dutiliser les modèles logistiques 1PL, 2PL et 3PL dans le cas des indices paramétriques.

3. Structure théorique de personfitR Fonction perfitFull Indice… Fonction perfit Indice…

perfitFull( index=Lz, data, subject=1:nrow(daa), it=NULL, model= 1PL, method=ML ) 3. personFitR: la commande principale

perfitFull( index=Lz, data, subject=1:nrow(data), it=NULL, model=1PL, method=ML ) index Choix de un ou plusieurs indice(s).

3. personFitR: la commande principale perfitFull( index="Lz", data, subject=1:nrow(data), it=NULL, model="1PL", method="ML ) data Nom de la matrice à analyser.

3. personFitR: la commande principale perfitFull( index=Lz, data, subject=1:nrow(data), it=NULL, model=1PL, method=ML ) subject Possibilité dobtenir le score de lindice pour un ou plusieurs sujets particuliers. Il est à noter que les sujets sont tous sélectionnés par défaut.

3. personFitR: la commande principale perfitFull( index="Lz", data, subject=1:nrow(data), it=NULL, model="1PL", method="ML ) It=NULL Cet argument est la matrice des paramètres ditems. Dans le cadre de personFitR, nous faisons un appel au programme-logiciel difR pour faire lestimation. Ici, on peut lestimer les items (par défaut).

3. personFitR: la commande principale perfitFull( index="Lz", data, subject=1:nrow(data), it=NULL, model="1PL", method="ML ) model="1PL", Lutilisateur peut sélectionner le modèle 1PL, 2PL ou 3PL.

3. personFitR: la commande principale perfitFull( index=Lz, data, subject=1:nrow(data), it=NULL, model=1PL", method=ML ) method="ML Lutilisateur doit sélectionner une méthode destimation de lhabileté suivante: ML, MAP et WLE.

4. Un exemple Données Test de classement en anglais-langue seconde passé à 1373 étudiants du Collège de lOutaouais (1998). 85 items divisés en 8 sous-tests.

4. Un exemple: Lo Statslz <- perfitFull(index="Lo",x, model=2PL",method="MAP")

5. Discussion Extensions futures Implémentation de Lz* (Snijders, 2001). Possibilité dutiliser le 4PL. Possibilité de fixer la valeur de la pseudo- chance. Ajout dautres indices.

Merci de votre attention!!!