Professeur émérite de l’Université Grenoble 2 LES COMPETENCES: défi stimulant ou contrainte superfétatoire pour l’évaluation scolaire? Charles Hadji Professeur émérite de l’Université Grenoble 2 CRDP Grenoble (07/12/2011)

AVANT PROPOS Le vent de l’évaluation souffle fort et partout: une activité sociale omniprésente, à laquelle rien ne semble pouvoir échapper Une activité de base dans l’agir humain sous 3 formes (cf. J.M. Barbier, 1985): Implicite (ni instrumentée, ni formulée) Spontanée (formulée, sans instrumentation) Instituée (explicite: formulée et instrumentée) 3. Mais une activité sujette à toutes les dérives, et qui peut même rendre fou.

Les 3 questions auxquelles nous allons tenter de répondre Question 1: que signifie évaluer? Question 2: à quoi sert-il d’évaluer, Question 3: évaluer des compétences: défi stimulant, ou contrainte superfétatoire?

Point 1: évaluer, qu’est-ce à dire? De quoi parle-t-on quand on parle d’évaluation?

1.1. Une première ambiguïté fondamentale: le même terme désigne 2 projets différents: Projet 1: estimer l’importance (l’ampleur) d’un phénomène  évaluation estimative, « par défaut de mesure »: centrée sur l’appréciation de la grandeur d’un phénomène, et n’ayant pas pour fin la production d’un jugement de valeur Projet 2: débattre de la valeur d’une réalité  évaluation appréciative: centrée sur l’appréciation de la qualité d’une réalité, et ayant pour fin la production d’un jugement de valeur.

Exemples 1: évaluation estimative: -évaluer les dégâts occasionnés par le tremblement de terre -évaluer la menace de paludisme -évaluer la dette du pays -évaluer le prix d’un appartement -évaluer les inégalités socio-économiques -évaluer le chômage, la pauvreté, la fraude fiscale…. 2: évaluation appréciative: -évaluer la « performance » des dirigeants d’entreprise -évaluer la « performance » d’un service -évaluer la politique de lutte contre la pauvreté -évaluer la qualité de l’enseignement universitaire -évaluer un ministre

En conséquence: 2 projets dont aucun ne peut ignorer totalement l’autre Appréciation de la valeur d’une réalité Estimation de l’ampleur d’un phénomène EVALUATION

SI BIEN QUE: Il y a toujours une part d’estimation, voire de mesure, dans l’évaluation appréciative: le jugement se fonde sur un constat qu’il intègre L’estimation court toujours le risque de la valorisation subreptice et indue : présence de valeurs sous-jacentes à la mise en place d’un indicateur (ex: nombre d’actes, taux de mortalité pour un hôpital); choix orienté des seuils et des limites de catégories (ex: le seuil de pauvreté). De par son étymologie, le terme d’évaluation devrait être réservé à l’évaluation appréciative

1.2.L’évaluation (appréciative) comme production d’un jugement d’acceptabilité… Evaluer, c’est dire dans quelle mesure une réalité donnée peut être jugée acceptable par référence à des attentes.

L’évaluation dans le champ éducatif: une appréciation du « SFR » Evaluer, c’est apprécier la qualité d’une action éducative, dans l’axe d’une question générale: quel est le « service formatif rendu »? Plus spécifiquement, s’agissant d’un élève, c’est apprécier la qualité d’un comportement scolaire manifeste: « CSM »

L’acceptabilité de l’action est alors appréciée par référence au « SFA », i.e. au « service formatif attendu » Ou, s’agissant d’un élève, par référence au « CSA », i.e. au comportement scolaire attendu

Evaluer un élève, c’est donc dire si son CSM (comportement scolaire manifeste) est « acceptable » par référence au CSA (comportement scolaire attendu).  le CSM est-il à la hauteur du CSA?

Evaluer revient à lire la réalité à travers une grille Référent (=portrait idéal) Référé (individu concret saisi à Travers quelques signes) Critères du « bon » enseignant (enseignant modèle) Indicateurs de correspondance au « modèle » (chez l’enseignant réel) Jamais de retards, pas d’absences Injustifiées Fort taux de réussite des élèves Pas de bruit dans la classe, est écouté par les collègues PONCTUALITE/ASSIDITE ACTIVITE/EFFICACITE AUTORITE/RAYONNEMENT

Pour produire un énoncé évaluatif, il faut donc savoir: Ce que l’estime être légitimement en droit d’attendre de la réalité évaluée  définition nécessaire des modèles, cibles ou objectifs (qui permettront de spécifier des CRITERES) Dans quelle mesure la réalité évaluée est en adéquation avec ce que l’on attend d’elle  identification nécessaire d’éléments significatifs (qui joueront le rôle d’INDICATEURS)

13. Concrètement, dans l’évaluation des élèves: cela exige la réalisation correcte de:  2 tâches en amont: Spécifier l’objet de l’évaluation Choisir le « déclencheur »  2 Tâches en aval: Sélectionner et prélever l’information adéquate Traiter et interpréter cette information

Tâche « amont » n° 1: spécification de l’objet d’évaluation En réponse à la question: « à quoi convient-il de s’intéresser? » Préciser ce qu’il faudra pouvoir observer (en termes de: savoir; savoir-faire; capacité; compétence; attitude; savoir-être). Ce qui implique une nécessité: « traduire » les programmes en termes de comportements intellectuels et/ou moteurs - exemples: 1) Communiquer oralement (capacité) 2) Maîtriser la technique de la lecture(compétence) 3) Réaliser un montage technique (savoir-faire) 4) Produire un texte cohérent (compétence)

Tâche « amont » n° 2: choisir un « déclencheur » adéquat En réponse à la question: « comment faire émerger l’objet à évaluer? » Choisir la situation (exercice, tâche…) qui donnera des chances de faire « apparaître » (se manifester ») l’objet à évaluer. exemples: 1) parler seul pour raconter un événement 2) lire un texte court en respectant et restituant la ponctuation 3) rappeler sans documents un schéma de montage 4) savoir faire une entrée en matière

Deux observations sur cette tâche n° 2: 1) Ce sont bien les OBJECTIFS D’ENSEIGNEMENT qui déterminent les OBJETS D’EVALUATION et par suite conditionnent le choix des « EXERCICES » 2) Les tâches sont des déclencheurs préférables à de simples exercices

Tâche « aval » n° 1: prélever les informations utiles, car éclairantes. En réponse à la question: « quelles questions convient-il de « poser » à l’objet évalué? » Définir le type et le niveau d’information à prélever sur l’objet ou le comportement produit

Le problème est de savoir à quoi être attentif Que faut-il regarder? Quelle(s) information(s) prélever? exemple 1: pour une « dissertation » d’histoire: -Y-a-t-il une introduction qui définit et délimite le sujet? -Le plan est-il nettement visible? -L’essentiel est-il mis en valeur? -Le développement est-il ordonné? -La conclusion répond-elle à la problématique du sujet?

Exemple 2: pour la présentation, à l’oral, d’un texte choisi par l’élève Le texte représente-t-il, dans l’œuvre de l’auteur, un passage réellement significatif? L’élève en a-t-il présenté la structure? A-t-il explicité les raisons objectives et subjectives de son choix? A-t-il cité d’autres auteurs?

La difficulté essentielle de cette tâche L’analyse de l’ « objet » à évaluer doit partir d’observables, et travailler avec, alors que ce dont on veut « vérifier » la présence ( savoir, capacité, compétence, etc.) n’est pas directement observable.

Tâche « aval » n° 2: traiter et interpréter l’information prélevée Remarque 1: il faudrait, pour cela, disposer d’un cadre de référence adéquat (modèle de fonctionnement cognitif, théorie de l’apprentissage et du développement) A défaut de tels modèles, peuvent être très utiles: Des listes de procédures habituelles Des typologies d’erreurs

Ne pas oublier, enfin, que 1) Le diagnostic que rend possible l’évaluation a pour fonction et pour sens de préparer une « remédiation » (dans une problématique d’ajustement pédagogique) 2) Le jugement d’acceptabilité doit être formulé de façon claire à l’élève  de ce point de vue, une note court le risque d’être toujours ambiguë

La note est « une appréciation synthétique traduisant l’évaluation d’une performance » (De Landsheere, 1976) SCORE ATTENTES------------ JUGEMENT D’ACCEPTABILITE NOTE

Point 2: évaluer, à quoi ça sert?  le problème des USAGES de l’évaluation: Des FONCTIONS et des FINALITES multiples, qui peuvent être abordées de 3 points de vue: Celui du moment d’évaluation dans l’activité didactique Celui de l’usage précis dans le cadre didactique Celui de la valeur sociale ou éthique du projet dans lequel l’évaluation s’intègre.

Evaluer, c’est tenter de se rendre utile Utile à quoi? Cela soulève la question des fonctions de l’évaluation Utile à qui?  Cela soulève la question des publics ou des destinataires prioritaires

Les usages de l’évaluation: 1: du point de vue de l’articulation évaluation/formation Avant (l’action de formation) Pendant Après Evaluation diagnostique (pronostique, prédictive) Evaluation formative Evaluation sommative (terminale) Apprécier les pré-requis Faciliter les apprentissages Vérifier et attester

REGULATION Processus de « formation » ORIENTATION Conditions de la « formation » CERTIFICATION (résultat de la « formation » Etayer des déci- sions d’orientation Mettre en adéqua- tion sujets/filières Eclairer et fonder des décisions « pédagogiques » Vérifier et attester la réalité des compétences visées OBJECTIFS (pour quoi évaluer?) OBJETS (quoi évaluer?) Stratégies et difficultés d’apprentissage Compétences Savoir faire significatifs Pré-recquis (motivations, aptitudes) TYPES D’EPREUVES Épreuves standardisées (normatives) (classantes) Épreuves Critériées (par référence à Des « cibles ») Tâches globales et socialement significatives Instruments appropriés Tests d’aptitudes ou de connais- Sances Épreuves prédictives Confrontation à un problème prototypique Épreuves individuel- les, cliniques sur mesure DES INTENTIONS AUX OUTILS

Les usages: 2 : les 6 formes de l’évaluation scolaire (1) Fonction Décision préparée Formative Éclairer le jeu pédagogique Pédagogique Diagnostique d’étape Eclairer le jeu institutionnel Passage à « l’échelon» supérieur Diagnostique de synthèse Eclairer le choix d’un parcours de qualification Orientation

L’évaluation formative, ayant pour fonction de faciliter les apprentissages, est au service de décisions pédagogiques L’évaluation diagnostique d’étape, ayant pour fonction de faciliter les décisions éducatives à l’intérieur d’un établissement, est au service de décisions de progression institutionnelle (passage ou non dans la classe ou le cours supérieur) L’évaluation diagnostique de synthèse, ayant pour fonction d’éclairer les acteurs du jeu social, prépare des décisions d’orientation

Que fait l’enseignant dans chacun de ces espaces? Dans l’évaluation formative, il régule les apprentissages en informant chacun sur ses acquis et ses difficultés (éva. Pédagogique) Dans l’évaluation diagnostique d’étape, il informe les acteurs du « jeu institutionnel » (élèves, cadres éducatifs, familles) sur la valeur scolaire d’étape de chaque élève (éva. Institutionnelle) Dans l’évaluation diagnostique de synthèse, il éclaire les acteurs du « jeu social »(familles, futurs éducateurs, monde socio-économique) des valeurs scolaires à la fin d’une étape significative, et se fait l’agent de l’orientation sélection (éva. Institutionnelle)

Les usages: 2 : les 6 formes de l’évaluation scolaire (2) Fonction Décision préparée Sommative Certificative Vérifier et attester socialement Validation d’acquis Normative de groupe Etablir des niveaux de groupes Ajustement curriculaire « Externe » Eclairer le jeu Socio-politique Régulation du système

L’évaluation sommative/certificative, qui a pour fonction d’éclairer les acteurs du jeu socio/économique, prépare des décisions de validation d’acquis L’évaluation normative de groupe, qui a pour fonction de donner des repères collectifs de niveau (au moyen d’épreuves transversales communes), éclaire et prépare des choix curriculaires Enfin, l’évaluation externe, qui a pour fonction d’informer l’ensemble des citoyens sur l’état du système scolaire, prépare des décisions (politiques) de régulation du système.

Que fait l’enseignant? Dans l’évaluation sommative/certificative (quand il y participe!) il atteste , et valide des acquis qu’il contribue à rendre visibles socialement (éva. Institutionnelle) Dans l’évaluation « normative de groupe » (quand sa classe est touchée par des épreuves communes), il participe à l’effort public d’information sur les niveaux (éva. Institutionnelle) Dans l’évaluation externe, il participe à l’effort d’information citoyenne sur la réalisation des objectifs nationaux ou internationaux (ex.: enquête PISA) (éva. Institutionnelle)

Conclusions sur l’analyse des formes: Évaluation pédagogique et évaluation institutionnelle correspondent à 2 « pôles » de l’activité évaluative Du point de vue quantitatif (nombre de formes ), l'évaluation institutionnelle domine: elle « sature » 5 formes sur 6 Les évaluations n’informent pas les mêmes personnes, de la même façon, sur les mêmes sujets Dans l’évaluation institutionnelle, l’élève est soit un sujet passif (formes 2,3 et 4), soit un sujet anonyme (formes 5 et 6) Dans l’évaluation pédagogique, l’élève est une personne, sujet actif, car acteur de ses apprentissages Une forme est prioritaire pour l’enseignant en tant que tel, l’évaluation « formative », noyau dur d’une évaluation pédagogique

Les usages: 3 Les usages sociaux de l’évaluation Selon Vial (2001): 2 grands usages A quoi ça sert? Au service de qui? Fonction bilan Voir pour rendre des comptes D’un responsable, qui va juger Fonction accompagnement Etre à l’écoute pour promouvoir Du public concerné, qui sera éclairé

Point 3: évaluer des compétences: défi stimulant Point 3: évaluer des compétences: défi stimulant? 31: que faut-il entendre par « compétence »? 32: quels problèmes pose alors l’évaluation des compétences? 33: comment ne pas s’y perdre?

31 Que faut-il entendre par « compétence »? 31. 1 Définition 31.2 Exemples 31.3 Vers une échelle hiérarchique d’objectifs d’apprentissage 31.4 Intérêt(s) de la notion de compétence

31.1 Définition(s) « On parle de compétence lorsqu’un individu mobilise, cad utilise à bon escient, ses savoirs et ses savoir-faire dans des situations variées » (Scallon, 2007, p. 11) « … un savoir agir fondé sur la mobilisation et l’utilisation efficaces d’un ensemble de ressources » (Gouvernement du Québec, cité par Scallon, 2007, p. 105) « … la possibilité, pour un individu, de mobiliser de manière intériorisée un ensemble intégré de ressources en vue de résoudre une famille de situations-problèmes » (Roegiers, cité par Scallon, id.) « … un réseau intégré et fonctionnel constitué de composantes cognitives, affectives, sociales, sensorimotrices, susceptibles d’être mobilisé en actions finalisées face à une famille de situations » (Linda Allal, 2002, p. 81).

Deux idées-clés INTEGRATION: intégration de connaissances, savoir-faire, savoir-être ou attitudes dans un savoir agir en situation pour lequel ce qui est intégré joue le rôle de ressource MOBILISATION de ces ressources dans des situations ou face à des tâches de même famille (« la capacité à mobiliser des ressources … correspond à la définition même d’une compétence », Scallon, 2007, p. 119).

Exemples Jouer du saxophone (ressources: connaissance du solfège, maîtrise des gammes, du doigté…) Parler dans sa langue maternelle (ressources: vocabulaire, syntaxe, règles de conjugaison…) Lire des textes variés (Québec, Programme de formation de l’école québécoise) Explorer le monde de la science et de la technologie (Québec) Inventer des séquences dramatiques (Québec) S’ouvrir à la diversité des sociétés (Québec) Lire, dans une perspective de communication, les informations présentes dans le matériel scolaire (ex. consignes) et les ouvrages destinés aux enfants de 6 à 8 ans (deuxième primaire suisse) Participer activement à des jeux en petits groupes traitant des contenus logico-mathématiques à la portée d’enfants de 6 à 8 ans) (id.)

31.3 Vers une hiérarchie des objectifs d’apprentissage? SAVOIRS SAVOIR-FAIRE Ce qui est demandé à l’élève Restituer des réponses apprises (= savoir redire) Appliquer/utiliser ses ressources Type de situation d’évaluation Situation de connaissance (il suffit de répéter ou reproduire une réponse mémorisée) (ex. Citer des dates; réciter des règles, ou des formules) Situation qui exige la production d’une réponse (ex: dans l’écriture d’un texte, accorder le participe passé avec l’auxiliaire avoir).

Vers une hiérarchie (suite) Objectifs d’apprentissage STRATEGIES (= ensemble de procédures utilisées pour atteindre un but) COMPETENCES Ce qui est demandé à l’élève Choisir une stratégie adéquate parmi d’autres possibles Mobiliser des systèmes fonctionnels de ressources Type de situation d’évaluation Situations de verbalisation (dire à voix haute comment on procède ) Liste de vérification « processus », visant l’aspect « comment l’élève s’y est pris pour… » Situation exigeant une « habileté supérieure » Une production attendue Réaliste (authentique) Exigeant la mobilisation de plusieurs ressources …bien précises Pas de solution évidente (problème « mal défini »; données insuffisantes, ou superflues) Dans un contexte d’autonomie (relative)

31.4 Intérêt(s) de la notion de compétence Évite de se noyer dans le détail et dans le formel Délivre de la fascination par, et focalisation sur, les savoirs Met l’accent sur ce que les élèves peuvent et savent faire Permet de s’approcher de situations « authentiques », = à valeur significative Contraint à articuler apprentissage et évaluation (à « arrimer » une perspective à l’autre)

32 Quels problèmes soulève alors l’évaluation des compétences? Problème 1: trouver des situations exigeant précisément les compétences visées. « Il s’agit d’évaluer une compétence de l’apprenant dans une situation qui exige la mobilisation de cette compétence » (Allal, 2002, p. 90) Mais: la mobilisation ne se décrète pas!

Problème 2: trouver des situations fournissant des « indices-clés » Comment faire? Il faut savoir quelles sont les ressources mobilisables, et pour cela faire la « cartographie » de la compétence (divers aspects, diverses composantes, et ressources en cause) (ex. Scallon, 2007, p. 222; Allal, 2002, p. 80). Il faut trouver des « descripteurs » centrés sur les principales composantes, qui vont servir à constituer des échelles.

Problème 3: évaluer la capacité à produire, le pouvoir de « faire face à », plutôt que le produit « Ce n’est pas tant la qualité de la production réalisée qui doit retenir l’attention que l’utilisation par l’élève de ses savoirs et de ses savoir-faire, enrichie par des aspects relevant de ses savoir-être » (Scallon, 2007, p. 188)

Pble 4: identifier des familles de situations Or: Cela impose des contraintes de temps et de ressources (faisabilité?) Il faudrait pouvoir proposer, pour chaque type de situation, des thèmes variés (représentativité de la performance?) Il faudrait vérifier l’équivalence des situations (généralisabilité des conclusions?)

Pble 5: construire des échelles adéquates avec repères de niveau La construction d’échelles d’appréciation repose sur: L’identification de « critères ou dimensions qualitatives de la performance à évaluer » (caractéristiques pouvant prendre différentes valeurs). La distinction pour chacune de « degrés de qualité perçue du produit » ou processus à évaluer, qui serviront de repères de niveau (benchmarks).

Les échelles pourront être uniformes ou descriptives Les échelles pourront être uniformes ou descriptives. Seules ces dernières sont vraiment informatives. Échelles uniformes: un peu, beaucoup, passionnément Echelles descriptives: présentent des caractéristiques précises et observables, sur un axe polarisé.

33 Comment ne pas s’y perdre? 33.1: en se donnant pour règle de construire des échelles d’évaluation descriptives: l’exemple du « socle commun ». Mais: Il y a encore beaucoup de travail à faire Ce travail pouvant/devant être fait en équipe Il faudra traquer la redondance et aller à l’essentiel

33.2 Ce qui replonge dans la logique directrice d’une « saine » méthode: Préciser ses intentions (objectifs d’apprentissage) Identifier ou créer un « espace de prestation » … dont on opérera une lecture analytique, mettant en œuvre des échelles d’évaluation descriptives Afin de pouvoir formuler un « jugement d’acceptabilité » … puis d’ajuster son action

Conclusion C’est l’évaluation en elle-même qui constitue un défi stimulant! Il faut:  savoir s’organiser pour recueillir des « informations en retour » éclairantes  sans se laisser entraîner dans une double dérive: Dérive technocratique: crouler sous le poids des documents à renseigner et à rendre à des « autorités » Dérive idéologique: mettre l’opération d’évaluation au service d’intérêts partisans (en particulier les intérêts du marché)