Epreuves en CCF Evaluation par compétences Séminaire national BTS Maintenance des Systèmes – Lycée Raspail Paris 13 et 14 novembre 2014 Epreuves en CCF Evaluation par compétences Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Les épreuves en CCF E2 – Anglais : évaluation au niveau B2 des activités Coefficient 2 – 2 situations Compréhension de l’oral : Forme : Orale Durée : 30 minutes sans préparation Période : avant la fin de la seconde année de formation Expression orale et en interaction Durée : 30 minutes de préparation + 15 minutes face à l’examinateur Période : au cours du deuxième ou troisième trimestre de la seconde année Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Les épreuves en CCF E3 – Mathématique – Physique et chimie E31 – Mathématique - Sous épreuve Coefficient 2 2 situations d’évaluation de contenus et de capacités du programme de mathématique Première situation Forme: indéterminée mais feuille de copie exigée Durée : 55 minutes Période : avant la fin de la première année Deuxième situation Période : avant la fin de la seconde année Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Les épreuves en CCF E3 – Mathématique – Physique et chimie E32 – Physique et chimie - Sous épreuve Coefficient 2 2 situations d’évaluation contextualisées au sein d’un laboratoire Première situation sur les modules transversaux communs aux trois options Forme: à préciser Durée : 2 heures Période : premier semestre de la deuxième année de formation Seconde situation sur les modules spécifiques à chaque options Période : deuxième semestre de la deuxième année de formation Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Epreuves professionnelles en CCF E5 – Activités de maintenance Unité  Systèmes de production  Systèmes énergétiques et fluidiques Systèmes éoliens Sous-épreuve E51 : Maintenance corrective d’un bien U51 3 CCF 2 situations  2 1 situation 2 Sous-épreuve E52 : Organisation de la maintenance U52 Sous-épreuve E53 : Conduite d’une installation / Amélioration-intégration d’un bien U53 Remarque : Pas d’épreuve E53 pour les options SP SE – Cette épreuve valide les deux compétences suivantes pour l’option Systèmes énergétiques et fluidiques. Cette épreuve est une épreuve orale sur système; Elle se déroule au cours de la deuxième année de formation; L’équipe enseignante doit constituer un dossier pour chaque candidat; Les deux compétences visées sont : C 61 Assurer la mise en service et l’arrêt C 62 Réaliser la conduite Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Epreuves professionnelles en CCF Sous-épreuve E51 : Maintenance corrective d’un bien Intervention de maintenance corrective sur un système pluri technologique en panne pour valider les compétence suivantes : C11 Diagnostiquer les pannes C12 Réparer, dépanner et éventuellement remettre en service C15* Identifier les risques pour les personnes ou l’environnement, définir et respecter les mesures de prévention adaptées (Non évaluée pour l’option Syst. Éoliens) Sous-épreuve U51 en CCF pour l’option Systèmes de production - coefficient : 3 - Première situation d’évaluation en CCF : diagnostic, durée : 3 heures maximum ; - Deuxième situation d’évaluation en CCF : réparation ou dépannage, remise en service : durée : 3 heures maximum. La compétence C15 sera évaluée au cours des deux situations d’évaluation.   Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Epreuves professionnelles en CCF Sous épreuve E51 Pour l’option Systèmes énergétiques et fluidiques - coefficient : 2 Une situation d’évaluation en CCF : diagnostic, réparation, dépannage, remise en service : durée : 6 heures maximum. La compétence C15 sera évaluée au cours de la situation d’évaluation. Pour l’option  Systèmes éoliens - coefficient : 2 Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Epreuves professionnelles en CCF Sous épreuve E52 Remarque : Coefficient 2 pour les options Systèmes énergétiques et fluidiques et éoliens Coefficient 3 pour l’option systèmes de production E53 est une sous-épreuve écrite avec outil informatique à disposition. Elle permet de réaliser une étude de cas à partir d’un dossier technique présentant une problématique de maintenance. Cette épreuve permet de valider les compétence suivantes: C 21 Analyser la fiabilité, la maintenabilité et la sécurité C 31 Organiser la stratégie et la logistique de maintenance C 32 Préparer les interventions de maintenance corrective et préventive Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Sans organisation pédagogique … Les Principes du CCF L’enseignant forme et évalue ses propres élèves et étudiants ; L’enseignant définit la situation d’évaluation qu’il va retenir pour certifier ; L’évaluation fait partie de la formation et est donc à prévoir dans la progression pédagogique. Sans organisation pédagogique … PAS de CCF possible !... Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR Les Principes du CCF Le CCF constitue une évaluation certificative (et non pas formative) d’un niveau terminal, par sondage de compétences, au fur et à mesure que les formés atteignent le niveau requis ; L’évaluation CCF s’appuie sur la notion de situation d’évaluation (réalisation d’une activité faisant partie de la progression pédagogique dans un contexte donné). Le CCF n’est pas l’évaluation d’une compétence et encore moins d’une ou plusieurs connaissances prisent isolément. Les compétences sont évaluées une fois et une seule. Le CCF suppose une approche globale de l’évaluation. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR Les Principes du CCF Le CCF se distingue du contrôle continu par : une vérification de compétences terminales ; La notion de situations d'évaluations comme support de la certification. Le CCF se distingue de l'évaluation ponctuelle par : une évaluation conduite par le formateur ; une répartition dans le temps de formation. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Les situations d’évaluation Les situations d'évaluation sont : Des situations d’apprentissage réelles, simulées ou construites proposant à l’élève la réalisation d'une activité dans un contexte donné et qui permettent la vérification des compétences acquises. Elles sont définies à partir des éléments suivants : les compétences à évaluer ; les conditions de l’évaluation ; le support retenu, c’est à dire l’activité à réaliser et ses conditions de réalisation ; les critères et les indicateurs d’évaluation. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Construire un situation d’évaluation Repérer les tâches professionnelles correspondant à la situation d’évaluation concernée (définition des épreuves) ; Effectuer un choix d’activités caractéristiques (compatibles avec le processus de formation, au temps imparti, aux équipements et matériels disponibles) ; Identifier les compétences du référentiel associées aux compétences terminales à évaluer. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Construire un situation d’évaluation Contextualiser les données et les indicateurs de performance (voir indicateurs et niveaux d’exigence dans le référentiel) ; Choisir l’activité pédagogique (mise en situation) de la progression la plus proche de ce scénario ; Prévenir le ou les étudiants qui vont être évalués ce jour. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR La fiche d’évaluation Récapitule les caractéristiques de la situation d’évaluation ; Permet une correction harmonisée ; Mémorise les résultats de l’évaluation ; Sert de document d’appui au jury. L’ensemble des résultats obtenus par le candidat, lors des différentes évaluations, donne lieu à une proposition de note globale pour l’unité correspondante. Seul le jury final a compétence pour arrêter la note. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR L’harmonisation Le contrôle du CCF se fait à la fois au niveau de l’établissement (pour les élèves de l’établissement) et au niveau du jury (pour l’ensemble des candidats); En début de formation, l’inspecteur responsable de l ’examen statue sur le cadrage général du CCF et le communique à l’ensemble des acteurs concernés (méthodologie, activités, planification, fiches d’évaluation) Parallèlement, des instructions sont données aux auteurs des sujets pour que les épreuves ponctuelles (concernant les candidats libres) s’inscrivent dans le même cadrage. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR Recommandations veiller à l’organisation administrative du processus ; veiller à ne pas interrompre la formation ; intégrer le CCF dans le processus de formation ; ne pas rechercher l’exhaustivité dans la certification ; respecter les rythmes d’acquisition des compétences des élèves et les fourchettes de dates conforme au référentiel Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

L’évaluation par compétences « La compétence est la prise d’initiative et de responsabilité de l’individu sur des situations professionnelles auxquelles il est confronté ». Philippe ZANIFIAN Selon le CEREQ « Ensemble de savoirs, savoir-faire et savoir-être qui sont mobilisés dans l’exercice d’un emploi/métier, dans une situation donnée »; Selon l’AFNOR « Mise en œuvre, en situation professionnelle, de capacités qui permettent d’exercer convenablement une fonction ou une activité »; Selon le MEDEF « Combinaison de connaissances, savoir-faire, expériences et comportements, s’exerçant dans un contexte précis. Elle se constate lors de sa mise en œuvre en situation professionnelle à partir de laquelle elle est validable. C’est donc à l’entreprise qu’il appartient de la repérer, de l’évaluer, de la valider et de la faire évoluer ». Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

L’évaluation par compétences « Si l’école savait vraiment évaluer des connaissances utilisables hors de leur contexte d’acquisition, elle n’aurait aucune peine à évaluer des compétences ». Philippe PERRENOUD Le sociologue conclut: Ce n’est pas un problème nouveau, cela oblige à remettre sur le métier la question de l’évaluation des connaissances. Cela passe par une formation et une expertise plus pointues des enseignants/évaluateurs inséparable d’une formation à travailler par situation Qu’il faut faire confiance au jugement de l’expert donc sortir de la suspicion qui ronge l’évaluation scolaire. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

L’évaluation par compétences Attention au sens des mots et à la confusion entre capacités et compétences: Une capacité est globale et non évaluable, c’est un ensemble de compétences; Une tâche est précise et évaluable dans un contexte de travail; Une compétence est large et évaluable dans un contexte professionnel donné (c’est un ensemble de tâches). Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

L’intégration des savoirs et des compétences 3 types d’activités du savoir : reproduire (littéral et transposé), faire (appropriation) et être (manières de réagir et d’agir habituelles)… 3 domaines du savoir : cognitif (activités mentales), psychomoteur (activités gestuelles) et socio-affectif (valeurs, attitudes)… jamais exclusives mais avec des dominantes. Cognitif Psychomoteur Socio-affectif Savoir être Savoir-faire Savoirs Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

L’intégration des savoirs et des compétences Opérationnalité Etendue Complexité Les compétences sont toujours associées à des savoirs, mais savoirs et compétences évoluent toute au long de la vie et ne s’acquièrent que progressivement. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Elaboration des sujets Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Exemple de grille d’évaluation NT 33% 66% 100% Indicateur de question non traitée 30 % Réponse très insuffisante = 0 % du poids de la note ✘ 3/20 3/20 ✘ Réponse moyenne bas = 33% du poids de la note 50 % 3/20 ✘ ✘ 7/20 Réponse moyenne haut = 66 % du poids de la note 20 % Réponse complète = 100% du poids de la note 1/20 ✘ ✘ 3/20

Harmonisation Compilation de toutes les grilles individuelles Tableau Excel rassemblant les niveaux de réponse à toutes les questions par candidat Classement des taux de réponse aux questions Classement des indicateurs, des moins bien traités aux très bien traités Possibilités d’annuler des questions au niveau académique Annulation automatique des indicateurs non traitées par tous les candidats Possibilité d’annuler les indicateurs les moins bien traitées (limite de -15%)

Ajustement académique des notes Exemple traité: Poids atteint Sujet ✘ X 33% 66% 100% Exemple traité: Poids atteint 0 + 3x0,33 + 7x0,66 + 4 = 9,6 9,6 x 1,17 = 11,2 soit 11,5 au lieu de 10 30 % Question 2 3/20 Non traité=> poids de 15%, soit 3pts Question 6 3/20 L’annulation de la question 2 pèse 3 pts. Les candidats sont notés sur 17 pts. Il faut multiplier chaque question par 1,17 pour ajuster le barème sur 20 50 % Question 3 3/20 Question 4 7/20 20 % Question 1 1/20 Question 5 3/20 Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Cas des candidats ayant répondu à la question annulée Sujet ✘ x 33% 66% 100% Exemple traité: Poids atteint 0+ 0,33x3 + (7+3)x0,66 + 4 = 11,65 11,65 x 1,17 => 13,6 / 20 soit 14/20 au lieu de 11,5 30 % Question annulée mais abordée par un candidat Question 2 3/20 Question 6 3/20 Le candidat ayant répondu ne doit pas être pénalisé. On calcule sa note avec la correction majorée de 15% et on y ajoute la note de la question annulée. 50 % Question 3 3/20 Question 4 7/20 20 % Question 1 1/20 Question 5 3/20 Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Avantage du processus d’harmonisation Permet d’éliminer les questions auxquelles aucun élève n’a répondu… ce qui, sur un grand nombre est significatif d’un défaut du sujet. Permet d’accorder un « bonus » aux élèves ayant répondu correctement aux questions annulées. Permet d’identifier les questions et les compétences non traitées et mal maîtrisées par les candidats, rendant possible des actions pédagogiques correctives pour les sessions suivantes. Permet de garder une bonne étendue des notes. Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR

Merci de votre attention Séminaire national BTS Maintenance des Systèmes – Lycée Raspail Paris 13 et 14 novembre 2014 Merci de votre attention Jean-Pierre COLLIGNON IGEN – Jean-Pierre DELORME IA-IPR