La didactique professionnelle au service de l’évaluation des compétences… Problématique générale Qu’est ce qu’une compétence ? comment se développe t-elle ? Comment observer une compétence à partir d’une restitution d’activité ? Qu’est ce qu’évaluer une compétence ? 3 diapos issues d’un travail de Didier Michel Puis propositions pour PDUC Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 Généralisation Verbalisation Conceptualisation Réel Réunion harmonisation PDUC /BTS MUC 22/05/2008

L’essence des compétences Définition : les compétences (d’un sujet ou d’un collectif) sont un ensemble organisé de représentations (conceptuelles, sociales et organisationnelles) et d’organisateurs d’activités (schèmes, procédures, raisonnements, prise de décisions, coordination) disponibles en vue de la réalisation d’un but ou d’une tâche.(Samurçay 98). Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 La didactique professionnelle au service de l’évaluation des compétences « Le moyen le plus efficace dans le développement des compétences n’est pas la reproduction de l’exercice, mais bien plutôt l’analyse de l’action » P.Pastré, initiateur de la didactique professionnelle (1991) Réunion harmonisation PDUC /BTS MUC 22/05/2008

Donner du sens à la formation professionnelle L’expérience… L’expérience ne se construit pas seulement par l’exercice de l’activité mais aussi par la capacité du sujet à revenir sur son action – REFLEXIVITE Réunion harmonisation PDUC /BTS MUC 22/05/2008

Donner du sens à l’évaluation… Pratiques d’évaluation Conduire des entretiens semi-directifs visant à faire émerger les concepts en actes nichés au cœur des situations de travail Noter : Compétence acquise/non acquise Apprécier le degré de profondeur de la compétence à travers le degré de complexité des situations de travail. C’est bien la compétence qui est au cœur du pb et non la complexité de la situation « offerte »par la démarche projet et donc on juge la compétence du candidat et non « la complexité du projet » Réunion harmonisation PDUC /BTS MUC 22/05/2008

Constats des sessions antérieures l’évaluation telle qu’elle est pratiquée n’est pas toujours équitable Les jurys ne sont pas suffisamment en distance du projet tel qu’il est formulé par le candidat. L’entretien n’est pas suffisamment centré sur le candidat et la recherche de ses compétences L’entretien n’est pas suffisamment centré sur l’ensemble de la démarche de projet Prendre à témoin la salle sur les distorsions de notes observées par les colègues Exemple 1 : Plutôt que de redoubler de questions sur un diagnostic à l’évidence mal fait (ce qui a été perçu lors de la lecture du dossier) qui vise à démontrer que le diagnostic est très lacunaire ne vaut-il pas mieux demander dans un questionnement ouvert : Quels sont les éléments de diagnostic qui ont conduit à votre préconisation ? Quels sont les autres aspects de diagnostic que vous auriez pu envisager  Exemple 2 A partir d’une analyse très générale des variations d’un chiffre d’affaires (le candidat fait état d’une variation du CA global sans poursuivre plus l’analyse) plutôt que de lui demander pourquoi il n’a pas calculé telle ou telle variation, ne vaut-il pas mieux …… avez-vous analysé ce qui conduit à cette variation ? quels sont les éléments que vous auriez pu prendre en compte pour affiner votre diagnostic ? quelle est votre analyse du système d’information de l’UC (les informations dont vous disposez dans le cadre de votre projet vous semblent-elles suffisantes ?) Les entretiens sont trop souvent conduits à partir de la seule technique du questionnement, les questions fermées trop souvent utilisées. L’attention n’est pas suffisamment portée sur l’expression du candidat Réunion harmonisation PDUC /BTS MUC 22/05/2008

Nos propositions pour améliorer l’évaluation Sur la conduite de l’entretien Sur la coordination et l’harmonisation Sur la formation L’écoute positive Mais surtout comment on conduit l’entretien ………..des propositions : La coordination (c’est l’objet de cette journée) :avoir les mêmes règles de fonctionnement La formation : pas l’objet de cette séance mais c’est un souhait Réunion harmonisation PDUC /BTS MUC 22/05/2008

1 La conduite de l’entretien remarques   Le jury doit avoir « l’obsession » de renseigner les critères de sa grille) Le jury s’intéresse aux compétences développées au travers du projet. Chaque membre du jury doit prendre toute sa place En utilisant des questions ouvertes « pourquoi », « comment », l’étudiant est amené à argumenter. On ne pose pas de questions directes de cours. L’important c’est l’écoute des réponses du candidat Ne pas centrer sur le projet mais sur les compétences et donc se poser en permanence la question ai-je les éléments pour remplir la grille L’observation montre qu’un des 2 jurys prend le pas et ce jury n’a pas de recul le 2ème jury permet ce recul (il analyse ce qui se passe puis prend le relais (évite de rater un candidat) Poser les mêmes questions et se centrer sur les réponses Entretien semi directif Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 Propositions concrètes structurer l’entretien en reprenant les étapes du projet 1) question sur l’UC et son insertion dans un réseau (le contexte du projet) « Vérification de la qualité de l’analyse du contexte » stratégie mercatique du réseau : positionnement, marché, offre, client, … (aspects qualitatifs et quantitatifs). Creuser par rapport à l’exposé, s’assurer que l’étudiant maîtrise les concepts, comprend la situation de son uC sur son marché Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 Propositions concrètes structurer l’entretien en reprenant les étapes du projet 2) le diagnostic : questions sur les techniques de collecte et de traitement de l’information (pourquoi ? comment ?). « A quelles questions avez vous essayé de répondre lors de ce travail de diagnostic ? » « Avec quels outils et sources » C’est généralement à ce niveau que l’on peut déceler la rigueur méthodologique et la maîtrise de l’outil informatique et du SIC de l’UC) Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 Propositions concrètes structurer l’entretien en reprenant les étapes du projet 3) La préconisation Ensuite, il s’agit de vérifier plus particulièrement la cohérence entre le diagnostic et la préconisation « Quels sont les éléments de diagnostic qui vous ont amené à votre préconisation ? » « Auriez vous souhaité intégrer d’autres éléments dans votre diagnostic pour consolider votre préconisation, lesquels ? » œuvre (faisabilité et compréhension du fonctionnement de l’UC). A-t-il pris en compte le contexte de réseau ?   Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 Propositions concrètes structurer l’entretien en reprenant les étapes du projet 4) Répercussions : capacité de l’étudiant à mesurer les conséquences des décisions prises. « Quelles sont implications de votre projet pour votre UC ?» ( Reprendre les répercussions envisagées par le candidat ) 5) Il s’agit enfin d’évoquer les réflexions sur la mise en œuvre (et non d’apprécier la valeur du projet) Rebondir sur les outils présentés lors de l’exposé ; si tableau de bord : pourquoi ce choix d’indicateurs ? Réunion harmonisation PDUC /BTS MUC 22/05/2008

Réunion harmonisation PDUC /BTS MUC 22/05/2008 Coordination ? 3 étapes : La réunion d’harmonisation Un contrôle des grilles qui vérifie la cohérence de la grille (par le responsable du centre) Une concertation systématique lors des oraux chaque jour 1 harmoniser les pratiques d’évaluation pour permettre à chaque candidat d’être évalué équitablement et en conformité avec les textes 2 Une analyse des grilles qui vise à relever qu’il n’y a pas de contradiction entre les objectifs de l’épreuve, la notation et les commentaires justifiant l’évaluation Certains commentaires sont ambigus et donner lieu à des contresens Certains commentaires sont hors du champ fixé pour l’épreuve Il s’agit là de réguler des maladresses qui peuvent servir de support à des recours 3 concertation : développer par la suite Réunion harmonisation PDUC /BTS MUC 22/05/2008

Objectifs de cette concertation ? . Elle vise à ce que chaque membre de jury explicite ses critères d’appréciation et l’analyse qu’il fait des compétences d’un candidat L’amélioration de l’évaluation ne peut exister que par la confrontation des points de vue, de l’expérience de chacun et le respect du cadre prévu par le référentiel Expliciter notre notation pour l’harmoniser Réunion harmonisation PDUC /BTS MUC 22/05/2008

Devenir un professionnel expérimenté ? « Une des questions les plus essentielles qui se posent à la formation professionnelle consiste à se demander comment un individu devient un professionnel, c’est à dire un professionnel expérimenté, et comment il peut continuer à l’être au fil des évolutions auxquelles il doit s’adapter tout au long de sa vie au travail » Poser la question dans ces termes conduit évidemment à accorder une place primordiale au caractère dynamique et vivant des compétences ». P.Mayen Le caractère dynamique et vivant des compétences est tout l’inverse de savoirs acquis une fois pour toutes De même devenir un professionnel expérimenté s’inscrit aussi dans un processus évolutif Réunion harmonisation PDUC /BTS MUC 22/05/2008

Modalités de cette concertation Chaque jury choisit librement un candidat qu’il a examiné. Le jury expose brièvement la prestation du candidat et explique et justifie son évaluation. Cette présentation est le support de l’échange qui suit Un tour de table systématique : 1 Pour éviter de mettre en avant des cas exceptionnels 2 La mise en place de règles de concertation explicites et invariables d’un jour à l’autre permet d’évoquer les problèmes sans jamais stigmatiser ou tel ou tel membre de jury ou tel ou tel candidat décrire : le projet, le profil, d’un candidat, leur réflexion sur l’évaluation du candidat à partir de la grille et l’évaluation qui en résulté Un échange qui ne se fait pas sur des principes généraux mais sur des cas concrets Cela évite les prises de position doctrinaires Cela permet à chacun d’exposer sa façon de voir et de la confronter avec l’ensemble des membres des jurys Réunion harmonisation PDUC /BTS MUC 22/05/2008