Synthèse de l’évaluation de la démarche pilote d’évaluation des filières HES-SO Septembre 2018

Evaluation de la démarche pilote Calendrier Juin 2016 Lancement de la première évaluation de filière Décembre 2017 Bilan de la démarche pilote Juillet 2018 Dernière collecte de données Septembre 2018 → Analyse des résultats et synthèse finale Nombre de filières concernées par la démarche pilote entre 2016-2018 19 filières 13 autoévaluations sommaires (phase 1) 1 autoévaluation avec expertise interne (phase 2) 5 autoévaluations avec expertises externes (phase 3)

Evaluation de la démarche pilote Méthodologie Enquête systématique par questionnaire post expertise auprès des expert-e-s Enquête systématique par questionnaire post décision auprès des porteurs de filières (responsables de domaines, directions de hautes écoles et responsables de filières d’études)

Evaluation de la démarche pilote Questions d’évaluation Evaluation de l’efficacité : La démarche permet-elle aux domaines de gérer la qualité de leurs filières d’études ? (objectif des mandats de prestations des domaines) Evaluation de la pertinence : La démarche est-elle perçue comme pertinente dans son ensemble ?   Evaluation de la mise en œuvre : Chaque étape de la démarche est-elle considérée comme indispensable ? Les outils mis à disposition sont-ils perçus comme utiles et facilitent-ils le déroulement du processus ?

Synthèse Taux de participation aux enquêtes Les taux de participation sont satisfaisants Le taux de participation pour l’enquête auprès des expert-e-s était de 74% Le taux de 37% de participation pour l’enquête auprès des porteurs de filières (ci-après: PFIL) s’explique par le fait que certains PFIL ont été interrogés plusieurs fois pour plusieurs filières (domaines, directions de HE) mais n’ont pas répondu à toutes ces sollicitations. Une explication complémentaire pour certains PFIL est le sentiment de ne pas avoir de réponses à apporter n’ayant pas vraiment été impliqués dans le volet Autoévaluation. Actions: Mieux définir les personnes sondées et ne pas uniquement se baser sur la liste mentionnée dans la Fiche Responsabilités et planification

Synthèse Méthodologie Les deux enquêtes par questionnaires en ligne ont montré leur utilité pour collecter des données Les questionnaires doivent être allégés puisque de nombreux éléments n’ont plus lieu d’être questionnés Pour une future évaluation, des groupes de discussions et entretiens individuels doivent être également envisagés Actions: Continuer avec des enquêtes par questionnaires «allégés» en ligne Réaliser des groupes de discussion et entretiens individuels

Efficacité de la démarche en général La démarche permet-elle aux domaines de gérer la qualité de leurs filières d’études ? (objectif des mandats de prestations des domaines) Oui, globalement la démarche est perçue comme efficace pour juger de la qualité d’une filière d’études tant par les expert-e-s que par les PFil Actions: Le Comité directeur a décidé de poursuivre la démarche d’évaluation Le Rectorat, dans sa Décision Rectorat 2017/41/120 du 19 décembre 2017, a validé les ajustements de la démarche.

Pertinence de la démarche La démarche est-elle perçue comme pertinente dans son ensemble ?   Oui, globalement la démarche est perçue comme pertinente. Plus particulièrement, les critères sont perçus comme pertinents tant par les expert- e-s que par les PFil. Cependant : Les critères doivent être revus pour éviter les redondances La pondération des critères n’est pas utile et tous les critères doivent être appliqués à toutes les phases Il faut mieux considérer des critères en lien avec les démarches déjà existantes dans les hautes écoles (ci-après: HE) et domaines Actions: Les critères ont été revus : - Les redondances ont été supprimées (réduction du nombre de 20 à 17) - La pondération a été supprimée - Le lien entre critères et démarches existantes a été plus particulièrement réexaminé

Mise en œuvre de la démarche Chaque étape de la démarche est-elle considérée comme indispensable ? Le cycle de sept ans semble correspondre à un besoin des PFil Le découpage de la démarche en trois phases ne paraît pas idéal pour permettre un examen continu de la qualité de la filière d’études selon les PFil La grande majorité des PFil ont choisi le délai de rédaction de 6 mois pour le rapport d’autoévaluation (ci-après: RAE) Actions: Le cycle de sept ans est maintenu Le découpage en trois phases est maintenu mais le déroulé du cycle est revu: - Phase 1 autoévaluation sommaire supprimée - Toutes les filières débutent le cycle avec une phase Autoévaluation avec expertise interne (AEI) - La phase Autoévaluation avec expertise externe (AEE) suit la phase AEI - Une phase Bilan (Bilan) est introduite en fin de cycle pour mettre en évidence les résultats liés aux recommandations et éventuelles conditions formulées Le délai de 6 mois pour le rédaction du RAE est systématiquement considéré

Mise en œuvre de la démarche Les outils mis à disposition sont-ils perçus comme utiles et facilitent-ils le déroulement du processus ? Pour les expert-e-s: Les publications et outils mis à disposition des expert-e-s sont jugés utiles et pertinents par la majorité des expert-e-s Il faudrait selon certains améliorer le lien entre le RAE et la structure du rapport d’expertise (ci-après: RE) Le temps dédié aux entretiens et à la préparation entre expert-e-s est jugés trop court par certains expert-e-s Il faudrait faciliter la rédaction du RE Selon certains expert-e-s, un échange pourrait avoir lieu après le compte rendu oral L’organisation et l’accompagnement des expertises sont salués par tous les expert-e-s Actions: La structure du RE (canevas) a été revue pour mieux permettre le lien avec les critères et donc avec le RAE. Les programmes-types de visite ont été revus pour laisser plus de temps à la préparation des expert-e-s et dans la mesure du possible aux entretiens La plateforme électronique proposera des espaces collaboratifs pour les PFil et pour les expert-e-s.

Mise en œuvre de la démarche Les outils mis à disposition sont-ils perçus comme utiles et facilitent-ils le déroulement du processus ? Pour les PFil: Les publications et outils mis à disposition des expert-e-s sont jugés utiles et pertinents par la majorité des PFil La Boussole n’est pas jugée utile par certains dans cette démarche Le Guide explicatif des critères doit être préciser pour éviter les interprétations selon plusieurs PFil La Fiche planification et responsabilité doit tenir compte de la discussion sur la décision avec le rectorat (debriefing) Pour plusieurs PFil, le kick-off doit être revu, simplifié ou les objectifs précisés L’accompagnement dans la planification des travaux par les services du rectorat (calendrier par phase) est jugée par la grande majorité comme utile Actions: L’ensemble des outils et publications a été adapté Le Guide explicatif des critères a été plus particulièrement retravaillé

Mise en œuvre de la démarche Publications Pour la majorité des expert-e-s et des PFil, les RAE et les RE doivent être publiés à l'interne de la HES-SO et non à tout public Actions: Le niveau de publication des documents a été discuté et décidé en consultation avec les domaines

Participation Pour plusieurs PFil, la chronophagie de la démarche est un problème majeur! Pour beaucoup de PFil, la charge de travail pour la rédaction du RAE s’est avérée très (trop?) importante! La charge de travail pour les expertises était bien estimée dans l’ensemble mais l’honoraire est vu comme étant un peu faible notamment pour la présidence Pour la majorité des PFil, l’expérience s’est avérée enrichissante Pour tous les expert-e-s, l’expérience s’est avérée très enrichissante Actions: La charge de travail pour les PFil reste un soucis majeur et l’engagement d’un collaborateur scientifique à l’USEF dédié à l’accompagnement des filières doit être vu comme une ressource disponible supplémentaire Les honoraires des expert-e-s ont été revus et la présidence est désormais rémunérée Les HE et domaines doivent être sensibilisés à la question des ressources

Evaluation de la démarche pilote : récapitulatif Questions d’évaluation Evaluation de l’efficacité : La démarche permet-elle aux domaines de gérer la qualité de leurs filières d’études ? (objectif des mandats de prestations des domaines) Evaluation de la pertinence : La démarche est-elle perçue comme pertinente dans son ensemble ?   Evaluation de la mise en œuvre : Chaque étape de la démarche est-elle considérée comme indispensable ? Les outils mis à disposition sont-ils perçus comme utiles et facilitent-ils le déroulement du processus ? Tableau – Liens méthodes-questions   Efficacité Q. 1 Pertinence Q3 MEO Q.4 MEO Q.5 A. Enquête Experts (AEI/AEE) X B. Enquête PFil (AEI/AEE) D. Analyse doc