Evaluation annuelle 2011 Rapport final

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Préambule L’AMOA souhaite remercier tous les contributeurs à cette étude, et particulièrement : Les équipes du rectorat de Toulouse et de la Région Midi Pyrénées qui ont participé à la conception du questionnaire et au pilotage des travaux Les équipes du prestataire de maitrise d’œuvre (IBM-Kosmos) qui ont travaillé sur la mise en ligne du questionnaire Et plus largement, tous les utilisateurs de l’ENTmip qui ont pris le temps de répondre à l’enquête A Propos de Kurt Salmon : Ineum Consulting et Kurt Salmon Associates se sont unis pour créer une organisation unique, intégrée et globale qui opère sur les 5 continents, sous une même marque : Kurt Salmon. Nos clients bénéficient de la spécialisation sectorielle et fonctionnelle de nos 1600 consultants en stratégie, organisation et management. Dans un environnement de plus en plus complexe, nous sommes convaincus que nous ne devons pas nous contenter d’être un cabinet de conseil. Nous voyons notre rôle comme celui d’un partenaire de confiance, qui, aux côtés de ses clients, conçoit et met en œuvre les stratégies et les solutions les plus pertinentes, à la mesure de leurs ambitions. Forts de notre expérience, notre préoccupation permanente est de leur apporter des résultats mesurables et d’assurer le succès de leurs projets, de manière significative et durable. En France, Kurt Salmon est présent à Paris, Lyon, Marseille et Nantes

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Synthèse Développement des usages Accompagnement du changement Le volume de connexions a fortement augmenté en 2011 Le potentiel de développement du trafic est encore important au regard de la fréquence d’utilisation actuelle de l’ENT par les élèves L’usage des services de vie scolaire reste prédominant Le cahier de texte est utilisé par plus d’un utilisateur sur deux…Toutefois, pour une majorité de professeurs, son usage est essentiellement réglementaire Les élèves et les professeurs ne sont pas encore convaincus des apports de l’ENT en matière d’organisation du travail, de support à l’apprentissage, de collaboration et de communication avec les membres de la communauté éducative Globalement, les utilisateurs ne perçoivent pas d’inconvénient majeur dans l’ENT. Il expriment toutefois trois attentes fortes : la généralisation de l’usage de l’ENT par les professeurs l’amélioration profonde de l’ergonomie l’amélioration du cahier de texte et de la messagerie Les répondants expriment peu d’attentes en matière d’aides supplémentaires à l’utilisation Les équipes de direction sont globalement satisfaites de l’accompagnement du niveau académique. Le rôle des pôles d’appui est perçu comme indispensable pour le développement des usages Pilotage Une majorité d’établissements déployés ont mis en place des démarches de pilotage de projet Conditions d’accès Les conditions d’accès à l’ENT à l’intérieur et à l’extérieur de l’établissement sont globalement satisfaisantes

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Un bilan composé de deux volets Chaque année, une campagne d’évaluation est conduite auprès de l’ensemble des parties prenantes du projet pour identifier les forces et les axes d’amélioration de l’ENT Midi Pyrénées. L'évaluation couvre notamment les 243 établissements pour lesquels la solution ENT a été déployée. Quantitatif Qualitatif Revue des statistiques de fréquentation des portails ENT à partir du dispositif de mesure d’audience mise à disposition par la CDC Réalisation d’une enquête en ligne auprès des utilisateurs de l’ENTmip. Cette enquête a été mise en ligne du 30/03/2011 au 18/05/2011.

Nombre de réponses / visiteurs uniques* 4298 répondants à l’enquête en ligne 2011 (1/2) En 2011, le nombre de répondants a été multiplié par 5 par rapport à 2010 En 2011, le taux de représentativité de l’échantillon a doublé par rapport à 2010 Taux de représentativité 2011 Taux de représentativité 2010 6% 3% Nombre de réponses / visiteurs uniques* Collèges du Tarn-et-Garonne 30% Collèges de l’Ariège 11% Collèges du Tarn 7% Collèges de l’Aveyron 6% Collèges du Gers Collèges des Hautes-Pyrénées 5% Lycées de la Région Midi-Pyrénées Collèges du Lot 4% En dessous de la moyenne À la moyenne Au dessus de la moyenne *Nombre de visiteurs s’étant connecté au moins une fois à l’ENT sur la période de l’enquête

Détail de la population des personnels non enseignants 4289 répondants à l’enquête en ligne 2011 (2/2) L’échantillon est composé d’une large majorité d’élèves. Les personnels sont quant à eux peu représentés 51% des répondants de l’échantillon utilisent l’ENT depuis septembre 2010 Détail de la population des personnels non enseignants

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Le volume de connexions a fortement augmenté en 2011 Evolution du nombre de connexions depuis mars 2009 Nombre de connexions Période de congés d’été

Evolution des visites par profil Les visites d’élèves ont fortement augmentées en 2011. A l’opposée, l’utilisation de l’ENT par les personnels ne décolle pas Evolution des visites par profil Les connexions élèves ont augmentée de 188% (mesure prise en mars 2010 et mars 2011) A contrario, les visites de personnels non enseignants ont augmenté de 16% (mesure prise entre mars 2010 et mars 2011)

La fréquentation et le nombres de comptes actifs ont progressé La fréquentation et le nombres de comptes actifs ont progressé. Toutefois, l’utilisation de l’ENT dans les établissements reste hétérogène Positionnement des établissements déployés les deux premières vagues en mars 2011 Ce graphique présente le positionnement des établissements sur deux axes : Un axe vertical permettant de mesurer la fréquence d’utilisation mensuelle d’un utilisateur s’étant connecté au moins une fois : nombre de visites moyennes par visiteur unique Un axe horizontal permettant d’évaluer la pénétration de l’ENT sur la population de référence de l’établissement : nombre de visiteurs uniques sur effectif (effectif = nombre d’élèves et d’enseignants rattaché à l’établissement) Fréquentation : Nombre de visites par visiteur unique Peu d’utilisateurs, mais très actifs Beaucoup d’utilisateurs et très actifs Moyenne académique mars 2011 Peu d’utilisateurs et peu actifs Beaucoup d’utilisateurs, mais peu actifs Moyenne académique mars 2010 Comptes actifs : nombre de visiteurs uniques/effectif

L’usage des services de vie scolaire reste prédominant Répartition des connexions aux services accessibles dans l’ENT Septembre 2009 - Avril 2010 Septembre 2010 - Avril 2011 Déjà prédominants l’année dernière, les usages des outils de vie scolaire (notes et absences incluses) ont augmenté pour représenter plus de 60% des connexions aux services (contre 50% en 2010).

Un fort potentiel de développement de l’utilisation de l’ENT pour les élèves Fréquence d’utilisation Evaluation du niveau de complexité d’utilisation Très complexe Très aisée Professeurs, personnels et équipes de direction Elèves et parents Evaluation de la durée d’appropriation Au moins plusieurs semaines Quelques jours Quelques heures Professeurs Personnels et équipes de direction Elèves Parents La fréquence d’utilisation de l’ENT par les élèves est nettement inférieure à celle des autres profils (notamment des parents). Concernant l’ évaluation du niveau de complexité d’utilisation et l’ évaluation de la durée d’appropriation, deux groupes se distinguent : Le groupe des utilisateurs s’étant approprié l’ENT, composé des élèves et des parents; Les groupes d’utilisateurs pour qui l’ENT demande/a demandé un fort investissement (professeurs et personnels et autres) et qui jugent la facilité d’utilisation « moyenne ». Ce constat doit être analysé à la lumière des usages des différentes populations. En effet, on constate que les élèves et les parents sont actuellement des profils qui se connectent à l’ENT pour consulter des informations. Ce type d’usage présente peu de complexité contrairement aux usages des enseignants et personnels qui produisent de l’information sur le portail.

Les répondants expriment peu d’attentes en matière d’aides supplémentaires à l’utilisation Avez-vous besoin d’aides supplémentaires à l’utilisation ? Résultat global Résultat par profil Détail des principales attentes 93% des répondants n’expriment pas d’attentes en matière d’aides supplémentaires à l’utilisation Des actions d’accompagnement sont toutefois attendues par 65% des membres des équipes de direction d’établissement

Le cahier de texte est utilisé par plus d’un utilisateur sur deux… Utilisez vous le cahier de texte ? Résultat global Résultat par profil Proportion de professeurs utilisant l’ENT vue par les élèves 57% des répondants utilisent le cahier de texte. Toutefois, seulement 20% des élèves sondés affirment que tous leurs professeurs utilisent l’ENT.

…Toutefois, pour une majorité de professeurs, l’usage du cahier de texte est essentiellement réglementaire Quel est le niveau d’utilisation du cahier de texte par les professeurs ?

Pour une majorité de parents, le cahier de texte permet de suivre la scolarité de leur enfant Le cahier de texte vous permet-il de suivre le travail de votre enfant ?

Le cahier de texte et la messagerie sont deux services perçus comme utiles … Quels sont les services/fonctionnalités qui vous paraissent les plus utiles ? Résultat global Les 3 services les plus appréciés par profil   1 2 3 Elève Cahier de texte Messagerie Outils de vie scolaire Professeur Outils de réservations de ressources Professeur-Documentaliste Logiciels documentaires Ressources numériques en ligne Actualités, blogs Parent d’élève Equipe de direction Personnel de vie scolaire Conseiller d’orientation Agenda personnel Personnel administratif, de santé, social Personnel des collectivités AED TICE (ou ENT) 3 1 2

…mais qui doivent être améliorés Quels sont les services à améliorer ? Résultat global Les 3 services à améliorer par profil   1 2 3 Elève Cahier de texte Messagerie Agenda personnel Professeur Outils de publication (blogs...) Professeur-Documentaliste Parent d’élève Equipe de direction Personnel de vie scolaire Conseiller d’orientation Personnel administratif, de santé, social Personnel des collectivités Porte-documents AED TICE (ou ENT) 3 2 1 Nombre de citations

Quels seraient les nouveaux services à mettre en place ? 3 nouveaux services sont demandés par les utilisateurs : un outil de gestion des absences des professeurs, une messagerie instantanée et l’intégration des services de note dans le socle applicatif de l’ENT Quels seraient les nouveaux services à mettre en place ? Elèves Nbr citations Absence des professeurs 60 Messagerie instantanée Intégrer un service de note dans l'ENT 40 Réseau social 36 Lien messagerie ENT/ messagerie personnelle 30 Flux RSS/actualités externes/alertes 25 Divertissements 20 Services d'orientation 13 Accès en mobilité (sur mobile) 10 Services d'aide aux devoirs Services bureautiques en ligne 7 Trombinoscope de l'établissement 6 Option "oubli de mot de passe" 5 Espace "élève" Service de personnalisation de la charte graphique 3 Carnet de correspondance en ligne 2 Professeurs Nbr citations Intégrer un service de note dans l'ENT 20 Lien messagerie ENT/ messagerie personnelle 8 Services bureautiques en ligne 6 Flux RSS 5 Service de personnalisation de la charte graphique Outil d'évaluation du socle commun (Gisocle) 4 Réseau social Outil de mutualisation des ressources disciplinaires 3 Interface iprof Carnet de correspondance en ligne Espace de stockage de mail 2 Outils de travail collaboratif en temps réel Service de gestion de carrière 1 Cahier en ligne interactifs Espaces d'échange avec les entreprises Classe virtuelle Accès en mobilité (sur mobile) Espace de création de pages Web Parents Nbr citations Absence des professeurs 15 Intégrer un service de note dans l'ENT 9 Service numérique administratif (autorisation de sortie en ligne, etc.) 6 Flux RSS/actualités /alertes Messagerie parent-professeur Carnet de correspondance en ligne 3 Equipes de direction Nbr citations Accès en mobilité (sur mobile) 4 Sychronisation d'agenda 3 Personnels Nbr citations Intégrer un service de note dans l'ENT 5 FLUX RSS 1 Service d'import de pages web

Les fonctionnalités dédiées à l’administration l’ENT sont globalement satisfaisantes Quel est le degré de satisfaction des fonctionnalités de l’ENT dédiées à l’administration ? Les fonctionnalités les plus adaptées Les fonctionnalités les moins adaptées Annuaire des services Gestion des services tiers Gestion des ressources Gestion des groupes Gestion de la vie scolaire Export CSV Gestion des professeurs Création des groupes en début d’année Paramétrage des pages d’accueil Modification des services des enseignants dans les cahiers de textes Imports et remonté de l’emploi du temps Gestion de l’arborescence (rubrique/sous rubrique) Gestion des accès Changement de statut d’un utilisateur (personnel en enseignant) Gestion des mots de passe Paramétrage des quotas Gestion des remplacements d'enseignants

Etes-vous mieux informé de la vie de l’établissement grâce à l’ENT ? Globalement, l’ENT améliore la communication au sein de la communauté éducative Etes-vous mieux informé de la vie de l’établissement grâce à l’ENT ? Résultat global Résultat par profil

Pour les familles, l’ENT doit permettre de faciliter le suivi du travail des enfants. Pour les élèves et les professeurs, il constitue un outil support à l’apprentissage Quels sont selon vous les principaux intérêts de l’ENT pour les familles ? Quels sont selon vous les principaux intérêts pédagogiques de l’ENT pour les élèves ? 1 2 3 3  2 1 Nombre de citations Nombre de citations

Toutefois, l’ENT n’a pas encore convaincu les élèves et les professeurs Perception des élèves Perception des professeurs et des documentalistes L’ENT me permet-il d’apprendre et de comprendre plus facilement ? L’ENT facilite-t-il les apprentissages des élèves ? 82% des élèves et 44% des professeurs considèrent que l’ENT n’est pas pour le moment un outil facilitant l’apprentissage. 75% des élèves et 56% des professeurs estiment que l’ENT ne facilite peu ou pas du tout la communication avec la communauté éducative. 69% des élèves et 64% des professeurs estiment que l’ENT facilite peu ou ne facilite pas du tout la collaboration avec la communauté éducative. L’ENT facilite la communication avec les autres ? L’ENT facilite la communication avec la communauté éducative? L’ENT facilite la collaboration avec les autres ? L’ENT facilite la collaboration avec la communauté éducative?

L’ENT facilite t-il l’organisation de mon travail ? Et pour le moment, l’ENT ne facilite pas l’organisation du travail des utilisateurs L’ENT facilite t-il l’organisation de mon travail ? Résultat global Résultat par profil 55% des utilisateurs (hormis les répondants du profil parent) indiquent que l’ENT n’a aucun effet sur leur travail

Pour les professeurs, le principal intérêt pédagogique réside dans le développement de l’intéraction avec les élèves Quels sont selon vous les principaux intérêts pédagogiques de l’ENT pour les enseignants ? 3 2 1 Nombre de citations

Globalement, les utilisateurs ne perçoivent pas d’inconvénient majeur Y a-t-il un inconvénient majeur dans l’ENT ? Résultat global Résultat par profil 73% des utilisateurs n’ont pas identifié d’inconvénient majeur dans l’ENT

Détail des inconvénients majeurs par profil Deux attentes fortes : la généralisation de l’usage de l’ENT par les professeurs et l’amélioration profonde de l’ergonomie Détail des inconvénients majeurs par profil Elèves Nbr Citations Les professeurs ne l'utilisent pas ou mal 111 La messagerie 30 Ergonomie à revoir/interface peu intuitive 26 Problèmes de connection 19 Complexité du cahier de texte 14 Multiples idnetifications 11 Trops de services peu utiles 10 Capacité de stockage de documents 8 Lenteur Accès à internet/fracture numérique 7 Failles de sécurité 6 Pas d'accès en mobilité 2 Perte du contact humain Professeurs Nbr Citations Ergonomie à revoir/interface peu intuitive 106 Cahier de texte peu fonctionnel 70 Perte de temps 41 Outils de publications à revoir 35 Messagerie à revoir 31 Accès à internet/fracture numérique 26 Temps de connexion trop court 20 Sentiment d'être surveillé dans son travail 12 Encore trops de dysfonctionnements 11 Manque un outil de note intégré 10 Encore très peu utilisé par les élèves et les profs 7 Lenteur Gestion des droits complexe Perte du contact humain 6 Capacité de stockage de documents 5 Multiples identifications Gestion des mots de passe des parents 4 Trops de services peu utiles Acces MAGRET complexe 3 Equipe de direction Nbr Citations Ergonomie à revoir/interface peu intuitive 5 Messagerie à revoir 3 Accès à internet/fracture numérique Cahier de texte peu fonctionnel 2 Lourdeur d'initialisation des outils de vie scolaire Problème de débit pour assurer le développement des usages 1 Lenteur Gestion des comptes très complexe Personnels Nbr Citations Ergonomie à revoir/interface peu intuitive 24 Problème de débit pour assurer le développement des usages 7 Lourdeur d'initialisation des outils de vie scolaire 6 Temps de connexion trop court 5 Messagerie à revoir 4 Gestion des identifiants complexe 3 Accès à internet/fracture numérique 1 Perte du contact humain Parents Nbr Citations Les professeurs ne l'utilisent pas ou mal 70 Ergonomie à revoir/interface peu intuitive 17 Accès à internet/fracture numérique/investissement matériel pour les familles 14 Messagerie à revoir 3 Problèmes de connection 2 Perte du contact humain

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Deux axes d’amélioration : pérenniser les formations à destination des équipes de direction et renforcer les formations liées aux spécialités des professeurs Part des utilisateurs formés Part des utilisateurs ayant suivi une formation liée à leur métier Part des utilisateurs ayant suivi une formation liée à leur spécialité Perception de l’efficacité des formations Besoin de formations complémentaires Elèves Professeurs Parents d’élève Equipes de direction Personnels Les personnels sont peu formés. 88% des parents d’élève n’ayant pas suivi de formation n’ont pas connaissances de la manière dont ils peuvent avoir accès à cette formation. 86% des administrateurs et équipes de direction ont suivi une formation « administrateur ENT ». On constate peu d’attentes en matière de formations complémentaires, hormis pour les populations « professeurs et équipes de direction »

Les principales attentes en matière de formation Les professeurs formulent des attentes particulières en matière de formation sur la publication et l’utilisation du cahier de texte Les principales attentes en matière de formation Eleve Nbr citations Usage de la messagerie 11 Utilisation de l'ENT en général 7 Publication 6 Cahier de texte 5 Agenda 3 Création de groupe 1 Accès au ressources numériques Professeurs Nbr citations Publication a caractère pédagogique 52 Cahier de texte 49 Usage de la messagerie 14 Porte document 12 Utilisation de l'ENT en général 11 Gestion des rubriques 9 Formulaires 8 Dossiers partagés 6 Classeur pédagogique 7 Mise en ligne de ressources en ligne sur abonnement 2 Parents Nbr citations Utilisation de l'ENT en général 7 Usage de la messagerie 6 Cahier de texte 4 Accès au notes Personnels Nbr citations Publication 4 Gestion des rubriques 1 Utilisation de l'ENT en général Formulaires Fonctionnement des SSO Equipes de direction Nbr citations Initialisation du cahier de texte 8 Publication 2 Gestion des droits et rubriques

Les équipes de direction sont globalement satisfaites de l’accompagnement du niveau académique. Le rôle des pôles d’appui est perçu comme indispensable pour soutenir le développement des usages Echelle de satisfaction des actions d’accompagnement Note générale 13,4/20 Formation académique 12,4/20 0/20 10/20 20/20 Informations mises en ligne 12,7/20 Accompagnement lors du déploiement 15,8/20 Journée de formation des administrateurs 12,6/20 Contenu des formations de formateurs 13,2/20 Liste de discussion des administrateurs 11/20 Accompagnement des pôles d’appui 16,2/20

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

Les conditions d’accès à l’ENT dans l’établissement sont globalement satisfaisantes (1/2) Vos conditions d’accès à l’ENT sont elles satisfaisantes dans l’établissement ? Lycées de Midi Pyrénées Collèges d’Ariège Niveau de satisfaction 14,7/20 Causes d’insatisfaction Niveau de satisfaction 13,2/20 Causes d’insatisfaction Collèges du Tarn Collèges du Lot Niveau de satisfaction 15/20 Causes d’insatisfaction Niveau de satisfaction 15,7/20 Causes d’insatisfaction Légende

Les conditions d’accès à l’ENT dans l’établissement sont globalement satisfaisantes (2/2) Vos conditions d’accès à l’ENT sont elles satisfaisantes dans l’établissement ? Collèges de l’Aveyron Collèges des Hautes Pyrénées Niveau de satisfaction 15,5/20 Causes d’insatisfaction Niveau de satisfaction 15/20 Causes d’insatisfaction Collèges du Gers Collèges du Tarn-et-Garonne Niveau de satisfaction 16/20 Causes d’insatisfaction Niveau de satisfaction 15/20 Causes d’insatisfaction Légende

Les conditions d’accès en dehors de l’établissement sont globalement satisfaisantes Vos conditions d’accès à l’ENT sont elles satisfaisantes hors de l’établissement ?

Préambule Synthèse de l’étude Rappel des objectifs et de la méthodologie de l’évaluation annuelle ENTMIP 2011 Bilan de la fréquentation de l’ENT et évaluation des usages Satisfaction des actions de formation et d’accompagnement Satisfaction des conditions d’accès Les pratiques de pilotage de l’ENT dans les établissements

La plupart des chefs d’établissement ont engagé des actions de communication et prévoient d’imposer le cahier de texte lors de la prochaine rentrée Quels axes de travail avez-vous privilégiés pour le développement des usages ? Sur quelles priorités avez-vous axé votre stratégie de déploiement de l’ENT dans votre établissement ? Nombre de citations Nombre de citations Pensez vous imposer l’utilisation du cahier de textes de l’ENT à partir de septembre 2011 ?

Les méthodes de pilotage Une majorité d’établissements déployés ont mis en place des démarches de pilotage de projet Les méthodes de pilotage Méthodes de pilotage Niveau de généralisation de la méthode Stratégie de déploiement des comptes Mise en place d’une équipe de pilotage Suivi des statistiques Stratégie de développement des usages