Coordonnatrice - Données et ressources électroniques CREPUQ Atelier de réflexion De nouveaux outils de mesure pour les bibliothèques universitaires LibQUAL+ @ McGill Anastassia Khouri Coordonnatrice - Données et ressources électroniques anastassia.khouri@mcgill.ca http://www.library.mcgill.ca/edrs/khouri/conf/libqualCREPUQ.html Montréal 11 Février 2005

LibQUAL+ @ McGill Introduction Nos objectifs institutionnels Bref historique Coordination, organisation & déploiement du questionnaire WEB Compilation, analyse des données et distribution des résultats & archivage Suivis et utilisations administratives subséquentes Perspectives d’avenir

Introduction Qu’est-ce que LibQUAL+ LibQUAL+ est un outil Web pour évaluer nos services. Un outil qui nous permet d’identifier les secteurs potentiels d’amélioration en analysant les perceptions de nos usagers. Un mécanisme coopératif et des protocoles pour l’évaluation des services de bibliothèques. Un service aux institutions membres de ARL: - Pour recueillir et analyser des données - Pour offrir de la formation et du support techniques.

Nos objectifs institutionnels Utiliser un outil d’évaluation spécifique aux bibliothèques et développé par des experts. Recueillir et analyser systématiquement les ”perceptions“ de nos usagers afin d’améliorer nos services. Comparer nos résultats à ceux des autres institutions nord-américaines. Faciliter le processus de planification stratégique, la conception de nouveaux services répondant aux attentes et besoins des usagers ainsi que l’identification des priorités.

Bref historique Décision administrative de participer à LibQUAL+ en 2000 afin de compléter d’autres outils d’évaluation. Première participation en 2001. Participation annuelle en 2001, 2002, 2003 et 2004. Multiples difficultés d’organisation interne lors de la première année.

Bref historique (suite) Processus de gestion & apprentissage technique concomitants en 2001. Utilisation minimale du rapport généré par ARL en 2001. Analyse du processus de l’enquête et de gestion interne dès la fin 2001. Développement de stratégies de gestion pour les enquêtes subséquentes.

Organisation administrative Dès 2002: Consolidation et coordination de la gestion interne. Nomination d’un contact unique auprès de ARL. Décisions administratives concertées: - Directrice des bibliothèques, - Comité de gestion des bibliothèques et - Gestionnaire de l’enquête LibQUAL+, l’analyste de données et le comité de mise en place du site Web.

Organisation administrative (suite) Organisation d’un site Web pour la distribution sélective: des résultats des données numériques analysées. des commentaires des usagers. Site Web toujours en développement http://www.library.mcgill.ca/LibQUAL/

Calendrier - Nov.: Décision de participation. - Déc.: Stratégie d’échantillonnage. - Janv.: Commande de l’échantillon . Vérification du contenu . Élimination des doublons et autres Fév.: Déploiement une semaine après la semaine de lecture et suivi.

Calendrier (Suite) Mars/Avril: Fermeture de l’enquête. Mai–Juin: Analyse des données par ARL. Juin–Août: Analyse des données par McGill. Sept.-Oct: Rédaction des rapports. Nov./Janv.: Rencontre des divers groupes et distribution des rapports.

Stratégies d’échantillonnage 2001 Échantillon n=3769, Taux de rép. 18% 2002 Échantillon n=5333, Taux de rép. 8% 2003 Échantillon n=5923, Taux de rép. 13% 2004 Échantillon n=6107, Taux de rép. 10%

Échantillon par catégorie & par année Nombre en 2001 2002 2003 2004 Étudiants 1er Cycle 1795 1800 3620 4100 2e/3e Cycles 1137 1200 1480 1500 Professeurs 837 2333** 823 507 TOTAL 3769 5333 5923 6107 ** Totalité des professeurs (temps plein)

Nombre de répondants par catégorie & par année Catégories 2001 % 2002 2003 2004 Étudiants 1er Cycle 250 14 109 6 369 10 330 8 2e/3e Cycles 249 22 112 9 243 16 220 15 Professeurs 154 18 188 133 Personnel bibliothèques 1 - Autre personnel 2 4 TOTAL 663 414 745 13 617

Remarques sur les tableaux des échantillons et du taux de réponses 2002 En 2002, la chute du taux de réponses de 18 à 8 % est due à une difficulté technique de connexion lors des 2 premières journées. Les répondants avaient accès aux 3 dernières questions seulement. - Ajustement administratif nécessaire. - Support technique immédiat de ARL. En 2002, l’invitation de participation à l’enquête a été envoyée délibérément à tous les professeurs à temps plein (n=2333). Malgré, les difficultés techniques, c’était le plus haut taux de participation à ce jour (n=188, 8%).

Remarques sur les tableaux des échantillons et du taux de réponses 2004 En 2004, malgré l’augmentation intentionnelle de l’échantillon de 500 étudiants de 1er cycle,nous constatons qu’un plus petit nombre a participé comparativement à 2003 - (2003: n=3620, rép. = 369, 10%) - (2004: n=4100, rép. = 330, 8%)

Remarques sur les tableaux des échantillons et du taux de réponses 2004 (suite) La baisse du taux de répondants de la catégorie « professeurs » a changé l’équilibre des résultats. Les années précédentes ce sont les étudiants du 1er cycle qui avaient les taux de «perception » les plus bas. En 2004, ce sont les professeurs qui ont le taux le plus bas au niveau des «perceptions ». En fait, considérant les professeurs comme catégorie, ils classent les services en dessous des minima de leurs attentes.

- Qualité de service (Affect of Service) Le questionnaire 22 questions dédiées à la qualité des services offerts sur 3 dimensions: - Qualité de service (Affect of Service) - Bibliothèque comme espace de service (Library as a place) - Accès à l’information (Information Control) 5 questions locales choisies parmi une série de questions offertes par ARL. Questions d’éléments démographiques et d’usage. Commentaires du répondant.

Questionnaire LibQUAL+ Évolution du contenu du questionnaire: 2001: 56 questions 2002: 25 questions 2003: 25 questions 2004: 22 questions + 5 questions locales* *(les questions locales sont choisies à partir d’une liste de questions fournies par ARL)

Déploiement de l’enquête LibQUAL+ Processus de marketing sur le campus - Article dans les journaux universitaires - Annonce sur le site Web de l’Université et des Bibliothèques Ouverture de l’enquête - Lettre d’invitation de la directrice des bibliothèques envoyée aux répondants (échantillon) avec l’accès Web - Rappel envoyé

Déploiement de l’enquête LibQUAL+ (Suite) - Suivi technique essentiel - Répondre aux questions des répondants. - Fermeture de l’enquête. Disponibilité immédiate des commentaires des répondants.

Données et information reçues Nous recevons de ARL Les résultats spécifiques de McGill – Rapport (PDF) Les résultats globaux des participants à LibQUAL+ - Rapport (PDF) Données brutes pour l’institution en format (.xls) Commentaires des usagers en format (.txt et .xls) Données en format SPSS pour nous permettre d’effectuer des analyses plus pointues.

Données et information reçues (Suite) Des normes pour faciliter l’interprétation des scores de perception. Accès contrôlé - par mot de passe disponible au contact officiel: - à tous les rapports des participants (PDF) - à un environnement Web ”Interactive Statistics “ avec des possibilités de créer et de visualiser des tableaux et des graphiques de l’enquête par année.

Réception des données Réception des données en format - Excel et SPSS. Réception des commentaires en format - Texte et Excel. Archivage systématique des données brutes et des résultats d’analyse sur nos serveurs.

Sous-produits d’analyse Préparation d’une série de rapports d’analyse supplémentaires. Distribution à des groupes ciblés: Comité de gestion des bibliothèques (SMG). Responsables de bibliothèques et les Comités consultatifs respectifs. Comité consultatif du Sénat. Tableaux et information disponibles à partir du site Web.

Les 5 questions qui ont reçu le plus haut score de «désirabilité» 2001-2004 2003 2002 2001 McGill ARL Complete run of journal titles/Print and/or e-journals I need 1 2 5 8 10 6 17 Making electronic resources available from home or office 1* 3 Easy to use tools that enable me to find things on my own 4 7 The electronic information resources that I need n/a A library website enabling me to locate information on my own * Égalité de score (Score tie)

Spécimen de résultats d’analyse en 2004

Spécimen de résultats d’analyse en 2004

Choisir les 5 questions locales Nécessité de bien choisir les questions. Possibilité de valider des questions incluses dans la série de 22 questions de base. Aucune comparaison avec d’autres institutions. Peut répondre à des préoccupations locales.

Résultats d’analyse & stratégies de distribution et d’accès Distribution sélective des résultats par le WEB. Distribution complète des résultats au comité de gestion des bibliothèques (SMG). Distribution sélective des résultats aux différents comités consultatifs. Compilation sur demande et utilisation restreinte de tableaux comparatifs des données de McGill et d’autres institutions.

Résultats d’analyse & stratégies de distribution et d’accès (suite) Destruction systématique des brouillons et des compilations test ou comparatives. Archivage systématique sur nos serveurs des données brutes et des données analysées. Archivage systématique de toutes les versions de rapports en formats (.xls, .txt, .dat, .doc, .pdf) Distribution des rapports électroniques exclusivement en format PDF.

Suivis et utilisations administratives subséquentes Suivi systématique des rencontres annuelles de LibQUAL+ ainsi que des initiatives de formation. Sensibiliser et former le personnel à l’interprétation des résultats. Aider le personnel à accepter les évaluations et dépasser le stade des justifications / de la négation. Vérification systématique des scores et de leur introduction dans les processus de planification, de conception et d’amélioration des services ainsi que de la prise de décision concertée des priorités.

Suivi et utilisations administratives subséquentes (Suite) Utiliser les données de LibQUAL+ seules ou en tandem avec d’autres outils disponibles: statistiques annuelles, enquêtes nationales ou institutionnelles. Vérification de certains scores par rapport à des enquêtes équivalentes dans des domaines connexes. Mettre le résultat des analyses dans le contexte des programmes institutionnels. Voir s’il y a une corrélation entre les commentaires reçus par LibQUAL+ et ceux reçus par les autres mécanismes de commentaires et suggestions disponibles sur le campus.

- des étudiants du 3e cycle. Perspective d’avenir 2005: augmenter l’échantillon: - des étudiants du 3e cycle. - des usagers de la Faculté de droit. 2005: continuer l’analyse spécifique et la production de rapports pour les Bibliothèques des Humanités et Sciences sociales, Sciences de la santé, Sciences et Génie ainsi que de Droit.

Perspective d’avenir (Suite) Analyser et comparer les données quinquennales de 2001-2005. Préparer les stratégies de participation pour 2006 et les années subséquentes. Simplifier le processus d’analyse et d’interprétation des données. Poursuivre l’initiation/formation du personnel professionnel aux concepts d’analyse, d’interprétation et d’utilisation des données générées par LibQUAL+.

Perspective d’avenir (Suite) Participer activement aux initiatives de développement et de comparaison avec les membres participants de la CREPUQ.

« La statistique est moins une science qu’un art. CONCLUSION « La statistique est moins une science qu’un art. Elle est la poésie des nombres. Chacun y trouve ce qu’il y met. » Albert Bris (Le mot du silencieux (L’hiver nous fit suer), Le Devoir)