Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de services 16 septembre 2005

Plan de la présentation Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

Présentation de l’OQM Instrument développé par un groupe de travail interministériel : ... visant à évaluer la satisfaction de la clientèle et la qualité de la prestation de services ... visant à comprendre les déterminants de la satisfaction … centré sur l’action

L’OQM permet... D’évaluer les services transactionnels qui appellent une interaction entre l’usager et l’organisme prestataire Types de services pour lesquels l’OQM est bien adapté Démarche pour obtenir un permis ou un certificat Démarche pour obtenir une aide financière ou une rente Démarche pour obtenir du soutien ou des conseils Démarche pour s’inscrire à un programme Démarche pour obtenir de l’information Démarche pour faire valoir ses droits

L’OQM ne permet pas... D’évaluer les services rendus par les infrastructures (routes, parcs nationaux, etc..) D’évaluer les fonctions étatiques qui ne donnent pas lieu à des échanges entre les bénéficiaires du service et l’organisme prestataire Ex.: L’inspection des aliments, l’homologation des médicaments

L’OQM, c’est... Un modèle conceptuel qui intègre les concepts de qualité et de satisfaction Une structure de questionnaire qui constitue une « banque d’items » dans laquelle on peut puiser pour élaborer un questionnaire adapté au contexte et au service que l’on désire évaluer Un outil qui vise à évaluer des expériences de services. Le répondant est donc un utilisateur d’un service Un outil qui révèle les attentes, les perceptions et la satisfaction des clients

L’OQM, ce n’est pas... Un outil d’évaluation de programme Un outil qui mesure « objectivement » la qualité de service Ex. : On ne mesure pas le délai de réponse (en minutes ou en jours) à une demande de service. On mesure plutôt la perception du client à l’égard de la rapidité du service.

Plan de la présentation Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

1- Les modèles existants SERVQUAL Développé dans les années 80 et 90 par Parasuraman, Berry et Zeithalm Nombreuses applications commerciales (notamment dans le secteur bancaire et des assurances) Perspective d ’amélioration de services OMC (Outil de mesure commune) ACSI (American Customer Satisfaction Index)

Le modèle SERVQUAL Satisfaction à l’égard du service Dimensions de la qualité du service Attentes à l’égard du service selon chaque dimension Tangibilité Fiabilité Empressement Empathie Assurance Satisfaction à l’égard du service Qualité perçue du service Perceptions du service selon chaque dimension La qualité perçue découle de la comparaison des attentes et des perceptions

Les modèles existants OMC (Outil de mesure commune) SERVQUAL Développé dans les années 80 et 90 par Parasuraman, Berry et Zeithalm Nombreuses applications commerciales (notamment dans le secteur bancaire et des assurances) Perspective d ’amélioration de services OMC (Outil de mesure commune) Développé par l’ISAC dans les années fin 90 et début 2000 pour évaluer les services publics ACSI (American Customer Satisfaction Index)

Priorités en vue d’amélioration Le modèle de l’OMC Expérience antérieure à l’égard du service Client Attentes Importance Degré de satisfaction Impressions à l’égard du service reçu (Écart de service) Fournisseur du service Prestation du service Priorités en vue d’amélioration

Les modèles existants ACSI (American Customer Satisfaction Index) SERVQUAL Développé dans les années 80 et 90 par Parasuraman, Berry et Zeithalm Nombreuses applications commerciales (notamment dans le secteur bancaire et des assurances) Perspective d ’amélioration de services OMC (Outil de mesure commune) Développé par l’ISAC dans les années fin 90 et début 2000 pour évaluer les services publics ACSI (American Customer Satisfaction Index) Développé dans les années 90 aux É-U par le Michigan University Business School et l’American Society for Quality pour évaluer les services privés et publics Perspective macro-économique

Modèle de l’American Customer Satisfaction Index (ACSI) Source : Site Internet de l’ACSI. http://www.theacsi.org/overview.htm

2- La conception de l’OQM Point de départ: SERVQUAL Adaptation au contexte des services publics Prémisses: Doit évaluer des expériences de services Doit avoir une perspective d’amélioration de services Permet d’établir les déterminants de la satisfaction Orienté sur l’action Doit avoir une portée « universelle » Tous les modes de prestation Tous les services de nature transactionnelle Interaction entre un client et un organisme Services définis par une expérience pour laquelle on observe un début et une fin

Cadre conceptuel de l’OQM Qualité perçue du service Satisfaction Utilisation d’un service Définition: Qualité telle qu’évaluée par le client qui utilise le service. Il ne s’agit pas de la qualité objective du service mais de celle perçue par le client. La qualité n’est pas unidimensionnelle, elle est définie par plusieurs dimensions. L’évaluation de la qualité précède la satisfaction. La satisfaction est un « sentiment » qui est consécutif à l’expérience de service et qui succède à l’évaluation de la qualité. Dimensions du service

Première adaptation: la manière de mesurer la qualité Les attentes sont éliminées SERVQUAL: évaluation parallèle des attentes et des perceptions et calcul des écarts 5 dimensions, 44 énoncés (22 énoncés x 2) Travaux de Roy (2000) les perceptions sont suffisantes très peu de variance dans les attentes Problème méthodologique à calculer les écarts

Deuxième adaptation: le nombre de dimensions de la qualité Ajout de plusieurs dimensions au modèle de mesure de la qualité Travaux de Kano et de Llosa Il existe des attributs du service qui lorsque présents créent de la satisfaction, mais n’ont pas d’effets lorsqu’ils sont absents Il existe des attributs du service qui lorsque absents créent de l’insatisfaction, mais n’ont pas d’effets lorsqu’ils sont présents Schneider et Bowen Besoins fondamentaux: sécurité, justice, dignité OMC Aspects « procéduraux »: clarté du langage, simplicité des démarches, accessibilité

Troisième adaptation: le libellé des énoncés Les énoncés Comme SERVQUAL, l’OQM possède plusieurs énoncés par dimension Modification du libellé pour ancrer l’énoncé dans le contexte de l’expérience de service SERVQUAL mesure davantage la relation client-entreprise OQM doit mesurer la qualité perçue de la prestation lors d’une transaction précise

Enrichissement: satisfaction et ajout de variables La variable satisfaction a été mieux définie et enrichie de plusieurs énoncés Les travaux de l’Institut MORI (Angleterre) ont inspiré la rédaction des nouveaux énoncés Ajout de variables au modèle structurel

Le modèle conceptuel et les variables de l’OQM Les dimensions procédurales Les dimensions relationnelles Les dimensions fondamentales Simplicité Clarté Accès Empathie Fiabilité Empressement Apparence Justice Respect Confidentialité Résultats Conséquences Image organisationnelle Satisfaction Qualité perçue du service Coûts L’OQM cherche à mesurer la satisfaction de la clientèle et à expliquer le niveau de satisfaction. Le modèle proposé pose l’hypothèse que la satisfaction découlant d’une expérience de service s’explique, essentiellement, par trois facteurs: la qualité de la prestation de services; le résultat de l’expérience de service; le coût du service. L’OQM mesure la qualité de la prestation de services sous onze dimensions. Selon la nature du service une partie ou la totalité de ces dimensions sont pertinentes. Chaque dimension est mesurée à l’aide d’une série d’énoncés qui visent à cerner chaque aspect de la dimension. Cette façon de mesurer la qualité de la prestation de services permet permet d’élaborer des stratégies d’amélioration qui cibleront les dimensions qui ont le plus d ’effet sur la satisfaction de la clientèle. Ce modèle permet donc de vérifier si le niveau de satisfaction dépend surtout du résultat (ex. le montant de prestation reçu) ou surtout de la qualité de la prestation de services. L’OQM cherche également à mesurer les effets de la satisfaction ou de l’insatisfaction. Deux variables représentent ces effets dans le schéma ci-haut: la variable « conséquences » et la variable « image organisationnelle »

Plan de la présentation Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

L’image organisationnelle OBJECTIF: évaluer l’image sans égard à l’expérience de service Cinq aspects de l’image évalués sur une échelle de Likert Chaque aspect est cerné par plusieurs énoncés

Image organisationnelle... EXEMPLE : Les énoncés mesurant l’efficacité

Il n’est pas nécessaire d’utiliser les 40 énoncés. La qualité perçue OBJECTIF: évaluer la qualité perçue 10 dimensions évaluées par 40 énoncés sur une échelle de Likert Il n’est pas nécessaire d’utiliser les 40 énoncés.

Définition Apparence Fiabilité Empressement Empathie L’apparence des installations, des équipements, des supports visuels ou du site Web La capacité à fournir un service sans erreurs, avec exactitude et à respecter ses engagements L’engagement du personnel à fournir un service rapide et à aider les clients L’écoute et l’attention personnelle accordées aux clients Fiabilité Ces dimensions sont tirées des travaux de Parasuraman, Berry et Zeithaml qui ont crée l ’instrument SERVQUAL. ( Parasuraman, A., Berry, L. L., & Zeithaml, V. A. (1991). Refinement and Reassessment of SERVQUAL Scale. Journal of Retailing 67(4), 420-450). Chaque dimension est définie par 4 à 5 énoncés. Ces dimensions s’inspirent du modèle SERVQUAL. Parasuraman, Berry et Zeithalm (1991) Refinement and reassessment of SERVQUAL scale, Journal of retailing, 67(4)

Définition Justice Respect Confidentialité Le sentiment d’être traité avec justice Justice Le sentiment que la vie privée ou les renseignements personnels sont protégés Confidentialité Le sentiment d’être traité dignement, avec courtoisie Respect Ces dimensions s’inspirent des travaux de Schneider et Bowen Schneider, B et Bowen,D, Understanding Customer Delight and Outrage, Sloan Management Review, Automn 1999

Définition Accessibilité Clarté du langage Simplicité des démarches La facilité à avoir accès au service Clarté du langage La facilité à comprendre le langage utilisé par le personnel ou dans la documentation Simplicité des démarches La simplicité des démarches pour obtenir le service Ces dimensions s’inspirent des travaux de l’Institut des services axés sur les citoyens, notamment de l’OMC.

La qualité perçue

Le coût et le résultat OBJECTIF: mesurer l’appréciation du coût et du résultat

L’importance des dimensions OBJECTIF: évaluer l’importance de chaque dimension pour les usagers 10 énoncés qui reprennent la définition de chaque dimension et qui sont évalués sur une échelle mesurant l’importance.

6 énoncés qui évaluent le sentiment de satisfaction La satisfaction globale OBJECTIF: évaluer la satisfaction globale 6 énoncés qui évaluent le sentiment de satisfaction

Les conséquences OBJECTIF: décrire les conséquences découlant du niveau de satisfaction 7 énoncés qui décrivent les comportements et les attitudes en utilisant une échelle binaire (oui - non) À la suite de vos démarches, avez-vous parlé de façon négative du [nom du ministère ou de l’organisme] aux gens de votre entourage ? Avez-vous eu envie de vous plaindre du service que vous avez reçu du [nom du ministère ou de l’organisme] ? La prochaine fois que vous aurez affaire au [nom du ministère ou de l’organisme], pensez-vous que vous aurez une attitude positive ?

9 questions sur les délais d’attente ou les préférences Les normes de service OBJECTIF: évaluer les attentes des usagers quant aux normes de service 9 questions sur les délais d’attente ou les préférences

La prestation électronique de services OBJECTIF: évaluer les attitudes, les aptitudes et les perceptions des usagers à l’égard de la PÉS Attitudes à l’égard des produits technologiques 4 énoncés mesurant l’aisance technologique (Tiré du site Web www.bougez.com/echellesdemarketing) 4 énoncés évaluant le niveau d’habileté à utiliser Internet Aptitudes à utiliser Internet Qualité anticipée du service rendu par Internet 11 énoncés évaluant l’effet qu’aurait eu l’utilisation d’Internet sur le niveau de qualité.

Plan de la présentation Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

Validation du modèle de mesure Satisfaction Validation du modèle de mesure Validation du modèle structurel

Le processus de validation: les objectifs 1- Valider le modèle de mesure Approche qualitative (groupe d’experts) Validité faciale Validité de contenu Approche quantitative (sondage pilote et analyse factorielle confirmatoire) Fidélité Validité de construit Validité convergente Validité discriminante 2- Valider le modèle structurel Approche quantitative Modélisation par équations structurelles

1- Approche qualitative Basée sur le jugement et vérifie la validité de contenu Le contenu des énoncés mesure bien le concept visé Le concept est totalement cerné par les énoncés retenus Démarche utilisée Groupe de discussion réunissant des personnes familières avec l’évaluation de la qualité de service Réseau d’échange sur la satisfaction de la clientèle du Centre d’expertise des grands organismes

Approche qualitative (suite…) Fonctionnement du Groupe de discussion La capacité des dimensions à cerner totalement le concept de qualité de service La capacité des énoncés à cerner les dimensions auxquelles ils sont rattachés L’association des énoncés aux dimensions du modèle L’accessibilité du langage employé pour formuler les énoncés

Domaine conceptuel de la qualité Quels aspects de la qualité sont pertinents dans le contexte des services publics ? Qualité perçue du service Simplicité Clarté Accès Empathie Fiabilité Empressement Apparence Justice Respect Confidentialité

Domaine conceptuel de chaque dimension Quels aspects permettent de définir la notion de clarté ?

L’association des énoncés à chaque dimension

2- Approche quantitative Basée sur l’analyse des données Objectifs: Vérifier la pertinence du modèle de l’OQM Validation du modèle structurel Est-ce que les variables du modèle (qualité, résultat, coût) permettent d’expliquer la satisfaction ? Valider les dimensions et les énoncés proposés Validation du modèle de mesure Est-ce que la manière de mesurer les variables du modèle est adéquate ?

Approche quantitative (suite…) Démarche utilisée: 1re validation quantitative Hiver et printemps 2003 Sondage SAAQ (1150 répondants) et CLP (229 répondants) 2e validation quantitative Hiver et printemps 2004 Sondage MRCI 2127 répondants, 9 services, 6 partenaires Méthodes utilisées Analyse factorielle confirmatoire (AFC) et méthodes d’équations structurelles (MES)

Pertinence du modèle structurel Satisfaction Qualité perçue du service Coûts Résultats Équation structurelle: Satisfaction = Qualité + Résultats + Coûts + e Quelle part de la variance de la satisfaction est expliquée par le modèle ? L’OQM cherche à mesurer la satisfaction de la clientèle et à expliquer le niveau de satisfaction. Le modèle proposé pose l’hypothèse que la satisfaction découlant d’une expérience de service s’explique, essentiellement, par trois facteurs: la qualité de la prestation de services; le résultat de l’expérience de service; le coût du service. L’OQM mesure la qualité de la prestation de services sous onze dimensions. Selon la nature du service une partie ou la totalité de ces dimensions sont pertinentes. Chaque dimension est mesurée à l’aide d’une série d’énoncés qui visent à cerner chaque aspect de la dimension. Cette façon de mesurer la qualité de la prestation de services permet permet d’élaborer des stratégies d’amélioration qui cibleront les dimensions qui ont le plus d ’effet sur la satisfaction de la clientèle. Ce modèle permet donc de vérifier si le niveau de satisfaction dépend surtout du résultat (ex. le montant de prestation reçu) ou surtout de la qualité de la prestation de services. L’OQM cherche également à mesurer les effets de la satisfaction ou de l’insatisfaction. Deux variables représentent ces effets dans le schéma ci-haut: la variable « conséquences » et la variable « image organisationnelle » R2 de l’équation structurelle Indices d’ajustement

Validation du modèle de mesure 1- Validité convergente: Il y a validité convergente si les énoncés qui sont censés mesurer la même dimension sont corrélés entre eux. 2- Validité discriminante: Il y a validité discriminante si les énoncés qui sont censés mesurer des dimensions différentes sont faiblement corrélés entre eux.

Validation du modèle de mesure Q7A 0.79 Q7B 0.69 Q8A 0.38 Q8B 0.39 Q8D 0.24 Q8E 0.22 Q8F 0.36 Q8G 0.40 Satisfaction 0.46 0.56 0.78 0.87 0.88 0.80 0.12 0.28 Validité convergente: Il y a validité convergente si les énoncés qui sont censés mesurer la même dimension sont corrélés entre eux. Validité discriminante: Il y a validité discriminante si les énoncés qui sont censés mesurer des dimensions différentes sont faiblement corrélés entre eux.

Validation du modèle de mesure Q7A 0.38 Q7B 0.04 Q8A 0.39 Q8B 0.40 Q8D 0.22 Q8E 0.20 Q8F 0.34 Q8G Satisfaction 1.00 Coût 0.79 0.98 0.78 0.88 0.89 0.81 0.52 0.10 0.26

Plan de la présentation Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

1- La démarche à suivre pour utiliser l’OQM Définir le ou les services évalués L’expérience doit être: récente bien définie (quel service, quel mode de prestation) terminée

La démarche à suivre pour utiliser l’OQM... Établir quelles dimensions de la qualité sont pertinentes selon la nature du service selon les modes de prestation utilisés

La démarche à suivre pour utiliser l’OQM... Choisir les énoncés pour chaque dimension selon le mode de prestation, le contexte du service, l’interaction usager-employé Choisir les énoncés qui mesurent la satisfaction Choisir les questions permettant de cerner la démarche du client et les modes de prestation Choisir les questions permettant de connaître les résultats découlant de la demande de service Ajouter les énoncés sur les coûts, s’il y a lieu

La démarche à suivre pour utiliser l’OQM... Choisir les éléments pour lesquels on désire connaître les attentes de la clientèle Décider si on interroge la clientèle sur l ’importance des dimensions ou si l’importance sera calculée par l’analyse Décider si on utilise les énoncés sur l’image et sur les conséquences Décider si on utilise les variables de la section sur la prestation électronique de services Choisir les attributs sociodémographiques pertinents.

2- Le traitement des données LA SATISFACTION Indice de satisfaction calculé en faisant la moyenne des réponses aux énoncés portant sur la satisfaction Indice de satisfaction extrait par une analyse factorielle LA QUALITÉ PERÇUE Évaluation de la qualité par dimension Moyenne des énoncés Analyse factorielle

Le traitement des données... Effet de la qualité sur la satisfaction Quelle part de la satisfaction est expliquée par la qualité de la prestation de services? Analyse de corrélation Analyse de régression multiple Analyse par méthode d’équations structurelles Le R2 (ou le carré du coefficient de corrélation) indique quelle est cette proportion

Le traitement des données... L’importance de chaque dimension (Quel est l ’effet de chaque dimension sur la satisfaction ?) Introduire des énoncés sur l’importance des divers aspects Ici, l’importance est révélée par le répondant et le score moyen de chaque dimension indique l’importance des dimensions Analyse de régression multiple ou MES Ici, l’importance est dérivée par l’analyse et les coefficients de chaque variable indique la force de l’effet

Le traitement des données... Les priorités d’action Analyse de la matrice importance / qualité perçue On croise l’indice de qualité avec le coefficient (ou l’indice) qui mesure l’importance de l’effet On devrait prioriser les dimensions qui sont relativement plus importantes et dont la qualité est relativement plus faible

La qualité et l’importance des dimensions Qualité élevée et peu important Qualité élevée et important Qualité perçue Qualité faible et peu important Qualité faible et important Importance

Plan de la présentation Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre du projet pilote 2004

Faits saillants du projet pilote 2004 Enquête téléphonique réalisée du 31 mars au 28 mai 2004 auprès de 2127 répondants Précision statistique: marge d’erreur maximale de 2,1 % Durée des entrevues : entre 13 et 20 minutes Taux de réponse de 71,4 % à 88,6 % (selon méthode de l’AIRMS)

Les services évalués

Les services évalués

Satisfaction globale par type de service (moyenne sur 7)

Voici un tableau qui présente comment seront publiés les résultats dans le rapport gouvernemental. Il s’agit des résultats du projet pilote qui a permis de valider l’OQM. Il y avait 9 services répartis en trois catégories et 6 M/O participants. Je voudrais attirer votre attention sur deux éléments: 1- On remarque que les noms des M/O n’apparaissent pas. Les résultats sont présentés sous forme de moyenne par type de services. Les résultats individuels ont été remis à chaque M/O qui ont pu alors comparer leurs résultats à la moyenne de son groupe. 2- Les résultats sont très bons car la moyenne de la variable satisfaction globale est de 6,4 et 6,1 sur 7 pour les deux premiers types de services. Pour le troisième type de service la moyenne est de 4,9. Cet écart s’explique par la nature du service et le résultat des expériences de service évaluées. Dans le cas des démarches pour faire valoir leurs droits, environ le tiers des répondants ont indiqué avoir perdus leur cause.

Évaluation de la décision ou du montant reçu Évaluation par les répondants de la conclusion émise ou du montant reçu Rente/ Aide (n = 425) % Valoir ses droits (n = 544) TOTAL (n = 969) 1 = Totalement défavorable / Montant nettement inférieur 10,1% 29,4% 20,9% 2 5,9% 5,5% 5,7% 3 13,9% 9,4% 4 39,3% 9,9% 22,8% 5 19,5% 7,9% 13,0% 6 6,4% 9,7% 8,3% 7 = Totalement favorable / Montant nettement supérieur 4,9% 31,7% 19,9% Total 100,0% MOYENNE sur 7 3,91 4,17 4,06

Illustration des liens entre les variables du modèle structurel (résultats standardisés, expériences de services avec interaction directe client-employé) n=468 R 2 des équations structurelles : Satisfaction : R2 = 0,90 Conséquences : R2 = 0,91 Indices d’ajustement : Chi-deux = 2763,09; Chi-deux /ddl = 4,02; NNFI = 0,98; CFI = 0,98; PNFI = 0,90; SRMR = 0,046

La perception des coûts selon le type de service

La perception des coûts selon le type de service

Relation entre la perception du résultat et la satisfaction selon le type de service demandé Aide financière: montant reçu nettement inférieur aux attentes = 1 ou nettement supérieur aux attentes = 7 (Moyenne sur 7) Faire valoir ses droits: la décision totalement défavorable = 1 ou totalement favorable = 7 Ce graphique indique que lorsque la décision est fortement favorable (6 ou 7 sur l’échelle de 7) le niveau de satisfaction des personnes qui ont fait des démarches pour faire valoir leurs droits est aussi élevé (6,0 et 6,2) que celui des autres services. Dans le cas des démarches pour obtenir une aide financière, il est intéressant de constater qu’au delà du point milieu de l’échelle, la satisfaction plafonne. Autrement, dit, lorsque le montant reçu dépasse les attentes de la clientèle, cela ne semble pas avoir d’effet sur la satisfaction. Toutefois, si le montant reçu est inférieur aux attentes, l’effet sur la satisfaction serait important. Ce graphique fait donc ressortir trois éléments: la variable résultat est incontournable lorsque l ’on veut comprendre le niveau de satisfaction de la clientèle il est hasardeux de comparer directement le niveau de satisfaction de deux services de nature très différente, surtout lorsque la variable résultat joue un rôle important pour un des deux services. les répondants ont très bien compris l’échelle en 7 points puisque l’inflexion se produit au point milieu de l’échelle. Il est pertinent aussi de noter que l’utilisation d’une échelle en 4 points n’aurait pas permis d’observer ce phénomène d’inflexion.

Les priorités d’amélioration Type de service: certificats + - + Qualité perçue Les matrices « importance » / « qualité perçue » sont un instrument très utile afin de cerner les aspects du service auxquels il faut accordé la priorité. Il faut interpréter cette matrice ainsi: En abscisse (l’axe des x) on retrouve un indicateur de l’importance. Chaque dimension de la qualité est positionnée sur cet axe en fonction de l’importance de son effet sur la satisfaction. On remarque ici que la fiabilité est la dimension qui est la plus à droite sur l ’axe des « x », c’est donc la plus importante, celle qui a le plus d ’effet sur la satisfaction, alors que la tangibilité est la plus à gauche, c’est donc la moins importante. En ordonnée (l’axe des y) on retrouve la qualité perçue. Chaque dimension est positionnée en fonction de son score de qualité (moyenne des énoncés de la dimension). Ici, c’est la justice qui obtient le score le plus élevé alors que la tangibilité obtient le score le moins élevé. Lorsqu’on analyse simultanément les deux axes on en vient à classer chaque dimension dans un des 4 quadrants et ainsi à dégager les priorités. Quadrant D: dimensions prioritaires, car elles sont importantes et la qualité perçue est plus faible que la moyenne. Si on doit poser des actions pour améliorer le service, c’est ici qu’on doit le faire. Quadrant B: dimensions à consolider en priorité, car elles sont importantes et la qualité perçue est forte. On doit donc poser des gestes pour maintenir les acquis. Quadrant A et C: dimensions non prioritaires - Importance

Les priorités d’amélioration Type de service: aide financière + - + Qualité perçue - Importance

Les priorités d’amélioration Type de service: faire valoir ses droits + - Importance Qualité perçue

Les conséquences de la satisfaction Trois types de conséquences sont analysées: L’effet sur le personnel L’effet sur la réputation du M/O L’effet sur les plaintes Dans le secteur privé, la satisfaction ou l’insatisfaction de la clientèle a un effet direct sur la fidélité des clients et cela se répercute sur la rentabilité de l’entreprise. Dans le secteur public, de tels effets existent rarement. Cela ne signifie toutefois pas que la satisfaction de la clientèle n’a pas de conséquences ou encore, que de satisfaire la clientèle serait un but en soi. Nous pensons plutôt que la satisfaction ou l’insatisfaction de la clientèle peut avoir diverses conséquences. Dans le cadre de cette étude, nous en avons analysé trois. Nous avons donc voulu vérifier si la satisfaction de la clientèle peut avoir des effets: sur le personnel sur la réputation du ministère ou de l’organisme sur les plaintes ou les demandes de révision

L’effet sur le personnel On remarque que près de 80% des clients très insatisfaits ont laissé voir leur insatisfaction aux employés qui rendent le service alors que seulement la moitié de ceux qui étaient très satisfaits ont laissé voir leur appréciation.

L’effet sur la réputation On remarque que 26,6% des clients qui ont un score de satisfaction globale entre 4 et 5 ont parlé de façon négative du m/o, et 14,2% de ceux qui ont une cote de satisfaction entre 5 et 6 prétendent avoir eu le même comportement. Cela tend à confirmer l’idée que les gens vraiment satisfaits sont ceux qui ont utilisé les points les plus haut sur l’échelle de satisfaction. Devant ces résultats, il est difficile d’affirmer que le « groupe » des satisfaits inclut les gens qui ont accordé une cote de 4 et plus ou même de 5 et plus. Cela met aussi en lumière le danger d’utiliser une échelle en 4 points avec laquelle on additionnerait les gens qui ont coté 3 et 4.

L’effet sur les plaintes Section 4

Conclusion L’OQM est maintenant offert à tous les M/O qui peuvent l’utiliser pour réaliser leurs études de satisfaction Les objectifs sont atteints: Développer un outil standardisé, validé et qui s’adapte facilement au contexte de chaque service Faciliter l’étalonnage entre M/O Soutenir les M/O, notamment ceux qui peut d’expertise et d ’expérience dans la réalisation d’étude de satisfaction

Conclusion L’OQM et les firmes de recherche-marketing Les M/O vont continuer à faire appel aux services des firmes privées Les ressources professionnelles seront probablement déplacées de la conception du questionnaire vers l’analyse des résultats Volonté de réaliser avec l’OQM une enquête multiservice regroupant plusieurs M/O et plusieurs services

Instrument non fidèle et non valide Instrument fidèle et valide Instrument fidèle mais non valide Instrument non fidèle et non valide Vraie valeur Résultat de la mesure

Analyse factorielle exploratoire Dans une AFE, les facteurs (leur nombre et leur signification) et la structure factorielle ne sont pas connus a priori. La faiblesse de cette approche est la difficulté qu’on a parfois à donner une signification claire aux facteurs. x1 x3 x2 x4 x6 x5 F1 F2

Analyse factorielle confirmatoire Dans une AFC, les facteurs (leur nombre et leur signification) et la structure factorielle sont déterminés a priori. Le chercheur vise à mesurer les facteurs latents avec des variables observées qui sont censées mesurer le facteur ciblé. L’intérêt de cette approche est qu’elle permet de mesurer la fidélité et la validité de notre instrument, permettant alors de minimiser et de contrôler l’erreur de mesure. x1 x3 x2 x4 x6 x5 F1 F2

SCHÉMA 2: L ’AFC et l’erreur de mesure Variables observées x1 à x3 qui permettent de mesurer le facteur ou la variable latente (F1) Facteur (variable latente) qui a été extrait des variable observé. Ce facteur est dépouillé de l’erreur de mesure des variables observées. x3 x1 x2 F1 Variable latente e3 e2 e1 Erreur de mesure (e1 à e3) associée à chaque variable x1 à x3 et qui a été extraite par l’AFC

SCHÉMA 3: Modèle de structure Qualité Variable latente exogène Satisfaction Première variable latente endogène Confiance Seconde variable endogène Résultat a1 a2 b1 Équations structurelles qui représentent ce modèle: Y2= a0 + b1 y1 Y1 = a0 + a1 x1 + a2 x2 + e a0 est la constante Y1 est la satisfaction, soit la première variable endogène Y2 est la confiance, soit la seconde variable endogène X1 et X2 sont la qualité et les résultats, soit les variables exogènes a1 , a2, , b1 sont les coefficients estimés par le modèle afin de vérifier les liens de causalité entre les variables et d’en calculer les effets. e est l ’erreur de spécification du modèle.

Qualité Modèle de structure Modèle de mesure des variables exogènes (x) défini par l’AFC Modèle de mesure des variables endogènes (y) défini par l’AFC x6 e6 e5 e4 e3 e2 e1 y1 y2 F1 Variable latente exogène e1 e2 e3 e4 Satisfaction Première variable latente endogène Qualité Variable latente exogène x5 x4 F2 Variable latente exogène x3 y3 Image Seconde variable latente endogène Modèle de structure Ici, il y a deux équations structurelles illustrées par les flèches pleines car il y a deux variables endogènes. x2 y4 x1 NOTE: e1 à e6 sont les erreurs de mesures qui ont été extraites par l ’AFC