Thème 5 (suite) : le développement des échelles de mesure Les étapes de construction d'un questionnaire Les grands types d'échelles Techniques de conception des échelles Formuler les questions Rédiger le questionnaire

Les étapes de la construction d'un questionnaire Déterminer quelles informations on veut obtenir Déterminer le type de questionnaire à utiliser (structuré, non structuré) Déterminer le type de questions (ouverte, fermées) Déterminer le contenu de chaque question Décider des mots à utiliser dans la question Décider de la séquence des questions Décider de la présentation du questionnaire Pré-tester le questionnaire Révision et copie finale du questionnaire

Qu'est-ce que le développement d'échelles? C'est assigner des nombres aux indicateurs des propriétés des objets. Les échelles peuvent être classifiées : Selon l'objet : mesurer les caractéristiques du répondant ou lui demander d'agir comme juge. Selon le type d'échelle (catégorique ou de classification) Selon le degré de préférence (implique ou non un jugement sur la préférence du répondant) Selon les propriétés de l'échelle (nominale, ordinale, intervalle, ratio) Selon le nombre de dimensions Selon la méthode de construction utilisée (arbitraire, consensus, analyse d'item)

Les méthodes de réponse Les échelles catégoriques (rating scales) Surtout utilisées pour juger des propriétés d'objets sans référence à d'autres objets similaires. (aimer-ne pas aimer, accord -neutre- désaccord, favorable -défavorable, important-pas important). Les échelles de comparaison (ranking scales) Il s'agit de demander au répondant de comparer 2 ou plusieurs objets

Les types d'échelles catégoriques Catégorie simple. (oui-non). Possédez-vous un ordinateur personnel? Catégories multiples, réponse unique.(collectivement exhaustive !) Où travaillez-vous le plus à l'ordinateur ? À la maison Au bureau Dans une maison d'enseignement Ailleurs (spécifiez)

Les échelles catégoriques (suite) Choix multiple, réponses multiples Noter tous les endroits où vous utilisez un ordinateur À la maison Au bureau Dans une maison d'enseignement En voyage Ailleurs (spécifiez)

Les échelles catégoriques (suite) Echelle de Likert : très utilisée pour la mesure des attitudes (généralement 5 à 7 catégories). Généralement considérée comme d'intervalle "Internet est supérieur aux bibliothèques traditionnelles pour faire des recherches approfondies" Tout à fait en désaccord Ni en accord ni en désaccord Tout à fait d'accord Pas d'accord D'accord (5) (4) (3) (2) (1)

Les échelles catégoriques (suite) Echelle de sémantique différentielle. Intervalle. Utilisée par plusieurs chercheurs en S.I.pour mesurer des croyances concernant un attribut ou un attribut spécifique. Satisfaction de l'usager. Qualité du service aux usagers. Principe : évaluation d'un item sur une échelle de 7 points où les limites inférieure et supérieure sont une paire de descripteurs bipolaires. Fort-faible, complet-incomplet, positif-négatif, actif-passif, …Avantages : considérée d'intervalle - mesure la direction et l'intensité. Moins de distorsion. Comment jugez-vous notre service aux utilisateurs ? ___ : ___ : ___ : ___ : ___ : ___ : ___ : Poli Rapide Impoli Lent ___ : ___ : ___ : ___ : ___ : ___ : ___ :

Les échelles catégoriques (suite) Echelle numérique : possède des intervalles numériques égaux.Ancrée aux deux extrémités. Le nouveau programme de support aux utilisateurs : ___ Le nouveau systèmes de facturation interne : ____ Avantage : d'intervalle, simple, très populaire Echelle catégorique multiple : le répondant encercle ses réponses, permet la visualisation Extrêmement Favorable Extrêmement défavorable 5 4 3 2 1

Les échelles catégoriques (suite) Echelle à somme fixe : on demande au répondant de répartir un montant (par exemple 100 points) entre différentes catégories. Echelle ratio, données continues. Nous souhaitons connaître vos intentions quant à la répartition de vos dépenses informatiques au courant de la prochaine année. Répartissez 100 points entre les différents types de dépenses suivantes : Systèmes stratégiques Systèmes traditionnels et maintenance Architecture (matériel, logiciel, télécom) Systèmes d'aide à la décision Autres TOTAL 100

Les problèmes à éviter avec les échelles catégoriques Le biais de complaisance : tendance à émettre des jugements plus favorable. Tenter de l'anticiper en modifiant les énoncés : faible-acceptable-bon-très bon-excellent Le biais de complaisance négative : tendance à émettre des jugements défavorables La tendance centrale : tendance à ne pas donner de jugements extrêmes. Ajuster la force des descripteurs, écarter les descripteurs du centre, limiter les différences de significations des descripteurs aux extrêmes, utiliser plus de points dans l'échelle L'effet de halo : biais systématique que l'évaluateur introduit du fait de son impression générale sur le sujet

Les types d'échelles de classification Les comparaisons pairées : préférence entre des objets comparés deux à deux. Nombre de combinaison = (n*n-1)/2. Maximum 5 ou 6 objets. Attention à la cohérence des réponses. Si A>B, B>C alors A>C Les classification forcée : on force le répondant à ordonné une liste d'objets. Les échelles comparatives : utilisée pour le benchmarking. Par rapport à celui de votre principal concurrent, votre département S.I.est: Supérieur Equivalent Inférieur _____ _____ ______ ______ ______ 1 2 3 4 5

Exemple Description des échelles utilisées par Barki et al. (1992)

Techniques de conception des échelles Arbitraire : amasser plusieurs énoncés que l'on pense être représentatifs (non ambigus) Consensus : les énoncés sont sélectionnés par un panel d'experts qui les évaluent sur leur pertinence, leur potentiel d'ambiguïté et le niveau d'attitude qu'ils représentent. Analyse d'énoncés. Evaluer chaque énoncé pour savoir s'il discrimine bien entre les personnes dont le score total est élevé et celles dont le score total est faible. Faire un pré-test

Techniques de conception des échelles (suite) Ex. utilisation d'Internet : 4 indicateurs J'utilise beaucoup Internet pour mon travail J'utilise Internet chaque fois que c'est possible pour mon travail J'utilise fréquemment Internet pour mon travail J'utilise Internet chaque fois que c'est approprié pour mon travail Score total : somme des scores pour tous les énoncés Identifier 2 groupes de répondants : groupe 1 : les 25% de scores totaux les plus élevés groupe 2 : les 25% de scores totaux les plus faibles Sélectionner les énoncés qui discriminent le mieux les 2 groupes

Techniques de conception des échelles (suite) Les échelles factorielles

Les dimensions d'une échelle Unidimensionnelle (1 ou plusieurs items) Multidimensionnelle (plusieurs items)

Evaluer le contenu de chaque question Déterminer le contenu de chaque question Est-ce que la question est nécessaire? Est-ce que le répondant possédera l'information demandée? Est-ce que l'information voulue est partie inhérente de l'expérience du répondant? (Questions filtres, condition d'échantillonnage) Est-ce que le répondant se rappellera de l'information demandée? Est-ce que le répondant devra fournir beaucoup d'effort pour donner l'information voulue? Est-ce que le répondant répondra à la question? (coopération) Est-ce que une seule question suffit pour obtenir l'information désirée?

Décider des mots à utiliser Définir le point à couvrir par la question Question objective ou subjective Enoncés positifs ou négatifs Utiliser des mots simples Eviter les questions ambiguës (normalement, habituellement, fréquemment, …) Eviter les questions qui suggèrent la réponse Eviter les questions qui impliquent une généralisation Utiliser la réplication avec des mots différents quand c'est possible

Décider de la séquence des questions Utiliser des questions d'ouverture qui suscitent l'intérêt du répondant Questions simples ou d'opinion. Mettre les questions difficiles au milieu du questionnaire. Considérer l'influence d'une question sur la suite des questions. P.ex. si oui, aller à la fin du questionnaire. Placer les questions dans un ordre logique pour le répondant Accorder une attention particulière à l'ordre des questions pour les questionnaires postaux, par Internet, etc..

Décider de la présentation La qualité de la présentation physique influence les attitudes des répondants Faciliter le contrôle et la codification-numérotation Faciliter la manipulation : petit format, texte aéré, place pour annoter, instructions claires, etc...