Élaboration du questionnaire Cours ENP7304 Méthodes de recherche et d'intervention en milieu organisationnel Lucie Daignault, Ph.D 27 octobre 2016

La formulation des objectifs Définir vos objectifs en fonction de vos interrogations (ce que vous souhaitez obtenir comme information) Déterminer les indicateurs nécessaires (exemples : fréquentation de lieux ? Types de visite ? Comportements de visites ? Appréciation ?) Les mesures objectives Les caractéristiques de l’individu Les faits (comportements, connaissances, les types de formations) Les mesures subjectives Les opinions Les jugements, valeurs La satisfaction

Les indicateurs Les objectifs Dimensions Indicateurs Relever les habitudes culturelles des visiteurs   Sommes allouées aux loisirs culturels mensuellement Moins de 20 $ De 20 à 39 $ De 40 à 59 $ De 60 à 79 $ 80 $ ou plus Les loisirs pratiqués Le cinéma Le musée Le théâtre Les types de musées fréquentés Musée de beaux-arts Musée de sciences et techniques Musée de société La fréquence des visites au musée Une fois par semaine Une fois par mois Une fois par année

Exercice : Quels sont les objectifs ? De l’enquête sur l’impact touristique de l’exposition Égypte magique? De l’enquête auprès des utilisateurs de l’application mobile dans l’exposition Samouraï ? Distribuer les questionnaires et laisser 10-15 minutes pour l’identification des objectifs. Retour en grand groupe. Indiquer que généralement les objectifs débutent par un verbe, sont réalisables, sont mesurables (peuvent être traduits en questions)

Les objectifs pour la clientèle touristique de Égypte magique Relever la durée du séjour Relever les sommes dépensées lors de leur séjour Relever le motif de la venue à Québec Identifier les sources d’information Relever l’influence de Égypte magique sur la venue à Québec Relever les habitudes de fréquentation du Musée Identifier les comportements lors de leur passage au Musée Relever leur appréciation Relever le portrait sociodémographique

Les objectifs pour les utilisateurs de la visite avec un iPod dans Samouraï Déterminer par quel(s) moyen(s) les visiteurs ont été informés de l’application Déterminer si cette application mobile constitue une motivation à visiter Samouraï pour les familles Relever les réactions des participants sur la navigation, l’ergonomie, l’interface graphique et le fonctionnement de l’appareil Déterminer si le jeu est réalisé en entier ou partiellement Identifier le degré de satisfaction pour l’ensemble de l’expérience de visite Vérifier si la visite avec un iPod confine le visiteur uniquement à son contenu ou si elle favorise l’exploration d’autres zones de l’exposition Déterminer les préférences des visiteurs et les irritants Relever si ce type de visite favorise les découvertes Identifier le profil sociodémographique des utilisateurs

L’ÉLABORATION DU QUESTIONNAIRE Les éléments constitutifs Les règles de base d’une bonne question et d’une bonne réponse Les types de questions

LE QUESTIONNAIRE : LES ÉLÉMENTS CONSTITUTIFS L’identification de l’institution Le mot de présentation La date de l’enquête L’identification de l’enquêteur La météo L’affluence Le mode d’administration Les indications sur la façon de répondre Les rubriques Les questions fermées Les questions ouvertes Les questions filtres Les données sociodémographiques Les codes L’espace réservé à la codification Le mot de remerciement

Les types de questions Question dichotomique (propose 2 choix de réponse) Question à choix multiples (exemple : la formation a été facile, plus ou moins facile, difficile) Question avec énumérations d’éléments (exemple : les sources d’information) Question de pointage (encerclez les choses que vous avez le plus appréciées lors de la formation ) Question d’appréciation (indiquez votre degré de satisfaction générale pour chacun des élémets suivants : Question d’accord Question de classification (exemple : parmi une liste, indiquez les 3 catégories de loisirs préférées en ordre décroissant) Question sémantique différentielle (pour chaque couple d’adjectifs opposés, dites-moi celui qui caractérise le mieux l’exposition…)

La formulation des questions Chaque question doit être neutre . On évite : est-il vrai que les jeunes fréquentent peu les musées ? Parmi les éléments suivants, lesquels nuisent à votre visite de l’exposition ? Introduire une seule idée à la fois. Avez-vous des amis immigrants au travail et en dehors ? La question doit être la plus courte possible. Les termes doivent être clairs et compris de la même façon par tous. Selon vous, ces expositions offrent-t-elles une lecture «actuelle», à jour de l’histoire du Québec ? 2 interprétations : traite de sujets contemporains ou traite les sujets en lien avec les nouvelles théories développées par les historiens

Erreur dans la formulation En quoi le problème de l’immigration vous préoccupe-t-il ? Problème : Cette question présuppose que le problème de l’immigration tracasse l’informateur Suggestion Que pensez-vous de l’immigration de façon générale

Erreur dans la formulation Classez les thèmes du plus intéressant au moins intéressant La vie en Nouvelle France L’école des Ursulines La vie des religieuses dans le cloître La création artistique des Ursulines de Québec Problème : si le jeune n’a trouvé aucun thème intéressant comment peut-il répondre à cette question ? Suggestion Pour chacun des thèmes suivants, indiquez votre degré d’intérêt Très intéressé, plus ou moins intéressé, pas intéressé

Erreur dans la formulation Enquête auprès d’enseignants Les documents suivants vous ont été envoyés avec la confirmation de votre réservation. Vous ont-ils été utiles ? Fiche descriptive de chaque activité dirigée Fiche à l’intention des enseignants Fiche «comportements attendus» Problème : comment l’enseignant qui n’a pas reçu ces documents peut-il répondre à cette question. Suggestion Pour chacun des documents que vous avez reçus lors de votre réservation, indiquez si vous les avez consultés et si oui, s’ils vous ont été utiles

La formulation des choix de réponses Toutes les réponses proposées doivent être plausibles, explicites, exhaustives, et exclusives. La formulation ne doit pas orienter les réponses dans une direction donnée.

Erreurs dans la formulation Quels sont les éléments que vous avez préférés dans cette exposition ? Degré 1 à 5; (1 étant peu et 5 beaucoup) Textes 1 2 3 4 5 Images 1 2 3 4 5 Jeux 1 2 3 4 5 Vidéos 1 2 3 4 5 Problème : les choix de réponses ne correspondent pas à la question Suggestion : indiquez votre degré d’intérêt pour chacun des aspects suivants. Puis à la fin de la question : quel est votre préféré ?

Les questions filtres Certaines questions ne s’appliquent pas à tous les répondants. Les questions filtres dirigent le répondant vers les questions pertinentes en l’invitant à passer outre les questions qui ne s’adressent pas à lui. Avez-vous déjà visité le Musée National des Beaux- arts ? Oui Non (Passez directement à la question 8 ou branchement conditionnel)

La mise en forme du questionnaire Le texte de présentation (logo de votre institution) Des indications sur la façon de répondre Questions obligatoires ou non ? La longueur L’ordre des questions Commencer par des questions faciles, attrayantes Regrouper les questions par thèmes afin de présenter une continuité à l’informateur Placer les données sociodémographiques à la fin

L’importance du prétest Mettre au jour les lacunes du questionnaire L’incompréhension de la question Le choix de réponses déficient La question filtre ou le branchement conditionnel: s’assurer qu’elle dirige le répondant au bon endroit La longueur du questionnaire Les conditions matérielles de l’enquête Les problèmes techniques Le fonctionnement des collecteurs

Qui interroger et comment sélectionner les personnes ? les étapes Délimiter la population à l’étude Constituer un échantillon Choisir un type d’échantillonnage Déterminer la taille de l’échantillon

Délimiter la population La population : ensemble d’éléments ayant une ou plusieurs caractéristiques en commun qui les distinguent d’autres éléments (peuvent être des individus, ou non). L’évaluateur doit définir la population pertinente pour l’étude qu’il se propose de réaliser

Délimiter la population Enquête générale de public Toutes les catégories de visiteurs ? Familles ? Touristes ? Locaux? Groupes organisés ? Groupes scolaires ? Tous les groupes d’âge ? Évaluation d’une application mobile Les utilisateurs uniquement? Tous les visiteurs? Les visiteurs qui ont manipulé un certain temps? Tous les groupes d’âge? Une clientèle particulière ?

CHOISIR UN TYPE D’ÉCHANTILLONNAGE Ensemble des opérations permettant de sélectionner un sous-ensemble d’une population en vue de constituer un échantillon. Il existe 2 grands types d’échantillonnage Probabiliste Non probabiliste

TYPES D’ÉCHANTILLONNAGES Probabiliste Exige une liste de tous les éléments étudiés pour pouvoir estimer la probabilité qu’à chaque individu d’être choisi Les éléments nécessaires Une base de population La connaissance de la chance de chaque individu d’être sélectionné Un tirage au sort Non probabiliste La probabilité qu’un élément d’une population soit choisi pour faire partie de l’échantillon, n’est pas connu. Les résultats ne peuvent donc être généralisés à toute une population

Les échantillons probabilistes Livre (p53-55) L’échantillon aléatoire simple. Dans ce cas, c’est le hasard qui sert à sélectionner les informateurs. L’échantillon en grappes La base de population dans l’échantillonnage en grappes n’est donc pas une liste d’individus, mais une liste de groupements. C’est le cas lorsque des élèves d’une école sont choisis non à partir d’une liste de noms, mais à partir d’une liste de groupes cours (exemple Démocratie en route). Échantillon stratifié. Il s’agit ici de créer des sous-groupes qui présentent une certaine homogénéité parce qu’il est présumé que les individus composant chaque strate ont des ressemblances et que chaque groupe est distinct des autres (exemple si l’étude porte sur l’intérêt des publics pour une exposition sur le hockey)

Les échantillons non probabilistes L’échantillon à l’aveuglette ou accidentel Dans le cas d’une évaluation sommative d’une exposition, les visiteurs sont sélectionnés de manière tout à fait arbitraire parmi la population qui, elle, est composée de l’ensemble des visiteurs de l’exposition L’échantillon de volontaires Exemple des panels web L’échantillonnage par quotas Il est basé sur certaines caractéristiques de la population qui doivent être reproduites en proportion dans l’échantillon. Par exemple, si la recherche porte sur les visiteurs d’une exposition et si des données sont disponibles sur la proportion des visiteurs du musée par groupes d’âges, il est possible de constituer un échantillon respectant ces mêmes proportions pour chaque groupe d’âge (exemple Trois pays dans une valise) L’échantillonnage boule de neige Tous les éléments sont choisis en fonction de leurs liens avec un noyau d’individus.

Déterminer la taille de l’échantillon La marge d’erreur et le niveau de confiance Qu’est-ce que la marge d’erreur ? Lorsque la marge d’erreur est de 4 %, cela signifie que les réponses obtenues dans le cadre du sondage sont représentatives de la population cible, plus ou moins 4 %. Par exemple, si 43 % des répondants ont répondu « oui » à la question « Est- ce votre première visite au Musée », on peut considérer que parmi l’ensemble des visiteurs du musée, entre 39 % et 47 % (43 % plus ou moins 4 %) en sont à leur première visite. Un niveau de confiance de 95 % (ou 19 fois sur 20, puisque 95 %=19/20) signifie que la marge d’erreur établie serait la même pour 19 échantillons sur 20 tirés d’une même population,   90% 95% 99% échantillon Marge d’erreur 100 8.2% 9.8% 12.9% 150 6.7% 8.0% 10.5% 200 5.8% 6.9% 9.1% 250 5.2% 6.2% 8.1% 300 4.7% 5.7% 7.4% 400 4.1% 4.9% 6.4% 500 3.7% 4.4% 1 000 2.6% 3.1%

EXEMPLE D’UN CALENDRIER D’ENQUÊTE   Dimanche Lundi Mardi Mercredi Jeudi Vendredi Samedi JUIN 10h-12h 10 20 13h-15h 30 16h-18h 40 Total juin 90 JUILLET Total juillet 110 AOÛT 50 Total août SEPTEMBRE Total septembre Grand total/jour 80 70 60 420

Les modes d’administration Par entrevues Face-à-face Téléphones Auto-administré De main à main Postal Internet Sondage en ligne (où le diffuser ?

Avantages du sondage en ligne Permet de rejoindre rapidement un grand nombre de personnes Permet tous les formats de questions (fermées et ouvertes) et divers types de questions ont déjà été préparés Compile automatiquement les réponses ce qui permet un suivi quotidien (exemple : les enseignants) Permet de consulter les réponses individuelles Présente les réponses sous formes de tableaux et de graphiques (économie importante pour la codification et la saisie sur des logiciels d’analyse) Télécharge les résultats (PDF, EXCEL, SPSS, etc.)