Tests et Experimentation

Présentation au sujet: "Tests et Experimentation"— Transcription de la présentation:

1 Tests et Experimentation
Pierre DESMET Master MARKETING / Pierre Desmet

2 Organisation du cours 1/3
Objectifs : à l’issue du cours, l’étudiant doit Connaître le principe de base et les limites des différentes méthodes Savoir les mettre en œuvre Savoir interpréter les résultats Savoir choisir la méthode la plus adaptée à l’objectif de l’étude et à la nature des données Animation : Lecture autonome d’un livre de référence par l’étudiant Présentation et discussion des éléments clés en cours Application de la méthode (mise en œuvre et interprétation) sur des cas Travail autonome de traitement d’une base de données Contrôle Quiz (50%) – séance 7 30 octobre Contrôle continu (50%) Cas créative (groupe de 4)

3 Organisation du cours 2/3
Lecture obligatoire des chapitres avant chaque séance Jolibert A. et Jourdan P. (2006), Marketing research, Dunod Chapitres 7, 9 , 10, 19 section 1 Transparents à télécharger Autres Lectures Giannelloni J.-L. et Vernette E.(2012), Etudes de marché, 3ème édition, Vuibert. Evrard, Y, Pras B. et Roux E. (2009) MARKET, Dunod, Paris. Programme : Analyses univariées Analyses bivariées Mesures d’association entre deux variables Expérimentation Analyse de variance Régression logistique

4 La démarche de l’étude (1/2)
1. Préciser la question managériale (et les options) 2. Comprendre le contexte et l’influence de celui-ci sur la problématique 3. Préciser les critères de choix et les seuils retenus 4. Elaborer un cadre théorique Il relie la question managériale au critère de choix Il représente votre raisonnement « expliquant » l’effet de votre décision sir le critère de choix 5. Identifier les hypothèses « Validées » (information connue de source documentaire, par l’expérience,…) « à valider » : l’information est à collecter sur Le niveau, la distribution d’une variable La corrélation entre deux variables L’effet (causalité) d’une variable sur une autre 6. Décrire le Protocole de collecte des données Quelles informations ? Recueillies sur quel échantillon (le même ? Différent ?) Contacté comment ? Avec quel type de mesure, observation, …

5 La démarche de l’étude (2/2)
7. Choisir les (échelles de ) mesure(s) 8. Préparer le Plan de dépouillement Pour chaque hypothèse, la méthode statistique qui va permettre de « tester » l’hypothèse à valider 9. Terrain Réaliser la collecte Vérifier la qualité des données, éliminer les outliers (données aberrantes) Restructurer les données (questions au choix, réponses multiples,…) 10. Analyses statistiques Analyse des résultats statistiques Conformité avec les attentes Approfondissement (étude des modérateurs, des médiateurs) 11. Synthèse 12. Recommandations (/ question managériale)

6 La question managériale
C’est une DECISION à prendre Un choix entre deux ou plusieurs OPTIONS Dont l’une est souvent « NE RIEN FAIRE » Exemple Faut-il lancer le nouveau produit ? Oui Non , le retravailler Non, l’abandonner Faut-ii placer une mention « green » sur les rasoirs de la marque B.. Non, aucune mention Oui, la mention M1 Oui, la mention M2 Quelques problématiques peuvent conduire à des études plus descriptives Dinh Van doit-il modifier sa communication publicitaire (actuellement avec des publicités « désincarnées ») ? Étude du positionnement des marques de bijoux et de la cohérence entre le positionnement et l’image de Dinh Van

7 Cadre conceptuel Formalisme du rôle des variables
Boite : variable Nature : nominale, ordinale, quantitative (ratio/métrique) Fleche : influence directionnelle ou non d’une variable sur une autre Sens, Forme, Force Dépendante (Y) et indépendante (X) (1) effet directionnel (causalité) (2) association, corrélation Variable modératrice (1) : elle modifie la relation entre deux autres variables Variable médiatrice (2) : elle est intermédiaire pour expliquer la relation entre deux variables Ce n’est pas parce qu’une variable vous intéresse qu’elle est la plus importante Variables de contrôle Elles ne sont pas manipulées mais ont un effet important sur la variable dépendant e (souvent segmentation) X 1 X Y 2 1 Z 2 X Y X Z Y W X Y

8 Cadre conceptuel : Par quel raisonnement la décision a-t-elle un effet sur le critère de décision ?
Est-ce que mon initiative va avoir un effet ? Celui anticipé ? Construisez votre raisonnement à partir de vos connaissances marketing Pourquoi cette variable devrait-elle avoir une effet sur la variable dépendante ? Comment s’exprime cet effet ? De quelle autre variable ou contexte peut-il dépendre ? Comment faire ? reprendre vos théories sur le comportement du consommateur Sur les comportements L’achat, La fidélité, le réachat, L’attrition Sur les variables d’état La notoriété, La perception, La valeur, La satisfaction, La fidélité, L’engagement Sur les variables de segmentation Socio, démographiques, Attitudes, Besoins Sensibilité, implication, risque perçu,.. Sur les principales variables d’action Distribution, Visibilité, Prix, Promotion

9 Cadre conceptuel Formuler une hypothèse
Savoir si l’hypothèse concernant la population en général correspond aux données empiriques Donc si l’on peut utiliser cette hypothèse dans un raisonnement Une hypothèse ‘La distribution des paniers d’achat correspond à une loi Normale’ ‘Le panier moyen est de 35 €’ (valeur des paramètres d’une loi) La relation entre 2 variables ‘Plus le client est fidèle plus il est rentable’ ‘Les femmes ont un montant moyen d’achat supérieur à celui des hommes’ Le changement de l’ingrédient X ne modifie pas le goût du produit Il ne s’agit pas de « valider » une hypothèse (au mieux « supportée ») H0 représente « la connaissance actuelle » (hypothèse la plus plausible) Mais plutôt de l’invalider, de la « rejeter » Parce que les données montrent que, au moins pour ces données, l’hypothèse n’est pas conforme à la « réalité observée » sur l’échantillon.

10 Formuler une hypothèse Des hypothèses claires et précises (testables)
Il faut pouvoir exprimer l’hypothèse en une différence à tester Etre exigeant sur la clarté et la précision : quelles variables, quelles mesures ? Précisément : Relation positive, négative … Linéaire, curviligne ? … Exemples (bons ?) La consommation est influencée par l’âge Plus l’âge est avancé, plus la consommation est importante Les seniors sont plus préoccupés par les questions de santé La variance des réponses des hommes sur la variable X est identique à celle des femmes La proportion des femmes est la même dans le groupe des acheteurs et dans le groupe des non-acheteurs Les femmes ont une intention d’achat plus élevée que les hommes

11 Un modèle opérationnel : La promotion a-t-elle un effet sur l’activité des clients ? Sur leur rétention ? Genre H5 H4 Promotion CA_1 Actif/Inactif t2 H1 H3 CA_0 H2 Exemples d’Hypothèses Plus la pression promotionnelle est forte, plus le CA est élevé Plus le CA en t0 est élevé, plus le CA en t1 est élevé Plus le CA en t1 est élevé, plus la probabilité d’inactivité en t2 est faible Pour les femmes, l’effet positif de la promotion sur le CA est plus important que pour les hommes Les femmes ont CA plus élevé que celui des hommes

12 Protocole de collecte Plans expérimentaux
Un effet est mis en évidence par une comparaison de mesures faites à un moment différent ou sur un groupe d’individus différent Quelles comparaisons ? Entre les groupes d’individus (échantillons indépendants) comparaison entre les groupes (between) Comparabilité des échantillons Limite l’effet « cobaye » Entre les réponses d’un même groupe (échantillons appariés) évaluation successive (within) Élimine la variance individuelle Biais de l’effet d’ordre (rotation des stimuli) à contrôler Moins gourmand en effectif Expérimentation Double affectation aléatoire des individus aux cellules ; des traitements aux cellules Observation – Mesure Traitement A O X

13 Protocole de collecte Plans classiques
Quasi-expérimental : « après seulement » Pas de contrôle de l’affectation aléatoire Avant-après (O2-O1) Après avec groupe de contrôle Comparaison de 2 échantillons indépendants Avant-après avec groupe de contrôle (O2-O1) - (O4-O3) Plan Solomon Après seulement Groupe 1 X O1 Avant - Après – Groupe de contrôle Groupe 1 A O1 X O2 Après seulement – Groupe de contrôle Groupe 1 A X O1 Groupe 2 O2 Avant - Après – Groupe de contrôle Groupe 1 A O1 X O2 Groupe 2 O3 O4 Solomon 4 groupes Groupe 1 A O1 X O2 Groupe 2 O3 O4 Groupe 3 O5 Groupe 4 O6

14 Choisir les échelles de mesure Propriétés d’une mesure
La mesure est imparfaite Validité : Adaptation de l’item au concept : biais Sensibilité : Capacité à détecter de faibles écarts Fiabilité : Fournit le même résultat lors d’ applications multiples

15 Choisir les échelles de mesure Variables manifestes (mesures directes)
Echelle de mesure d’une variable Discrète Classée en modalités non ordonnées : échelle nominale Quelle marque préférez vous ? A- B - C Transformée en variable binaires: variable binaire (dummy) Avez-vous un Ipad ? Oui - Non Éventuellement ordonnées(aussi pour le comptage): A quelle fréquence allez-vous au cinéma ? 1f sem / 1 à 2 f mois / 1 à 2 f trim / moins souvent / jamais Un rang de classement (tri) Continue Avec variable latente continue : échelle catégorisée (ordinale Likert) Je suis un client fidèle de carrefour : Tout à fait d’accord (1) – pas du tout d’accord (5) Échelle bipolaire : que pensez vous de cette marque ? Traditionnelle 0–0—0—0—0—0 Moderne Sans zéro absolu : échelle intervalle : Donnez une note de 1 à 10 Avec un zéro absolu : échelle ratio Répartissez 11 points sur les marques en fonction de votre intention d’achat Conséquences des choix Facilité, qualité, précision de la réponse obtenue A chaque type de variable correspondent un traitement statistique Bien penser aux analyses futures lorsque vous choisirez un type de mesure

16 Choisir les échelles de mesure Quelles sont les sources des variations / d’erreur ?
Source Probabiliste (due à l’échantillon) Taille de l’échantillon : proportionnelle à 1/racine (n) Variance de la population (stratification) Source Non probabiliste (systématique) due à la collecte, au terrain, au traitement À la non réponse : Réduire la non réponse,… À la mauvaise couverture de la cible ?,… A l’instrument : Pré-test, démarche structurée,… Au mode de collecte (enquêteur, …) : Formation, supervision,… Aux erreurs de (pré)traitement : Précodification, double codification… A retenir L’erreur non probabiliste est Toujours plus importante et plus grave que l’erreur probabiliste L’influence des erreurs non probabiliste est d‘autant plus importante que la taille de l’échantillon est faible

17 Préparer un Plan de dépouillement : Choisir le test adapté à la nature des variables
Les femmes ont CA plus élevé que celui des hommes CA(F) > CA(H) 1 variable nominale influence une variable quantitative Test de comparaison de moyennes Hypothèse du test : Normalité et égalité des variances V(F)=V(F) Test de Levene Plus la pression promotionnelle est forte, plus le CA est élevé CA(P1) < CA(P2) < CA(P3) 1 variable ordinale influence une variable quantitative Analyse de variance + test 2 à 2 Plus le CA en t0 est élevé, plus le CA en t1 est élevé Association de 2 variables quantitatives : Corrélation linéaire Plus le CA en t1 est élevé, plus la probabilité d’inactivité en t2 est faible Variable binaire expliquée par une variable quantitative : régression logistique Pour les femmes, l’effet positif de la promotion sur le CA est plus important que pour les hommes Effet modérateur du genre sur l’effet de la promotion CA = a0 + a1.F + a2.Promo + a3. Promo*F Analyse de variance avec covariable (ANCOVA)

18 Configurer un test Démarche générale
Choisir la/les variables, définir leur rôle (in/dépendante) Formuler l’hypothèse H0 et H1 Uni : X1 > X2; X1<=X2 Bilatéral : X1=X2 ; X1=/= X2 Choisir le niveau de risque / seuil de confiance Sélectionner le test approprié à la nature des variables Vérifier ses éventuelles hypothèses d’application Normalité, égalité des variances,… Considérer les sources de variations Intra-groupe (within) / Inter-groupes (between) Obtenir et Interpréter le résultat d’un test Conclure : Rejeter ou Non l’hypothèse