Sons de l’Environnement Mémoire Sémantique et Sons de l’Environnement Travail de thèse présenté par Yannick Gérard et réalisé sous la direction du Pr. Emmanuel Bigand

La Mémoire Sémantique Tulving (1972, p.386) propose de la définir comme : C’est un thésaurus mental, le savoir organisé qu’un individu possède pour les mots, les autres symboles verbaux, leurs significations et leurs référents, leurs relations et les règles, formules, algorithmes pour la manipulation de ces symboles, concepts et relations. «La mémoire nécessaire pour l’utilisation du langage. La mémoire sémantique n’enregistre pas les propriétés perceptives des stimuli mais plutôt les référents cognitifs des signaux d’entrée». Comment une stimulation (mot, images, sons,…) prend du sens? Système de mémoire unique Caramazza et al. (1990,1994) propose qu’il n’existe pas de différence au niveau du stockage quelle que soit la nature des stimulations. Système de mémoire multiple Paivio (1971,1986) propose deux systèmes de stockage distincts selon la nature verbale ou non (images) des stimulations.

 Intérêt pour l’étude des sons de l’environnement Les recherches effectuées en mémoire sémantique s’articulent sur une distinction verbale/non-verbale restreinte aux mots et aux images qui reste insuffisante pour rendre compte de son organisation. Aphasie Optique correspond au manque du mot, la forme, la fonction et le sens sont reconnus Littérature plus importante dans le domaine des objets visuels Images - Snodgrass & Vanderwart (1980) Sons de l’environnement - Fabiani et al. (1996) Complexité des sons de l’environnement comparée aux images (Fabiani et al., 1996)  Intérêt pour l’étude des sons de l’environnement

Vers le choix d’une méthodologie: Le paradigme d’amorçage Pourquoi le paradigme d’amorçage? Meyer & Schvaneveldt (1971) Paires (Haut/bas) Exemples de stimuli Réponse attendue Temps de réaction (ms) 1 * Mot/mot associés « Bread » « Butter » Oui 855 2 * Mot/mot non associés « Bread » « Nurse » Oui 940 3 * Mot/non-mot « Doctor » « Marb » Non 1087 4 * Non-mot/mot « Marb » « Butter» Non 904 5 * Non-mot/non-mot « Herk » « Stur » Non 884 Permet d’étudier la mémoire sémantique  Théorie de la propagation de l’activation, Collins & Loftus (1975)  Théorie de l’indice composite, Ratcliff & McKoon (1988) Littérature abondante dans le domaine du langage et des objets visuels Expérience du groupe musique dans le domaine de l’amorçage

Modèle CSM (Conceptual Selection Model) Bloem, van den Boogaard, & La Heij (sous presse) Lt Ct Cc Lc Entrée «Mot» Seuil Entrée «Image» Entrée «Tâche» Entrée «Cible» Interférence sémantique - compétition entre Lt et Lc Facilitation sémantique - seuil (une image n’active pas automatiquement L) - un mot active d’autres mots sémantiquement reliés - l’activation de L décroît plus vite que celle de C

 Activent des structures de connaissances abstraites Hypothèses de départ Les sons de l’environnement,  Activent des structures de connaissances abstraites Ballas (1993), Mot/Son (Confirmation de la source) Van Petten & Rheinfelder (1995), Son/Mot (Décision lexicale)  Cette activation se propage Au même titre que pour :  Le langage (Meyer et Schvaneveldt, 1971)  La musique (Bigand et al., 1999)  Les images (Palmer, 1975)

Plan expérimental Etude 1 - Amorçage en court contexte Expérience 1 - Amorçage répété avec des sons de l’environnement Expérience 2 - Amorçage sémantique avec des sons de l’environnement Expérience 3 - Amorçage répété inter-format entre des sons et leurs labels linguistiques Expérience 4 - Amorçage sémantique inter-format entre des sons et leurs labels linguistiques Etude 2 - Organisation des sons de l’environnement en mémoire Expérience 1 - Association libre Expérience 2 - Catégorisation libre de sons de l’environnement Expérience 3 - Amorçage associatif avec des sons de l’environnement Etude 3 - Amorçage en long contexte Expérience 1 - Amorçage en long contexte linguistique avec des sons de l’environnement Expérience 2 - Amorçage en long contexte sonore avec des sons de l’environnement Conclusion générale

Amorçage en court contexte Étude 1 Amorçage en court contexte

Principe général Expériences de l’Etude 1 Amorce ISI Cible Tâche de 400 ou 1000 ms 200 ou 400 ms ISI 1000 ms Cible Tâche de catégorisation sémantique Animé ou Inanimé Mesure du TR 40 paires de stimuli présentées aléatoirement au sein d’un bloc Présentation de 4 blocs par participant, soit 160 essais

Amorçage répété avec des sons de l’environnement Expérience 1 Amorçage répété avec des sons de l’environnement Amorce Cible répétée Tâche de catégorisation sémantique ISI Cible non répétée Animé ou Inanimé 200 ou 400 ms 400 ms 1000 ms Mesure du TR

Amorçage répété avec des sons de l’environnement Expérience 1 Amorçage répété avec des sons de l’environnement Cible répétée Tâche de catégorisation sémantique ISI Amorce Cible non répétée Animé ou Inanimé 200 ou 400 ms 400 ms 1000 ms Mesure du TR

Amorçage sémantique avec des sons de l’environnement Expérience 2 Amorçage sémantique avec des sons de l’environnement Amorce Cible reliée Tâche de catégorisation sémantique ISI Cible non reliée Animé ou Inanimé 200 ou 400 ms 400 ms 1000 ms Mesure du TR

Amorçage sémantique avec des sons de l’environnement Expérience 2 Amorçage sémantique avec des sons de l’environnement Cible reliée Tâche de catégorisation sémantique ISI Amorce Cible non reliée Animé ou Inanimé 200 ou 400 ms 400 ms 1000 ms Mesure du TR

Expériences 1 & 2 Effet principal de la Relation de Expérience 1 - Amorçage répété Expérience 2 - amorçage sémantique Effet principal de la Relation de répétition, p <. 01 Effet principal de la Catégorie («animé» vs. «inanimé»), p < .001 Pas d’effet de la Relation sémantique, n.s. Effet principal de l’ISI (200 vs. 400), p < . 01

de cette dernière en comparaison à une amorce non répétée Expérience 1 La présentation d’une amorce identique à la cible facilite le traitement de cette dernière en comparaison à une amorce non répétée Expérience 2 Nous n’observons pas d’effet de la relation sémantique : Le bruit d’un trousseau de clés n’amorce pas le traitement du bruit de l’ouverture d’une porte Dans une expérience contrôle, un effet significatif de la relation est observé lors de l’utilisation de labels linguistiques correspondant aux sources des sons de l’environnement Différences de traitement entre les items «animé» et «inanimé» French & Mareschal (1998) Effet de l’ISI Brièveté de l’ISI de 200 ms

1 - Les sons de l’environnement n’activent pas de structures de connaissances abstraites Suggère que les résultats de l’Expérience 1 sont uniquement dus la répétition des caractéristiques acoustiques des sons. Les données de la littérature ne sont pas en accord avec cette hypothèse (Ballas, 1993; Van Petten & Rheinfelder, 1995) 2 - Les sons de l’environnement activent des connaissances conceptuelles mais ne s’organisent pas comme le suggèrent les modèles d’activation ou épisodique

Expérience 3 Amorçage répété inter-format avec des sons de l’environnement et des labels linguistiques Amorce «Coq» Cible répétée Tâche de catégorisation sémantique ISI Cible non répétée Animé ou Inanimé 1000 ms 400 ms 1000 ms Mesure du TR

Expérience 3 Amorçage répété inter-format avec des sons de l’environnement et des labels linguistiques Cible répétée Tâche de catégorisation sémantique ISI Amorce «Train» Cible non répétée Animé ou Inanimé 1000 ms 400 ms 1000 ms Mesure du TR

Expérience 4 Amorçage sémantique inter-format avec des sons de l’environnement et des labels linguistiques Amorce «Poule» Cible reliée Tâche de catégorisation sémantique ISI Cible non reliée Animé ou Inanimé 1000 ms 400 ms 1000 ms Mesure du TR

Expérience 4 Amorçage sémantique inter-format avec des sons de l’environnement et des labels linguistiques Cible reliée Tâche de catégorisation sémantique ISI Amorce «Vapeur» Cible non reliée Animé ou Inanimé 1000 ms 400 ms 1000 ms Mesure du TR

Expériences 3 & 4 Effet principal de la Répétition Expérience 3 - Amorçage répété Expérience 4 - Amorçage sémantique Effet principal de la Répétition (répétée vs. non répétée), p < .01 Pas d’effet de la Relation sémantique (sémantique vs. non reliée), n.s. Effet principal du Format de présentation (M/S vs. S/M), p < .01 Interaction croisée Catégorie X Relation, p < .001 Pas d’effet simple de la Catégorie («animé» vs. «inanimé»), n.s. Effet de la Catégorie («animé» vs. «inanimé»), p < .001 Pas d’effet du format de présentation (M/S vs. S/M), n.s.

Nous observons un effet facilitateur d’amorçage répété inter-format Expérience 3 Nous observons un effet facilitateur d’amorçage répété inter-format avec des sons de l’environnement et leurs labels linguistiques en accord avec les études précédentes (Ballas, 1993; Van Petten & Rheinfelder, 1995)  Un son de l’environnement active une structure de connaissance abstraite Expérience 4 L’amorçage sémantique pour les sons de l’environnement dépend de leur appartenance catégorielle («animé» vs. «inanimé») Caramazza et al. (1990,1994) French & Mareschal (1998) Ballas (1993)

Étude 1 - Discussion 1 - Un son de l’environnement active des connaissances conceptuelles de manière similaire aux mots, à la musique et aux images (Expériences 1 & 3) 2 - Propagation de l’activation conceptuelle Nos résultats sont beaucoup moins clairs. La seule influence de la relation sémantique s’observe avec les items de la catégorie «animé» et uniquement dans l’Expérience 4 L’organisation des sons de l’environnement semble se faire selon des liens qui ne sont pas de nature sémantique  Comment les sons de l’environnement s’organisent en mémoire?

Organisation des sons de l’environnement Étude 2 Organisation des sons de l’environnement en mémoire

Expérience 1 Association libre Tâche d’association libre Inducteur Mot «donnez le premier mot associé qui vous vient à l’esprit» Tâche d’association libre Mot Son ou 2 listes, 27 sons et leurs 27 labels linguistiques correspondant 1000 ms 2000 ms Fenêtre de réponse Présentation bloquée par liste tous les mots puis tous les sons ou inversement

Expérience 1 Mot/Son Son/mot Mot Son Exemple  Bus Voyage Camion Foreuse Délai

Différences entre les mots et les sons en association libre Entendre un son active son label linguistique Lire un mot en évoque un autre associativement relié Limite temporel ? Médiation linguistique ? Les sons s’organisent peut-être selon d’autres liens que ceux entretenus par les mots, de nature acoustique par exemple

Catégorisation libre de sons de l’environnement Expérience 2 Catégorisation libre de sons de l’environnement Expérience 2A : Classement associatif Expérience 2B : Classement acoustique 2 groupes de sujets indépendants 20 min pour réaliser la tâche 27 sons de l’environnement Exemple de présentation sous PowerPoint Former des catégories en fonction de liens associatif (2A) ou acoustique (2B) à l’issue le sujet donne les critères qui ont conduit à la formation des groupements

Dendogramme «associatif» Expérience 2A Dendogramme «associatif» Objets Animaux «Moyens de transport» «Bruits d’intérieur» «Animaux des vacances» «Animaux de la ferme»

Dendogramme acoustique Expérience 2B Dendogramme acoustique «Sons longs et continus» «Sons aigus, saccadés, rythmés» «Sons dont l’amplitude complexes» «Sons graves, saccadés, agréables»

Classer un même ensemble de sons en fonction de critères associatif ou acoustique conduit à observer deux représentations arborées différentes Associatif Les sons s’organisent en fonction du lieu (mer, rue, ferme, …) où nous pouvons les entendre ensemble Acoustique Les regroupements sont moins homogènes mais permettent tout de même de dégager une organisation Une organisation en mémoire pour les sons selon des caractéristiques associative et acoustique?

Amorçage associatif avec des sons de l’environnement Expérience 3 Amorçage associatif avec des sons de l’environnement

Expérience 3 Pas d’effet de la Relation (AA vs. As vs. Ac vs. NR), n.s. Effet de la Catégorie («animé» vs. «inanimé»), p < .001 Interaction Catégorie X Relation, p < .001

Impact des caractéristiques acoustiques sur le traitement des sons émis par des objets Impact des caractéristiques associative et acoustique sur le traitement des sons émis par des animaux

Étude 2 - Discussion Les sons de l’environnement semble s’organiser en mémoire en fonction - du lieu où nous sommes amenés à les entendre ensemble - de leurs caractéristiques acoustiques Homogénéité des populations de sons Nos sons d’animaux sont beaucoup plus homogènes que nos sons d’objets Médiation langagière : entendre un son active son label linguistique Un son unique n’est peut-être pas un prédicteur efficace pour un autre son un contexte plus écologique pourrait être plus adéquat Des effets d’amorçage en long contexte sont rapportés avec: Des images - Biederman, Mezzanote, & Rabinowitz (1982) Des mots - Bassili & Smith (1989) De la musique - Bigand et al. (2003)

Amorçage en long contexte Étude 3 Amorçage en long contexte

Expériences 1 & 2 Principe générale Phrase prononcée E1 Cible congrue 1000 ms Tâche de catégorisation Grand-petit ISI Ambiance sonore E2 Cible incongrue Mesure du TR E1: 2,2 à 4,1 s E2: 10 s 400 ms 60 paires de stimuli présentées aléatoirement au sein d’un bloc Présentation de 2 blocs par participant, soit 120 essais

Expérience 1 Amorçage en long contexte linguistique avec des sons de l’environnement Cible congrue Tâche de catégorisation Phrase prononcée ISI Cible incongrue Grand-petit 1000 ms 2175 à 4130 ms 400 ms Mesure du TR

Expérience 1 Effet principal de la Relation (congrue vs. Incongrue), p < . 01 Pas d’effet simple de la Taille (petite vs. grande), n.s.

avec ceux rapportés lors de l’utilisation d’autres stimuli Nos résultats en long contexte avec des sons de l’environnement sont en accord avec ceux rapportés lors de l’utilisation d’autres stimuli avec des mots (Bassili & Smith, 1989) avec des images (Federmeier & Kutas, 2001) - avec de la musique (Poulin-Charronat, sous presse) 6 Changement de tâche associé à une activation plus importante (long contexte) permet d’observer un effet facilitateur d’amorçage non observé en court contexte Reste le problème de la médiation langagière Utilisation d’ambiance sonore dans l’Expérience 2 Biederman (1981) et Bigand et al. (2003)

Amorçage en long contexte sonore avec des sons de l’environnement Expérience 2 Amorçage en long contexte sonore avec des sons de l’environnement Cible congrue Tâche de catégorisation Ambiance sonore ISI Cible incongrue Grand-petit 1000 ms 10000 ms 400 ms Mesure du TR

Expérience 2 Effet de la Relation (congrue vs. incongrue), p < .04

rapport avec le contexte Il est plus rapide de juger de la taille de la source du son s’il n’est pas en rapport avec le contexte Hollingworth & Henderson (1998) Schémas mémoriels Hypothèse attentionnelle Phénomène de «pop-out» (Loftus & Mackworth, 1978; Treisman & Gelade, 1980)

Étude 3 - Discussion Effet d’amorçage inverse en fonction de la nature du contexte, linguistique ou scène auditive Le contexte linguistique contraint plus les attentes sur la cible, mais ne permet pas d’expliquer l’inversion des effets Linguistique - Collins & Loftus (1975) Objets reliés a priori Scène auditive Schéma dépendant du lieu qui ne crée pas d’attentes sur les objets «probables»

? Conclusions “Clef” “Porte” Vous lisez : Vous entendez : Propagation de l’activation Vous entendez : ? Un son de l’environnement active des connaissances conceptuelles mais cette activation ne se propage pas comme pour le langage, la musique ou encore les images

Conclusions L’organisation des connaissances relative aux sons de l’environnement se structure en fonction : - du lieu où nous sommes amenés à entendre ces sons ensemble - des caractéristiques acoustiques des sons Nous posséderions en mémoire des schémas basés sur des liens associatif et acoustique dépendant du lieu où nous évoluons

Merci de votre attention