III. Perception des mots parlés

Présentation au sujet: "III. Perception des mots parlés"— Transcription de la présentation:

1 III. Perception des mots parlés

2 Modèles de la segmentation en mots: Problèmes: variabilité absence de discontinuité

3 Le cas de la liaison Petit ami - Petit tamis
Il est ouvert - Il est tout vert Gaskell et al. (2002): est-ce que la liaison implique un coût dans le traitement? Amorçage inter-modal (par ex. cible visuelle: ITALIEN) Liaison: un généreux italien Enchaînement: un virtuose italien Alignement syllabique: un chapeau italien Résultats: TRs au moins aussi courts pour la condition de liaison que pour les autres

4 Deux sources d’information: contexte lexical indices acoustiques
Spinelli et al. (2002): amorçage inter-modal (A-V) Décision lexicale sur AVION, précédé d’amorces contenant liaison soit légale soit illégale Grand avion — Vrai tavion Résultats: TRs plus courts dans la condition de liaison légale Mais les consonnes de liaison sont 15% plus brèves, et si on contrôle cet indice acoustique l’effet est diminué (pas annulé) —> les indices acoustiques jouent aussi un rôle

5 Confirmation: Spinelli et al. (2003)
(1) C’est le dernier oignon - (2) C’est le dernier rognon Cibles: OIGNON - ROIGNON Résultats: l’effet d’amorçage est plus grand pour (1) avec la cible OIGNON et pour (2) avec la cible ROGNON —> les indices acoustiques sont aussi utilisés

6 Segmentation de la chaîne parlée
Chapeauter: chat + pot + thé Dumay et al. (1999), utilisant le paradigme de « word spotting »: détecter un mot dans une séquence sans signification Détection plus rapide de « tante » dans « tantrou » lorsque « tantrou » est extrait de « tante roublarde » que de « temps troublant » —> la séquence /tr/ présente des caractéristiques différentes selon qu ’elle est produite au sein d’une syllabe ou en resyllabation

7 Gow & Gordon (1995): attention à l’interprétation de l’effet d’amorçage intermodal sémantique!
L’amorce « two lips » facilite le traitement de la cible KISS En revanche, l’amorce homophone « tulips » ne facilite pas le traitement de KISS Or, il y a une différence de durée: le /l/ de « two lips » est plus long que celui de « tulips » Le l court de « lips » dans « tulips » n’indique pas un début de mot potentiel

8 Modèles de segmentation
Par référence au lexique: COHORTE (Marslen-Wilson, Radeau et al.) Indices acoustico-phonétiques: « Metrical segmentation strategy », pour l’anglais, syllabes fortes (voyelles pleines) vs faibles (voyelles réduites) - seulement 10% des mots commencent par une syllabe faible en français, les mots se terminent par une syllabe longue

9 Pour les 2 langues: Possible Word Constraint (Norris et al., 1997)
Syllable Onset Segmentation Heuristic ( Content et al., 2001): les frontières de mots tendent à coïncider avec les frontières de syllabes —> les débuts de syllabes constituent des points d’alignement privilégiés pour déclencher l’accès lexical

10 Christophe et al. (2004): tâche de détection de mot Cible: chat
(1) Le livre racontait l’histoire d’un chat grincheux qui avait mordu un facteur (2) D’après ma soeur le gros chat grimpait aux arbres L’activation de chat est susceptible d’être gênée par un compétiteur: chagrin, sauf si (et c’est le cas) les auditeurs exploitent les frontières de groupe phonologique (intonatoire): <d’un chat grincheux> vs <le gros chat> <grimpait aux arbres> Résultats: TRs plus courts dans (2) que dans (1) Le /a/ de chat est plus long de 40% dans (2) - fin de phrase phonologique - et le /in/ 30%plus court

11 Problème de l’acquisition des mots —> Apprentissage statistique
(pour mémoire)

12 Problème: les tâches expérimentales (nécessité d’évidences indirectes)
L’identification lexicale “templates” (Klatt: LAFS ou Lexical Access from Spectra: le lexique mental comme une matrice de spectres) Segmentation et catégorisation d’unités: les demi-syllabes, centrées sur la voyelle (Fujimura) Problème: les tâches expérimentales (nécessité d’évidences indirectes)

13 Mehler et al. (1981) ba - bal dans « balais » - « balcon »
effet de congruence syllabique observé en français mais pas en anglais (Cutler et al., 1986), ou plus précisément pas chez les anglophones même lorsqu’on leur présente du matériel français

14 Article dans “Language and Cognitive Processes” Méthode des “migrations” d’unités

15 Inspiration: le phénomène des conjonctions illusoires (Anne Treisman)

16 Traits sensoriels (couleur,taille, orientation, etc) encodés en parallèle par des modules spécialisés Modules forment deux types de “cartes” (“maps”) Cartes des traits (e.g., carte des couleurs, carte des orientations etc.) Une carte maîtresse (“master map”) des localisations

17 conjonctions illusoires
= erreurs consistant à « mélanger » les traits de divers objets présents simultanément dans le champ visuel (« blends ») Cf. Treisman & Schmidt, 1992; Treisman & Paterson, 1984

18 Les traits extraits pré-attentivement “flottent” librement ( “free-floating”)
Donc, on devrait pouvoir observer des erreurs d’identification d’objets dans lesquelles chacun des traits individuels a été correctement extrait du champ visuel, mais ces différents traits sont incorrectement intégrés Ont lieu quand de nombreux stimuli (e.g., 5 pommes vertes et 5 boîtes rouges) sont présentés simultanément pendant un temps très bref (e.g. 30 ms) dans ce cas, le système attentionnel est débordé (Treisman & Schmidt, 1982)

19 Conjonctions illusoires
Les sujets peuvent rapporter (ou détecter erronément la cible) qu’ils ont vu une pomme rouge dans un champ visuel qui contient seulement des boîtes rouges et des pommes vertes !

20 2 X T A 8 Treisman & Schmidt, 1982 = première démonstration
Ex: rapporter d’abord les deux nombres latéraux, puis identifier la forme et la couleur de chaque lettre CI: environ 30% des essais ! 2 X T A 8

21 CI- autre exemple

22 CI comme indicateur d ’une analyse précoce, inconsciente en traits élémentaires
Cible: $ S

23 CIs ne sont pas le résultat de simples confusions perceptives
CIs ne sont pas le résultat de simples confusions perceptives. Cf plus en condition expérimentale que contrôle , donc = « blend » des segments en un objet nouveau, créé mentalement Target: $ S S S

24 CIs: Autant avec diagonales dans figures fermées que dans figures ouvertes que dans figures spatialement séparées $ Target: S S S S S S

25 tâche de détection et tâche d’identification
Kolinsky & Morais (1996): migrations d’unités ou de traits entre les membres d’une paire dichotique de stimuli de parole comparaison de condition contrôle et expérimentale: raisonnement sous-jacent tâche de détection et tâche d’identification

26 Speech unit migration paradigm (Kolinsky & Morais, 1996) Observed in dichotic listening, the phenomenon consists in reporting a word illusion that, given certain control conditions, can only result from the fact that a unit (e.g., a phoneme) of one stimulus takes the place of the corresponding unit in the other stimulus. The migration error provides evidence of perceptual segmentation into the involved units.

27 YES, I heard “bijou” kijou boton doton Experimental Control

28 Morais & Kolinsky, 1994; Castro, Vicente, Morais, Kolinsky & Cluytens, 1995; Kolinsky & Morais, in preparation

29 Avantage de la technique: permet la comparaison de différents attributs tout en évitant des artefacts tels que ceux dus par exemple à des différences de fréquence d’usage ou de composition segmentale

30 Langues et structures étudiées avec le paradigme de migration d’unités phonologiques français, anglais, japonais portugais (dialectes européen et brésilien; lettrés et illettrés) traits phonétiques, consonne, voyelle, syllabe, V1C2, mora

31 Coltheart (1999): within-module interlevels of representation in Fodor’s account
Spoken-language module Lexical entries Phonetic processor Written-language module Abstract letters Shapes of letters

32 Autonomy and interaction in and between spoken and written language systems (Kolinsky, 1998; Morais & Kolinsky, 1994) Late processes Late processes Early processes Early processes Spoken language perception Written language perception

33 Plusieurs grains d’analyse
Hallé et al. (1998) situation de « gating »: « tlabdo »: phonotactiquement illégal en français perception: d’abord « t », ensuite « kl » (conforme aux règles phonotactiques du français) —> d’abord phonème (seul disponible), puis ré-analyse en attaque syllabique,...

34 D’autres informations: par exemple, morphologique
Dahan et al., 2000 Paradigme: enregistrement des fixations oculaires sur des dessins d’objets lors de la présentation auditive de leurs noms; tâche: cliquer sur le référent Mesure: probabilité de fixation des différents dessins toutes les 20 ms Principe sous-jacent: l’évolution de cette probabilité reflète le décours temporel de l’activation des différents candidats

35 Images de: bouton, bouteille, chien, sac présentes simultané ment sur l’écran
Exp. 1: deux exemplaires de chaque dessin; tâche: cliquer sur « les boutons » Pendant 100 à 150 ms, probabilité de fixation identiques pour bouteille et bouton et > chien, sac —> effet de cohorte (candidats possibles à ce stade)

36 Exp. 2: un seul exemplaire; cliquer sur « le bouton » Le mot bouteille est aussi peu considéré que les distracteurs: le candidat non congruent en genre est éliminé —> on peut penser que, dans la séquence « la plage », il y aurait activation de plage ou place, mais pas de plateau ou plafond

37 L’influence du langage écrit sur l’identification des mots parlés, et les limites de cette influence: — études sur des illettrés (ex: fusions phonologiques) — études sur les effets de l’inconsistance grapho-phonologique (blending game; décision lexicale vs. répétition en ligne)

38 Ventura, Kolinsky, Brito-Mendes & Morais (2001): mots CVC(e) PAR: /par/ PARE : /par/

39 Expérience 1: mots —> pseudo-mots CV/C C/VC C final 17. 0% 82
Expérience 1: mots —> pseudo-mots CV/C C/VC C final % % e muet % %

40 Expérience 2 : pseudo-mots sans contexte; vérification ultérieure de l’orthographe
Expérience 3 : pseudo-mots en contexte de mots avec soit C final, soit “e” muet Expérience 4 : influence du contexte sur mots admettant paire homophonique Expérience 5 : manipulation des consignes

41 Expérience 6 : réplication de l’Expérience 1 avec contrôle de la fréquence des rimes CV/C C/VC C final % % e muet % % Expérience 7: Croisement des rimes entre les deux types de mots mots C final % % mots e muet % %

42 Ventura, Morais, Pattamadilok and Kolinsky (2004):
in Portuguese, /kal/ CAL-CALE, is inconsistent and /kav/ CAVE is consistent

43 Lexical decision:. Words Consistent Inconsist. Dif
Lexical decision: Words Consistent Inconsist. Dif RT Errors (%)

44 Shadowing:. Words Consistent Inconsist. Dif
Shadowing: Words Consistent Inconsist. Dif RT Errors (%)

45 Ventura et al. (2004): In one task, repetition was contingent on a phonemic criterion: the subject had to repeat the item presented only if it began with a pre-specified phoneme. —> no orthographic effect. Words Consistent Inconsist Dif. TR

46 In the other task, repetition was lexically contingent: the subject had to repeat the item only if it was a word —> orthographic effect Words Consistent Inconsistent Dif TR

47 Unités de segmentation: problèmes soulevés par le paradigme de Mehler et al. (1981)
paradigme de Floccia, Kolinsky, Dodane & Morais (2003): tâche même — différent sur des paires de mots

48 Expérience 1: ba.lai — ba.llon vs. bal.sa — ba.llon
TR moyen: 624 ms (sujets rapides) taille de l’effet: 22.5 ms mais convergence entre effet syllabique et effet de congruence C-V potentiels

49 Expériences 2 à 4: relation antagoniste entre ces deux facteurs
Expérience 2: pa.lette — pa.tron pal.mé — pa.tron TR moyen (sujets rapides): 597 ms absence d’effet

50 Expérience 3 réponse “différent” et pression temporelle (feedback) TR moyen: 426 ms effet C-V: 13 ms
Expérience 4 (idem avec “cross-splicing”) TR moyen: 438 ms effet C-V: 15 ms