La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chapitre 4 -------- Théories et modèles perceptifs Jean-Sylvain Liénard LIMSI-CNRS ORSAY M2 Recherche Informatique Filière Sciences Cognitives Module PNPA.

Présentations similaires


Présentation au sujet: "Chapitre 4 -------- Théories et modèles perceptifs Jean-Sylvain Liénard LIMSI-CNRS ORSAY M2 Recherche Informatique Filière Sciences Cognitives Module PNPA."— Transcription de la présentation:

1 Chapitre Théories et modèles perceptifs Jean-Sylvain Liénard LIMSI-CNRS ORSAY M2 Recherche Informatique Filière Sciences Cognitives Module PNPA Déc 04 – Fév 05

2 Le point de vue: information verbale seulement Niveaux acoustico-phonétiques Des indices aux phonèmes Voyelles consonnes Accès lexical Des phonèmes aux mots Modèles Modèles multi-niveaux Trace

3 niveau 6 500ms unités cognitives niveau 2 15ms indices acoustiques niveau 1 1ms unités cochléaires niveau 0 0.1ms Signal niveau 3 30ms traits phonétiques niveau 4 60ms unités phonetiques niveau 5 200ms unités lexicales branche verbalebranche prosodique La perception acoustico-phonétique

4 Evidence et limites du niveau phonémique (niveau 4) - Les traits distinctifs (niveau 3) - Indices acoustiques (niveau 2) - formants, F'2, enveloppe spectrale grossière - Voyelles - Systèmes vocaliques - Typicalité des voyelles - Consonnes - Transitions de formants - VOT vs invariants acoustiques - Théorie motrice Niveaux acoustico-phonétiques : 2 à 4

5 - Double articulation : dizaines de phonèmes ---> millions de mots - Système phonémique = ensemble de symboles représentant les sons de la parole - Sons arbitraires, mais tous formés par l'organe vocal humain - N'importe quelle structure à 3 formants ne peut pas être perçue comme un son de parole - La perception détermine les meilleurs sons ? - Ensemble de 30 à 40 phonèmes dans toutes les langues, incluant 3 à 20 voyelles - Pas de système universel Evidence du niveau phonémique

6 Phonème = concept abstrait Formé à partir de distinctions minimales entre mots d'une langue Donc à partir de ressemblances acoustiques et linguistiques La reconnaissance comme la synthèse montrent qu'un phonème n'est pas un état acoustique du signal Nécessité de représentations intermédiaires Débit d'information phonémique au niveau 4 : 50 à 100 bits par seconde Débit d'information cochléaire : peut atteindre 25000x100 bps ! La réduction d'information ne peut se faire en 1 étape Limitations du niveau phonémique

7 Jakobson, Fant et Halle 1952 Les traits distinctifs

8 Intérêt de la notion Intègre divers points de vue : acoustique, production, perception ? "constituants ultimes" de la langue Binarisme règles phonologiques et phonotactiques: assimilation, régression, nasalisation… Limites En 50 ans, personne n'a pu extraire les traits distinctifs du signal de manière fiable et robuste… Binarisme contesté ---> voir dans le détail la structure des signaux, à partir du niveau 2 Les traits distinctifs

9 spectrogrammes des voyelles Les voyelles F1 et F2 prépondérants: démo Snack Formants

10 Pour : - travaux de Delgutte sur le chat - pertinence de F1 et F2 en production - équivalence avec point d'articulation (un peu simpliste) F1 ouvert/fermé F2 avant/arrière Question : la perception utilise-t-elle les formants ?

11 Contre - difficulté de repérer les formants - difficulté d'identifier les formants ? ? ? ? ? ? ?

12 Contre : - même voyelle perçue avec divers jeux de formants Fant : 2e formant équivalent F'2 [i] [e] Chistovitch : intégration large bande 3,5 Bark Contre : - le vocodeur à formants n'a jamais fonctionné - les systèmes de reconnaissance ont consacré l'utilisation du banc de filtres mfcc, qui n'implique pas d'identification des formants

13 Indices acoustiques pour les consonnes Consonnes: plusieurs types acoustiques - phase statique: fricatives - transition de formants: plosives, liquides, nasales - cas général: succession d'indices acoustiques (niveau 2) VCV : - fermeture (transition de formants) - occlusion totale ou partielle - explosion (burst) - aspiration - ouverture (transition de formants)

14 Fricatives (constrictives)

15 Plosives (occlusives)

16 Rôle perceptif des transitions formantiques Liberman, Delattre, Cooper 1955 Expériences avec le Pattern Playback

17 La théorie du locus Proposition: de même que toute voyelle est définie par F1 et F2, le point d'articulation de toute consonne est défini par les loci de F1 et F2 Concerne en fait F2 Problèmes - à l'analyse, la détermination du locus est difficile: - suppose que les formants soient identifiés - et qu'on sache à quelle abscisse faire la mesure - /k/ et /g/ ont 2 loci, selon la voyelle qui suit ---> relatif abandon de la notion, inutilisable en reconnaissance. Résurgence récente (équations du locus, Sussman 1991)

18 Voice Onset Time VOT Lisker et Abramson 1967

19 Voice Onset Time VOT Le VOT, indice perceptif des plosives à l'initiale ? OUI mais - dépend de la langue, - de la vitesse d'articulation, - de la force de voix…

20 Théorie motrice (A.Liberman, 1967) Constat de base - la parole est produite par des commandes motrices, qui constituent le "vrai code" de la parole - les mouvements des articulateurs sont lents, ce qui entraîne la coarticulation - la perception interprète le signal en termes de commandes motrices, qui ont un caractère universel - "speech is special"

21

22 Limitations de la théorie motrice - l'existence d'un module cérébral traitant uniquement la parole n'est pas prouvée sur le plan neurobiologique - on ne sait pas inverser le processus articulatoire --> acoustique - la variabilité articulatoire est au moins aussi grande que la variabilité acoustique (plusieurs configurations pour un même son perçu) - on peut comprendre sans savoir articuler - le mainate

23 Stevens et Blumstein 1978 Gabarit spectral de l'explosion, indépendant de la voyelle Le retour des invariants acoustiques

24 niveau 6 500ms unités cognitives niveau 2 15ms indices acoustiques niveau 1 1ms unités cochléaires niveau 0 0.1ms Signal niveau 3 30ms traits phonétiques niveau 4 60ms unités phonetiques niveau 5 200ms unités lexicales branche verbalebranche prosodique L'accès lexical

25 Théorie des logogènes (Morton 1969) - A chaque mot du lexique mental sont associés tous ses aspects: significations, rôles syntaxiques, fréquence dans le lexique, chaîne phonétique, chaîne orthographique etc. - Chacun de ces aspects contribue à une fonction d'activation du logogène. - A un instant donné un logogène devient actif si sa fonction d'activation dépasse un seuil. ---> modèle mot, passif, mettant sur le même plan toutes les sources de connaissances - ne dit pas comment ces connaissances sont apprises et exploitées, ni comment les logogènes interagissent Modèles de reconnaissance de mots et d'accès lexical

26 Théorie de l'accès lexical par les spectres LAFS (Klatt 1979) - les mots du répertoire mental sont reconstruits en mémoire à partir de spectres constituant des diphones - le mot à reconnaître est aussi représenté par une suite de spectres - la comparaison est faite sur une base acoustique ---> vision influencée par la reconnaissance automatique pas de représentation en traits ou en phonèmes processus d'analyse par synthèse Modèles de reconnaissance de mots et d'accès lexical

27 Marslen-Wilson (1975) - strictement gauche-droite - incorporation possible de connaissance de plus haut niveau - difficulté avec les effets de fréquence de mots - sensible aux erreurs phonémiques --> incompatible avec la variabilité de la parole réelle Le Modèle Cohorte

28 niveau 6 500ms unités cognitives niveau 2 15ms indices acoustiques niveau 1 1ms unités cochléaires niveau 0 0.1ms Signal niveau 3 30ms traits phonétiques niveau 4 60ms unités phonetiques niveau 5 200ms unités lexicales branche verbalebranche prosodique Le Modèle Trace Elmann et MacClelland 1986 Equilibre entre 3 niveaux

29 - 3 niveaux: traits distinctifs, phonèmes, mots - connexions inhibitrices intra- niveau (en bleu), excitatrices d'un niveau à l'autre (en rouge et en vert) - unités à seuil - Réglages manuels - modèle actif, bottom-up et top- down - tolère certaines distorsions et erreurs - problème: duplication massive des unités à chaque pas de temps Le Modèle Trace Fig2 – Un sous-ensemble des unités dans TRACE II. Chaque rectangle représente une unité différente. Les étiquettes indiquent l'élément représenté et la largeur du rectangle indique son empan temporel. Les spécifications d'entrée pour la trace "tea cup" précédée et suivie par un silence sont indiquées par le noicissement des unités traits correspondantes

30


Télécharger ppt "Chapitre 4 -------- Théories et modèles perceptifs Jean-Sylvain Liénard LIMSI-CNRS ORSAY M2 Recherche Informatique Filière Sciences Cognitives Module PNPA."

Présentations similaires


Annonces Google