Présentation de la plateforme Planning Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme Gwenaelle LO BUE Annie RIALLAND Rachid RIDOUANE Jacqueline VAISSIERE Avec la participation des étudiants et ex-étudiants dont Audrey ACHER (échographe) Laurianne GEORGETON (Qualisys) Julie MONTAGU (micro nasal) Les auteurs Angélique AMELOT Daniel BRASNU Nick CLEMENTS Lise CREVIER Cécile FOUGERON Cédric GENDROT Pierre HALLE Stéphane HANS Dana HARTL Kiyoshi HONDA (EPGG) Shinji MAEDA (EPGG) Accueil Présentation de la plateforme Planning Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme Présentation de la plateforme multisenseurs Accueil Accueil Présentation de la plateforme Planning Présentation générale Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Pourquoi multisenseurs? Présentation de la plateforme multisenseurs Pourquoi multisenseurs? Accueil Présentation de la plateforme Planning Présentation générale Présentation de la plateforme Multisenseurs Pour assurer les conclusions Bcp de résultats publiés entachés d’erreurs !!! : Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Pourquoi multisenseurs? Présentation de la plateforme multisenseurs Pourquoi multisenseurs? Accueil Présentation de la plateforme Planning Présentation générale Présentation de la plateforme multisenseurs pour assurer les conclusions Bcp de résultats publiés entachés d’erreurs : Production Acoustique perception Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
oM LF Spectrogramme Signal Acoustique fibroscopie Débit nasal Chute en fin fibroscopie VP le plus bas pour LF Débit nasal DAN, avec une petite fuite nasale Débit oral F0 Rapport F0 et DAO 2ème répétition 6 6
Production Acoustique perception Présentation de la plateforme Restrictions de cette présentation: pas l’aspect acoustique ! Signal comme intermédiaire entre production et perception Accueil Présentation de la plateforme Planning Cependant spécialités du laboratoire dans le domaine acoustique: a) Cours de spectrogrammes b) Modélisation articulatoire : Production Acoustique perception Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme Présentation de la plateforme multisenseurs Les applications ??? Accueil Description des langues, dialectes Voix normales et pathologiques, accents étrangers, expression des attitudes, émotions, etc Enseignement des langues Clinique, diagnostic, remédiation Etc. Présentation de la plateforme Planning Présentation générale : Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Le planning de la journée ??? Présentation de la plateforme multisenseurs Le planning de la journée ??? Accueil Présentation de la plateforme Planning Présentation générale : 10h-11h présentation 11h-13h30 ateliers Après-midi discussions Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
11h 11h30 12h 12h30 13h Groupe 1 Groupe 2 Groupe 3 Groupe 4 Groupe 5 Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 EVA/EGG ECHOGRAPHE EPGG PIEZO/MICRONASAL /INTENSITE PERCEPTION/ BASES DE DONNEES 11h 11h30 12h 12h30 13h Groupe 1 Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Groupe 2 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Atelier 1 Groupe 3 Atelier 3 Atelier 4 Atelier 5 Atelier 1 Atelier 2 Groupe 4 Atelier 4 Atelier 5 Atelier 3 Atelier 4 Atelier 5 Groupe 5 Atelier 5 Atelier 1 Atelier 2 Atelier 3 Atelier 4
Présentation de la plateforme Présentation de la plateforme multisenseurs Et après ??? Accueil Présentation de la plateforme Planning Présentation générale Collaboration Formations Visite partie labo Hôpital Européen Georges Pompidou Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme Présentation de la plateforme multisenseurs Accueil Présentation de la plateforme Planning Présentation générale Deux sites HEGP : Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) ILPGA Mercredi 24 juin 2009
Hopital Européen Georges Pompidou ORL Professeur Daniel Brasnu 1) HEGP Hopital Européen Georges Pompidou ORL Professeur Daniel Brasnu
HEGP endoscope stroboscope Camera ultra rapide Photonasodétecteur INSTRUMENTATION : endoscope HEGP INSTRUMENTATION : stroboscope INSTRUMENTATION : Camera ultra rapide INSTRUMENTATION : Photonasodétecteur
endoscope stroboscope Camera ultra rapide Photonasodétecteur INSTRUMENTATION : endoscope INSTRUMENTATION : stroboscope INSTRUMENTATION : Camera ultra rapide INSTRUMENTATION : Photonasodétecteur
Présentation de la plateforme INSTRUMENTATION : Photonasodétecteur Parois pharyngée postérieure Parois pharyngées latérales Velum Présentation de la plateforme PHOTONASODETECTEUR Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme INSTRUMENTATION : Photonasodétecteur : Permet d’estimer l’ouverture du port vélopharyngé Parois pharyngée postérieure Parois pharyngées latérales Velum Présentation de la plateforme PHOTONASODETECTEUR Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Les mesures portent sur la différence de quantité de lumière en sortie PRINCIPE Un capteur de lumière (en dessous du voile du palais) Une source de lumière (diffusé à travers un fibroscope ou une ampoule) BILAN Présentation de la plateforme PHOTONASODETECTEUR LPP 19, rue des Bernardins 75005 Paris Les mesures portent sur la différence de quantité de lumière en sortie
Présentation de la plateforme HISTORIQUE Inventé par John Ohala BILAN Présentation de la plateforme PHOTONASODETECTEUR Fabriqué au LPP en 2006 LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme PRISE DE DONNEES d a d Vn d a BILAN Présentation de la plateforme PHOTONASODETECTEUR Durée de la voyelle nasale VN Durée de l’ouverture OV LPP 19, rue des Bernardins 75005 Paris Durée du mouvement vélaire MV 20
Présentation de la plateforme PRISE DE DONNEES (2) Degré d’ouverture Amplitude du mouvement BILAN Présentation de la plateforme PHOTONASODETECTEUR LPP 19, rue des Bernardins 75005 Paris Dispositif invasif : Enregistrements à l’hôpital Traitement des données sur Matlab
Présentation de la plateforme TRAVAUX EN COURS Estimation du degrés d’ouverture du port vélopharyngé durant la production des voyelles et des consonnes du français Mesure du temps de réaction du capteur BILAN Présentation de la plateforme PHOTONASODETECTEUR LPP 19, rue des Bernardins 75005 Paris
a) Les instrumentations sans ateliers 2) ILPGA a) Les instrumentations sans ateliers INSTRUMENTATION : Electrophographie INSTRUMENTATION : Qualisys
5 Présentation de la plateforme Electropalatographie ILPGA INSTRUMENTATION : Electropalatographie 5 Présentation de la plateforme Palatographie dynamique Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
5 Présentation de la plateforme Electropalatographie (EPG) BILAN PRINCIPE La palatographie permet de visualiser le contact de la langue sur le palais et donc d’étudier l’articulation des consonnes linguales et des voyelles (hautes). 5 BILAN En palatographie statique, la langue (enduite d’un mélange coloré) laisse une empreinte sur le palais, que l’on photographie à l’aide d’un miroir inséré dans la bouche du sujet après chaque articulation. Limite : l’articulation d’un seul son, à un moment T, peut être étudiée à chaque prise de vue. Présentation de la plateforme Electropalatographie (EPG) [baa] LPP 19, rue des Bernardins 75005 Paris R. Katiwada
5 Présentation de la plateforme Electropalatographie (EPG) BILAN PRINCIPE La palatographie dynamique (EPG) permet d’enregistrer le contact de la langue sur le palais au cours du temps. 5 BILAN Le locuteur porte un palais artificiel, fabriqué à partir de son empreinte dentaire, couvert d'électrodes et relié à un ordinateur. Présentation de la plateforme Electropalatographie (EPG) A chaque contact de la langue sur les électrodes, un signal électrique est envoyé à l'ordinateur et le contact apparaît sur une représentation stylisée du palais à l'écran.
position des électrodes sur l’empreinte dentaire PRISE DE DONNEES (1) Le système EPG au LPP est l’EPG3 (Reading) et les données sont acquises avec le logiciel Articulate Assistant (A. Wrench Articulate Instrument). Les palais artificiels sont fabriqués pour chaque locuteur à partir d’une empreinte dentaire. En résines acryliques (épaisseur env. 1,5 mm), ils sont couverts de 62 électrodes. BILAN Présentation de la plateforme Electropalatographie (EPG) LPP 19, rue des Bernardins 75005 Paris Palais artificiel sur son empreinte position des électrodes sur l’empreinte dentaire Locuteurs ayant un palais au LPP: 6 français, 1 américain et 4 berbères. (Grove Orthodontics)
Présentation de la plateforme DONNEES (1) Des données spatio-temporelles permettant une description de l’articulation des consonnes, des voyelles (hautes), de la coarticulation... des informations spatiales : la localisation du contact sur le palais, son étendue et sa forme renseignent sur le lieu, le degré et la forme de la constriction… BILAN Présentation de la plateforme Electropalatographie (EPG) Consonnes françaises (contexte /a_a/)
Présentation de la plateforme DONNEES (2) des informations temporelles sur le déroulement de l’articulation permettent de décrire différentes phases articulatoires : ex. apparition du contact linguopalatal, formation de la constriction, relâchement… BILAN temps Présentation de la plateforme Electropalatographie (EPG)
Présentation de la plateforme DONNEES (3) des informations temporelles sur la coordination entre évènements articulatoires appartenant à des sons en contexte (alignement, chevauchement) BILAN sequence /tk.t/, berbère Présentation de la plateforme Electropalatographie (EPG) e.g. /tk.t/ item 01, Condition A (C2 nucleus), rep. 4
Présentation de la plateforme DONNEES BRUTES (4) Différents types de mesures BILAN Présentation de la plateforme Electropalatographie (EPG)
5 Présentation de la plateforme Electropalatographie (EPG) AVANTAGES Peu invasif Mise en place rapide (avec une adaptation au palais nécessaire pour le sujet) Analyse relativement facile Bonne résolution temporelle (fréquence d’échantillonnage : 100Hz, buffer d’acquisition : 20 sec.) Possibilité de coupler avec une autre instrumentation 5 Présentation de la plateforme Electropalatographie (EPG) LIMITES Coût des palais artificiels spécifiques à chaque locuteur L’articulation linguopalatale visible est limitée à la zone couverte par le palais (dento-alvéolaire à vélaire)
Présentation de la plateforme TRAVAUX EN COURS AU LPP En palatographie dynamique : Articulation des consonnes en fonction de leur position dans la syllabe en berbère Cohésion gestuelle au sein de la syllabe Clusters sous-jacents et séquences consonantiques issues de la chute de schwa Avec la palatographie statique : Articulation des rétroflexes en népali – R. Khatiwada Articulation des emphatiques en arabe marocain – K. Shoul Articulation de patients suivant anastomose hypoglosso-faciale – Gatignol, Fougeron et al. BILAN Présentation de la plateforme Electropalatographie (EPG)
Présentation de la plateforme RESSOURCES, QUE LIRE? Références LPP Fougeron, C. & Ridouane, R. (2008). On the phonetic implementation of syllabic consonants and vowel-less syllables in Tashlhiyt. Estudios de Fonética Experimental 18, 139-175. Fougeron C. (2001) Articulatory properties of initial segments in several prosodic constituents in French. Journal of Phonetics, 29(2), 109-135. Fougeron C., Meynadier, Y. & Demolin D. (2000). 62 vs. 96 electrodes : a comparative analysis of Reading and Kay Elemetrics EPG pseudo-palates. Proc. 5th Speech Production Workshop. Kloster Seeon, Germany. Références extérieures Hardcastle, W. (1972). The use of electropalatography in phonetic research. Phonetica, 25, 197-215. Marchal, A. (1988). La palatographie. Marseille: C.N.R.S. Recasens D. (1991). An electropalatographic and acoustic study of consonant-to-vowel coarticulation. J. of Phonetics, 19,77-192. Gibbon, F. & Nicolaidis, K. (1999). Palatography. In W. J. Hardcastle & N. Hewlett (eds.), Coarticulation: Theory, Data and Techniques, 229-244. Cambridge: CUP. BILAN Présentation de la plateforme Electropalatographie (EPG)
? 6 Présentation de la plateforme Qualisys Palatographie dynamique ILPGA INSTRUMENTATION : Qualisys ? 6 Présentation de la plateforme Palatographie dynamique Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
6 Présentation de la plateforme Motion capture Qualisys BILAN PRINCIPE Le Qualisys permet d’enregistrer le déplacement de marqueurs positionnés sur le visage/corps du locuteur et donc d’étudier les mouvements des organes sur lesquels ces marqueurs sont placés (lèvres, sourcils, mains…). 6 BILAN Présentation de la plateforme Motion capture Qualisys Études sur l’articulation labiale des sons, sur la coarticulation labiale, sur les mouvements de la mâchoire… Études sur la gestuelle, le pointage, les émotions/attitudes, les contrastes perceptibles sur le visage, l’intégration des informations audio et visuelles…
6 Présentation de la plateforme Motion capture Qualisys BILAN PRINCIPE Des caméras, placées autour du locuteur, émettent un rayonnement infrarouge qui est réfléchi par des marqueurs positionnés à des positions cibles sur le locuteur. Ce rayonnement est alors capté simultanément par ces mêmes caméras sous des angles différents de façon à permettre une reconstruction 3D de la position des marqueurs. 6 BILAN Présentation de la plateforme Motion capture Qualisys
Présentation de la plateforme PRISE DE DONNEES (1) Le LPP est équipé de 4 caméras Oqus 3 permettant une capture à 500Hz. BILAN Des marqueurs réfléchissants passifs de différentes tailles sont collés avec un adhésif double face sur le visage/corps du locuteur à des positions cibles (lèvres, sourcils, mains…) Présentation de la plateforme Motion capture Qualisys
6 Présentation de la plateforme Motion capture Qualisys BILAN PRISE DE DONNEES (3) En plus des capteurs cibles, on positionne des capteurs relativement fixes de façon à pouvoir calculer la position des capteurs cibles relativement à un référentiel stable, afin de compenser pour des mouvements parasites comme les mouvements de la tête du sujet. 6 BILAN Présentation de la plateforme Motion capture Qualisys Ici un référentiel x, y, z est calculé à partir de 5 capteurs : arrête du nez, front droit et gauche, tempes droite et gauche (sur microcasque) La position des capteurs sur les lèvres est calculée par rapport à ce référentiel
6 Présentation de la plateforme Motion capture Qualisys BILAN PRISE DE DONNEES (4) Un long travail de préparation (essentiel pour un bon suivi des marqueurs) : Positionnement et calibration des caméras = env. 1h Préparation du sujet : ex. mise en place de 10 capteurs réfléchissants = env. 20 min. 6 BILAN Présentation de la plateforme Motion capture Qualisys
6 Présentation de la plateforme Motion capture Qualisys BILAN DONNEES BRUTES Enregistrement des données vidéo 3D par le logiciel QTM (Qualisys Track Manager) 6 BILAN Présentation de la plateforme Motion capture Qualisys Analyse des données (matrices de coordonnées x, y, z donnant la position des marqueurs) sous QTM ou Matlab
DONNEES BRUTES 6 BILAN Étirement des lèvres pour les voyelles /a, u, y, i/ dans différentes émotions actées (L. Georgeton 2009)
Présentation de la plateforme RESSOURCES, QUE LIRE? Référence LPP Lauriane Georgeton (2009), Etude acoustique, perceptive et articulatoire (mouvements des lèvres) lors d’émotions simulées en français. Mémoire de M2, LPP, dir. J. Vaissière Références extérieures Barbu-Roth, M., Anderson, D.I., Després, A., Provasi, J., & Campos, J.J. (2009). Neonatal stepping in relation to terrestrial optic flow. Child Development, 80(1), 8-14. J. Jiang, A. Alwan , L. E. Bernstein , P. Keating (2000) On the Correlation between Facial Movements, Tongue Movements and Speech, Proc of ICSLP2000 G. Svanfeldt, M. Nordstrand, B. Granström, & D. House (2003) Measurements of articulatory variation in expressive speech PHONUM 9 (2003), 53-56 J. Beskow, O. Engwall & B. Granström (2003) Simultaneous measurements of facial and intraoral articulation, PHONUM 9 (2003), 57-60 BILAN Présentation de la plateforme Motion capture Qualisys
b) Les instrumentations avec ateliers 2) ILPGA b) Les instrumentations avec ateliers 1) EVA/EGG 2) ECHOGRAPHE 3) EPGG 4) PIEZO/MICRONASAL/INTENSITE 5) PERCEPTION/BASES DE DONNEES
Presentation de la plateforme ILPGA Présentation de la plateforme multisenseurs Accueil Présentation générale Presentation de la plateforme Les ateliers Les ateliers Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Presentation de la plateforme ILPGA 5 ateliers 1) EVA/EGG Chambre sourde 2) ECHOGRAPHE Presentation de la plateforme EVA/EGG 3) EPGG Salle PC 4) PIEZO/MICRONASAL/INTENSITE 5) PERCEPTION/BASES DE DONNEES Salle Mac Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
A Présentation de la plateforme EVA/EGG Atelier 1A ILPGA EVA INSTRUMENTATION : EVA Chambre sourde A Présentation de la plateforme EVA/EGG Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
B Présentation de la plateforme EVA/EGG Alexis Michaud Atelier 1B ILPGA INSTRUMENTATION : EGG Chambre sourde B Présentation de la plateforme EVA/EGG Alexis Michaud Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
C Presentation de la plateforme ECHOGRAPHE A) EVA/EGG B) ECHOGRAPHE ILPGA C A) EVA/EGG B) ECHOGRAPHE Salle Rousselot Atelier 2 Presentation de la plateforme ECHOGRAPHE C) EPGG D) PIEZO/MICRONASAL/INTENSITE E) PERCEPTION/BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
C Présentation de la plateforme ECHOGRAPHE Atelier 2 ILPGA INSTRUMENTATION : ECHOGRAPHE Salle Rousselot C Présentation de la plateforme ECHOGRAPHE Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
PLATEFORME PEP2 C Echographie Atelier 2 ILPGA Salle Rousselot Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
C Principe Echographie Atelier 2 Technique d'imagerie employant des ultrasons : C Echographie 1. On applique une sonde contre la peau en regard de l’organe à explorer (ici la langue). 2. Cette sonde émet des ultrasons qui traversent les tissus puis lui sont renvoyés sous la forme d’un écho. 3. Ce signal, une fois recueilli, est analysé par un système informatique qui retransmet en direct une image sur un écran vidéo. LPP 19, rue des Bernardins 75005 Paris
Prises de données Echographie La station est constituée : Atelier 2 d’une sonde : émet et reçoit les ultrasons d’un échographe (Mindray DP 6600) Echographie Sonde Casque Machine ultrason Mindray DP 6600 d’un casque (optionnel) pour fixer la sonde par rapport aux mouvements de la tête. Les données sont transmises à un PC via une carte vidéo et un système d’acquisition (AAA) qui permet la synchronisation des vidéo (30i/s) avec le son. LPP 19, rue des Bernardins 75005 Paris
Données brutes Echographie Atelier 2 LPP 19, rue des Bernardins 75005 Paris Séquence vidéo de quelques formes contenant des dentales pharyngalisées [iDDi, aDDa, uDDu]
Analyse (AAA, A. Wrench, Articulate Instrument) Echographie LPP 19, rue des Bernardins 75005 Paris
Analyse des données (illustration) Configuration de la langue pendant la tenue des dentales simples et pharayngalisées du berbère /dd/ from [iddi] /DD/ from [iDDi] Back Tongue Front Echographie Tongue height LPP 19, rue des Bernardins 75005 Paris Pharyngalisation pendant la tenue de la consonne : élévation et rétraction du dos de la langue + abaissement de la partie antérieure de la langue (tirées de Ridouane 2009)
Echographie Localisation du palais Alignement temporel audio/vidéo Atelier 2 AVANTAGES Non-invasive, Acquisition relativement confortable pour les sujets, Possibilité d’acquérir des données très larges, Visualization directe de la forme de la langue, Coût de plus en plus abordable, Possibilité de coupler avec une autre instrumentation (e.g. EPG) Possibilité d’amélioration… Echographie Défis Localisation du palais Alignement temporel audio/vidéo LPP 19, rue des Bernardins 75005 Paris
BILAN Echographie Typologie, description des langues et des dialectes Atelier 2 DOMAINES D’APPLICATIONS Typologie, description des langues et des dialectes Clinique/orthophonie : diagnostic, remédiation Modélisation articulatoire pour synthèse de la parole Enseignement des langues Etc. Echographie BILAN LPP 19, rue des Bernardins 75005 Paris
Atelier 2 TRAVAUX EN COURS Caractéristiques articulatoires de différents types de segments (voyelles nasales et orales en français, emphatiques en berbère et en arabe, rétroflexes en népali, éjectives et uvulaires en lezgi, voyelles ATR en kabiye et en koulango). Comparaison de la parole normale et de la parole pathologique de patients hémiglossectomisés. Analyse des clusters sous-jacents et séquences consonantiques issues de la chute de schwa (e.g. berbère, arabe, lezgi) Echographie BILAN Collaborations extérieures: - Ioana Chitoran (Dartmouth College) - Khalil Iskarous (Haskins Laboratories, Yale) - Chakir Zeroual (Université Taza, Maroc) - Balaïbalou Kassan (Université Kara, Togo) - Enoc Kra (Université Cocody, Abidjan) LPP 19, rue des Bernardins 75005 Paris
BILAN Echographie RESSOURCES, QUE LIRE? Atelier 2 Références LPP Ridouane, R. (2009). Pharyngealization and pharyngeals in Tashlhiyt Berber: A descriptive and comparative study. International Workshop on Pharyngeals and Pharyngealisation, Royaume-Uni - [halshs-00384932 − version 1] Acher, A. (2009). Etude perceptive et articulatoire de la parole à partir de données échographiques en 2D: comparaison de la parole normale et de la parole pathologique de patients hémiglossectomisés [Mémoire M2] Fougeron, C. & Ridouane, R. (2008). On the nature of schwa-like vocalic elements within some Berber clusters. In Proceedings of the eighth International Seminar on Speech Production (ISSP'08) - [halshs-00384898 − version 1] Références extérieures Bressmann, T., Uy, C., & Irish, J. (2005). Analysing normal and partial glossectomee tongues using ultrasound. Clinical Linguistics and Phonetics, 19, 35-52. Stone, Maureen (2005). A guide to analysing tongue motion from ultrasound images. Clinical Linguistics and Phonetics, 19, 455-501. Echographie BILAN LPP 19, rue des Bernardins 75005 Paris
D Presentation de la plateforme EPGG 5 ateliers 1) EVA/EGG ILPGA 5 ateliers D 1) EVA/EGG 2) ECHOGRAPHE Presentation de la plateforme EPGG 3) EPGG Salle Rousselot 4) PIEZO/MICRONASAL/INTENSITE s a s a 5) PERCEPTION/BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme INSTRUMENTATION : ePGG (external lighting & sensing Photo-GlottoGraph) Inventée par Kiyoshi HONDA & Shinji MAEDA Brevet, « Photoéletroglottographie non inversive par éclairage diffus », en cours Présentation de la plateforme ePGG Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme PRINCIPE Permet de voir les activités glottiques, comme adductions/abductions (sourde/sonore) et oscillations des plis vocaux durant le voisement BILAN S’appuyant sur la transillumination travers de la glotte, la source (LED haute luminosité) est placée sur la peau du cou au-dessus de la glotte et le capteur (la photodiode) au-dessous de la glotte Non invasive Présentation de la plateforme ePGG Dash8 LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme HISTORIQUE De la méthode invasive à non invasive BILAN Photoglottographie (PGG) via fibroscopie a été invasive et limitée à des corpus sans voyelles et consonnes postérieures Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme PRISE DE DONNEES (1) Corpus : paires des cibles avec ceteris paribus (all other things being equal), car des signaux ePGG sont affectées par l’articulation et par la variation de hauteur de larynx BILAN Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris Photodiode sur le cou au-dessous de la glotte Source de lumière est maintenue par la main au-dessus de la glotte Visualisation en temps réel des signaux parole et ePGG sur l’enregistreur numérique, Dash8
Présentation de la plateforme PRISE DE DONNEES (2) Empreinte de la source de lumière avec les 2 LEDs BILAN Empreinte de la photodiode sur le cou au-dessus de la glotte, entre le cartilage thyroïdien et cricoïdien Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme DONNEE BRUTE (1) s a s a BILAN Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris Remarques : LED_IR a été utilisée dans cette acquisition Visualisation par un Matlab script ‘dash8view.m’
Présentation de la plateforme DONNEE BRUTE (2) s a ss a BILAN Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme COMPATIBILITE AVEC AUTRES INSTRUMENTS Excellent : EGG Palatographe dynamique Nasographe Pneumotachographe (débit d’air oral et nasal) Echographe ultra-son Motion-capture BILAN Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme DOMAINES D APPLICATIONS Phonétique : prosodie et leur interaction avec segmental Clinique/orthophonie : diagnostic et rééducation de la parole, et bégaiement Contrôle de la qualité des voix : parole et chant Source glottique pour synthèse de la parole Enseignement des langues etc…. BILAN Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme TRAVAUX EN COURS Adaptation de la source de lumière aux locuteurs par des catégorie: BILAN Locuteurs transparents : jeunes femmes (1 LED) Locuteurs normaux : femmes/hommes (2 LEDs) Locuteurs costaux : jeunes hommes (4 LEDs) Présentation de la plateforme ePGG Méthode de la fixation de la source de lumière pour gagner la stabilité de la position et l’orientation, et libérer le main LPP 19, rue des Bernardins 75005 Paris
Présentation de la plateforme RESSOURCES, QUE LIRE? Référence LPP Honda, K. & Maeda, S. (2008). Glottal-opening and airflow pattern during production of voiceless fricatives: A new non-invasive instrumentation. Presented at the ASA meeting in Paris. (abstract) Yeou, M., Honda, K. & Maeda, S. (2008). Laryngeal adjustments in the production of consonant clusters and geminates in Moroccan Arabic. 8th International Seminar on Speech Production, Strasbourg, France, Références extérieures Sawashima, M. (1968). Movement of the larynx in articulation of Japanese consonants. Ann. Bull. No. 2, Res. Inst. Logopedics and Phoniatrics. 11-20. (http://www.umin.ac.jp/memorial/rilp-tokyo/) Sawashima, M. (1969). Deviced syllables in Japanese – A preliminary study by photoelectric Glottography. Ann. Bull. No. 3, Res. Inst. Logopedics and Phoniatrics. 35-41. Lisker, L., Abramson, A.S., Cooper, F.S., & Schvey, M.H. (1969). Transillumination of the larynx in running speech. J. Acoust. Soc. Am., 45, 6, 1544-1546. Hoole, Ph. (1997). Techniques for investigating laryngeal articulation and voice-source, Section 1: Investigation of the devoicing gesture. FIPKM, 35, 101 – 106. BILAN Présentation de la plateforme ePGG LPP 19, rue des Bernardins 75005 Paris
Futurs utilisateurs bienvenus CORRESPONDANT BILAN Kiyoshi HONDA : khonda@sannet.ne.jp Shinji MAEDA : shinji.maeda@telecom-paristech.fr ou maeda@tsi.enst.fr Présentation de la plateforme ePGG Futurs utilisateurs bienvenus LPP 19, rue des Bernardins 75005 Paris
Presentation de la plateforme 5 ateliers 1) EVA/EGG Chambre sourde 2) ECHOGRAPHE Salle Rousselot Presentation de la plateforme ateliers 3) EPGG Salle PC 4) PIEZO/MICRONASAL/INTENSITE 5) PERCEPTION/BASES DE DONNEES Salle Mac Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE Atelier 4 ILPGA INSTRUMENTATION : PIEZO/MICRONASAL/INTENSITE F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Deux méthodes , deux résultats comparables INSTRUMENTATION : Acoustique du conduit nasal Accéléromètre piezoélectrique Présentation de la plateforme ACOUSTIQUE DU CONDUIT NASAL Microphone nasal Deux méthodes , deux résultats comparables Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009 76 76
F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE Atelier 4 ILPGA INSTRUMENTATION : PIEZO/MICRONASAL/INTENSITE F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme PRINCIPE (accéléromètre piezoélectrique) Twin Spot Fixé au moyen d’un adhésif sur l’os latéral du nez Relié à un préampli, lui-même relié à une carte d’acquisition Le signal enregistré est couplé avec le signal acoustique oral Nécessité d’un micro casque pour l’exploitation des données BILAN Présentation de la plateforme Accéléromètre piezoélectrique LPP 19, rue des Bernardins 75005 Paris L’interprétation des données dépend du ratio entre les deux amplitudes des signaux L’interprétation des données dépend du ratio entre les deux amplitudes des signaux 78 78
Présentation de la plateforme HISTORIQUE (accéléromètre piezoélectrique) Première utilisation par K. Stevens (1975) Utilisation par le LPP à partir de 2007 Diamètre de la pastille = ½” BILAN Présentation de la plateforme Accéléromètre piezoélectrique LPP 19, rue des Bernardins 75005 Paris 79 79
Présentation de la plateforme PRISE DE DONNEES (accéléromètre piezoélectrique) BILAN Présentation de la plateforme Accéléromètre piezoélectrique LPP 19, rue des Bernardins 75005 Paris 80 80
F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE Atelier 4 ILPGA INSTRUMENTATION : PIEZO/MICRONASAL/INTENSITE F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme PRINCIPE (microphone nasal) Écouteur intra-auriculaire utilisé comme micro nasal 3 différents embouts adaptables à la physiologie de chaque locuteur Enregistrement simultané du signal acoustique nasal et du signal de parole global (oral+nasal) BILAN Présentation de la plateforme Microphone nasal LPP 19, rue des Bernardins 75005 Paris Permet de visualiser le début de la nasalisation et de mesurer précisément la coarticulation nasale 82 82
Présentation de la plateforme HISTORIQUE (microphone nasal) Méthodologie utilisée par l’abbé Rousselot) BILAN Présentation de la plateforme Microphone nasal LPP 19, rue des Bernardins 75005 Paris Enregistrement de la « voix » avec une embouchure et de la sortie nasale à l’aide d’une petite olive introduite dans une narine (l’autre restant libre) 83 83
Présentation de la plateforme PRISE DE DONNEES (microphone nasal) Dn = Durée de la partie nasalisée Dv = Durée totale de la voyelle Signal global Signal nasal Signal de parole (en haut) et signal nasal (en bas) de la voyelle [a] contextuellement nasalisée dans la syllabe [pam] Pourcentage de nasalisation = (Dn/Dv)*100 Nasalisation anticipatoire : cvN [ p a m ] BILAN Présentation de la plateforme Microphone nasal LPP 19, rue des Bernardins 75005 Paris 84 84
COMPARAISON entre l’accéléromètre piézoélectrique et le microphone nasal BILAN Présentation de la plateforme Comparaison entre l’accéléromètre piézoélectrique et le Microphone nasal LPP 19, rue des Bernardins 75005 Paris 85
F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE RESSOURCES, QUE LIRE? Référence LPP Montagu, J. (2007). « Étude acoustique et perceptive des voyelles nasales et nasalisées du français parisien ». Université de la Sorbonne Nouvelle/ Paris 3. Thèse de phonétique, Chapitre III : Méthodologie, p106 à 121. Montagu, J. (2007). « Temporal extent of nasalization relative to the tongue articulation in French oral vowels followed by nasal consonants ». In Proceedings of the 26th International Congress of Phonetic Sciences, Saarbrücken (Allemagne), 621-624. Montagu J., (2009). Relation entre le retard de nasalisation au début des voyelles nasales du français et le voisement des consonnes précédentes. Colloque international sur la nasalité en phonétique et en phonologie, Montpellier, 5 juin 2009. Références extérieures Rousselot J.P., Abbé (1902). « Action du voile du palais dans les nasales françaises », Parole. Ohala J. J. (1975). « Phonetic explanations for nasal sound patterns ». In Ferguson C. A., Hyman L. M. and Ohala J. J. (eds), Nasàlfest: Papers from a Symposium on Nasals and Nasalization. Stanford: Language Universals Project, 289-316. F Présentation de la plateforme PIEZO/MICRONASAL/INTENSITE 86 86
F Présentation de la plateforme INTENSITE Atelier 4C ILPGA INSTRUMENTATION : PIEZO/MICRONASAL’INTENSITE F Présentation de la plateforme INTENSITE Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
Présentation de la plateforme INSTRUMENTATION : Casque pour enregistrements auprès d’une population pédiatrique Antenne de l’implant cochléaire Présentation de la plateforme Casque pour enregistrements Microphone et émetteur porté derrière l’oreille Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009 88 88
Faciliter la prise de données acoustiques PRINCIPE Utilisation d’un tour de tête ergonomique et adapté à une population d’enfants porteur d’un implant cochléaire et d’une prothèse controlatérale Fixation d’un microphone dans une configuration similaire à l’utilisation d’un micro-casque : important dans le cas de mesures acoustiques d’intensité BILAN Présentation de la plateforme Casque pour enregistrements Prothèse controlatérale LPP 19, rue des Bernardins 75005 Paris Faciliter la prise de données acoustiques 89 89
Présentation de la plateforme Salle Mac HISTORIQUE BILAN Inspiré du headset device du Nasometer II, modèle 6450, KayPentax (1986) Présentation de la plateforme Casque pour enregistrements Fabrication au LPP par A. Amelot & C. Legendre, thésarde, 2009 LPP 19, rue des Bernardins 75005 Paris 90 90
Presentation de la plateforme 1) EVA/EGG 2) ECHOGRAPHE Presentation de la plateforme PERCEPTION/BASES DE DONNEES 3) EPGG 4) PIEZO/MICRONASAL/INTENSITE 5) BASES DE DONNEES PERCEPTION Salle Mac Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
D Présentation de la plateforme Atelier 5A Salle Mac INSTRUMENTATION : BASES DE DONNEES D Préparation de corpus (en français notamment) Reconnaissance automatique (en mots) de la parole Alignement automatique en phonèmes, en syllabes. Transcription en catégories grammaticales Découpage en syntagmes Présentation de la plateforme BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
D Présentation de la plateforme Objectifs : Atelier 5A Salle Mac INSTRUMENTATION : BASES DE DONNEES D Objectifs : tester/valider des théories phonétiques sur de grandes quantités de données réduction phonologique coarticulation/réduction phonétique relation segmental/suprasegmental distribution des systèmes phonologiques Présentation de la plateforme BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
D Présentation de la plateforme Validation par la synthèse Atelier 5A Salle Mac INSTRUMENTATION : BASES DE DONNEES D Validation par la synthèse Synthèse totale (30aine de langues) Copie à l'identique Modification de paramètres prosodiques Modifications segmentales / phonotactiques Modification sur stimuli naturels (toutes langues) transplantation de la prosodie d'une langue/phrase à 1 autre Modifications d'un ou plusieurs paramètres prosodiques Présentation de la plateforme BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
phrases re-synthétisées segmental espagnol avec f0 & durée italienne manipulation de la f0 manipulation de la durée segmental italien avec f0 & durée espagnole manipulation de la f0 manipulation de la durée phrases re-synthétisées
D Présentation de la plateforme Atelier 5A Salle Mac INSTRUMENTATION : BASES DE DONNEES D Ces stimuli peuvent ensuite être testés perceptivement. Objectifs : un contour prosodique est-il distingué ? le rythme suffit-il à identifier une langue ? un meilleur contrôle des paramètres etc. Relation naturelle avec la psycholinguistique/perception de la parole Présentation de la plateforme BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009
principe de la mesure des temps de réponse Atelier 5A Salle Mac ILPGA INSTRUMENTATION : PERCEPTION DOMAINES • psycholinguistique : détection de phonème (ou de fragment) ; décision lexicale (visuel, auditif, inter-modal) ; naming ; gating ; etc. • perception phonétique : catégorisation, discrimination (continua / tokens naturels) ; etc. D ph EQUIPEMENTS • station fixe DOS / Ubuntu : programmes de pilotage d’expérience, recueil et analyse des données on-line et off-line • postes mobiles : DMDX, Eprime (Windows) ; SuperLab, PsyScope (Mac OS X) ; Praat, MatLab (toutes plateformes) Présentation de la plateforme PERCEPTION/BASES DE DONNEES En attente principe de la mesure des temps de réponse carte son OROS : temps échantillon numérique Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) démos (station DOS) (1) auditory lexical decision, (2) phoneme monitoring, (3) cross-modal priming ph Mercredi 24 juin 2009
Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Chambre sourde EVA/EGG Atelier 2 ECHOGRAPHE Salle Rousselot Atelier 3 EPGG Atelier 4 Salle PC PIEZO/MICRONASAL/INTENSITE Atelier 5 Salle Mac PERCEPTION BASES DE DONNEES
11h 11h30 12h 12h30 13h Groupe 1 Groupe 2 Groupe 3 Groupe 4 Groupe 5 Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 EVA/EGG ECHOGRAPHE EPGG PIEZO/MICRONASAL /INTENSITE PERCEPTION/ BASES DE DONNEES 11h 11h30 12h 12h30 13h Groupe 1 Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Groupe 2 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Atelier 1 Groupe 3 Atelier 3 Atelier 4 Atelier 5 Atelier 1 Atelier 2 Groupe 4 Atelier 4 Atelier 5 Atelier 3 Atelier 4 Atelier 5 Groupe 5 Atelier 5 Atelier 1 Atelier 2 Atelier 3 Atelier 4
Une fiche disponible par instrumentation Merci de votre attention Ppt sur le web Une fiche disponible par instrumentation
Bienvenue cet après-midi BILAN Et maintenant les ateliers Bienvenue cet après-midi Et après .. LPP 19, rue des Bernardins 75005 Paris