La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Communication expressive : agents rationnels, agents conversationnels, rôle des é motions V é ronique Auberg é.

Présentations similaires


Présentation au sujet: "Communication expressive : agents rationnels, agents conversationnels, rôle des é motions V é ronique Auberg é."— Transcription de la présentation:

1

2 Communication expressive : agents rationnels, agents conversationnels, rôle des é motions V é ronique Auberg é

3 Agent Communicant Animé Synthèse vocale : une voix = un corps = une personne => but inter-agir - avant la synthèse par corpus : intelligibilité + « naturel » - aujourdhui : « pertinence » => personnalité C affects, attention, motivation pas un problème lié à la virtualité… personnalité attendue en contexte Super-ordi Hal / Carl, 2001 LOdyssée de lespace version ori traduction Super-ordi revisité Un ticket pour lespace Serveur vocal standard Uni Stendhal - voix naturelle…

4 Languages intuitions about affects: English from Whissell and Plutchik Accepting, Adventurous, Affectionate Afraid, Aggressive, Agreeable, Amazed, Ambivalent, Amused, Angry, Annoyed, Antagonistic, Anticipatory, Anxious, Apathetic, Apprehensive, Ashamed, Astonished, Attentive, Awed, Bashful, Bewildered, Bitter, Boastful, Bored, Calm, Cautious, CheerfuI, Confused, Contemptuous, Content, Contrary, Co-operative, Critical, Curious, Daring, Defiant, Delighted, Demanding, Depressed, Despairing, Disagreeable, Disappointed, Discouraged, Disgusted, Disinterested, Disobedient, Displeased, Dissatisfied, Distrustful, Eager, Ecstatic, Elated, Embarrassed, Empty, Enthusiastic, Envious, Exasperated, Expectant, Forlorn, Furious, Generous, Gleeful, Gloomy, Greedy, Grief-stricken, Grouchy, Guilty, Happy, Helpless, Hesitant, Hopeful, Hopeless, Hostile, Humiliated, Impatient, Impulsive, Indecisive, Indignant, In love, Inquisitive, Interested, Intolerant, Irritated, Jealous, Joyful, LoathfuI, Lonely, Meek, Nervous, Obedient, Obliging, Outraged, Panicky, Patient, Pensive, Perplexed, Planful, Pleased, Possessive, Proud, Puzzled, Quarrelsome, Ready, Receptive, Reckless, Rebellious, Rejected, Remorseful, Resentful, Revolted, Sad, Sarcastic, Satisfied, Scared, Scornful, Self-conscious, Self-controlled, Serene, Shy, Sociable, Sorrowful, Stressed, Stubborn, Submissive, Surprised, Suspicious, Sympathetic, Terrified, Timid, Tolerant, Trusting, Unaffectionate, Uncertain, Uncooperative, Unfriendly, Unhappy, Unreceptive, Unsympathetic, Vascillating, Vengeful, Watchful, Wondering, Worried…

5 Affects : empirisme na ï f de notre langue/culture/soci é t é - humeurs (stress) - émotions (joie, dégo û t) - attitudes, traits comportementaux, intentions - états mentaux/cognitifs - sentiments (bonheur) (hostile, vengeur, sympathique) (amoureux)

6 Ecole TCAN, 2006 Conscience langagière, philosophie => science : psychologie plusieurs grandes approches -La perspective néo-darwinienne (Darwin, Ekman…) -La perspective physiologique (James/Lange,Cannon/Bard) -La perspective cognitive (Damasio, Frijda, Scherer…) -le constructivisme social (Averill) (1) cerveau + (?) corps (2)« appraisal /évaluation ; self-conscious/conscience de « soi » => les autres ? (empathie, théorie de lesprit => BDI) (3) expressions => catégories vs./+ continuum (4) « Affective Science » & émotions

7 Ecole TCAN, 2006 Evolutive theory: Basic/Discrete/Universal Emotions Paul Ekman and Carroll Izard –Insist that there are a limited number of basic emotions Basic emotions –Emotions that are found in all cultures, that are reflected in the same facial expressions across cultures, and that emerge in children according to their biological timetable Various forms of its expression Static forms No proposal on speech expression coherence ANGERFEARDISGUST SURPRISEJOYSADNESS

8 Ecole TCAN, 2006 Charles Snodon, Expression of Emotion in Nonhuman Animals, Hanbook of Affective Science, 2003

9 Ecole TCAN, 2006 Ekman : une école en faciale : psychologie + talking heads/robotique Beaucoup de travaux en facial, peu de modèles alternatifs par ex D Massaro : lanalyse objective > humain ou modèles statistiques (Bateson + …)

10 Ecole TCAN, 2006 Emotion in body Body/Physical –blood pressure –heart rate –adrenaline levels –muscle activity when smiling, frowning, etc. –posture –tears –perspiration –lie detector readings (??) neural images : body in the brain

11 Ecole TCAN, 2006 Physiology => cognition

12 Ecole TCAN, 2006 Cognitive theories: continuous dimensions Arousal + Arousal - Valence +Valence - JOIE TRISTESSE Russel 2-D arousal; potency Plutchik 3-D Circumplex Model arousal; hedonism; potency

13 Ecole TCAN, 2006 affects expression channels in acoustics voice speech oral language face gestuality acoustic speech [Fonagy; Scherer, Banziger; Cowie; Cahn; Batliner; Campbell; Ni Chasaide, Gobl; Ron Amir; Schröder; Laukka…]

14 Ecole TCAN, 2006 involuntary control emotional functions in voice « during speech » emotion events time Affective functions of speech communication embodied functionalism model embodied functionalism model « perception-action theory but directed by functions » [Aubergé ]

15 Contrôle involontaire : inn é => universels ?? inhibition : profil psychologique reconstruction sociale

16 Ecole TCAN, 2006 Klaus Scherer, Tom Johnstone, Gundrun Klasmeyer Vocal Expression of emotion, Handbook of Affective Sciences, 2003 Contrôle involontaire = inn é => universels ?? é motions ou expressions ? inhibition => variations inter-culturelles

17 Ecole TCAN, 2006 amused vs. neutral Aubergé et Cathiard (04), Schroder & Aubergé (98) stimulus Astimulus B 84% of discrimination ? the more amused ? audio alone amusement is audible mechanical smile vs. neutral Tartter et al (93) stimulus Astimulus B 64% of discrimination ? the more amused ? audio alone face smile is audible amused vs. mechanical smile stimulus Astimulus B 69% of discrimination ? the more amused ? prosodic effects

18 Ecole TCAN, 2006 Not specific or specific control of emotion expression? [Aubergé et Cathiard,, 2003] AV integration of the same sensori motor/cognitive control AV integration of same and different sensori- motor/cognitive controls Visible expression (1) audible facial gestures (2) audible physiological changing + (3) audible emotions values specific to speech Acoustic speech Visible speech Audible expression emotional prosody = => prosody

19 Ecole TCAN, 2006multi-modality / multi-processing? same nature/intensity Face motor control Body motor control Voice motor control emotion brain representations inhibition same nature / different intensity Face motor control Body motor control Voice motor control emotion brain representations inhibition Face motor control Body motor control Voice motor control emotion brain representations inhibition control of strategies different natures&intensity activation level intensity level C C C

20 Ecole TCAN, 2006 decision taking [Frijda, Damasio] prosody Intonation Rhyth m face body gestuality somatic system The processing of moods/emotions indices in C-Clone commands on expressions Emotional States changing voice internal emotion events external emotion events

21 Ecole TCAN, 2006 simulation direct expressions attitudinal functions « building speech » the speaker intentions voluntary control linguistic time involuntary control emotional functions in voice « during speech » emotion events time Affective functions of speech communication => embodied functionalism model

22 Ecole TCAN, 2006 Les expressions dans la parole Scherer et al ( ) : Les effets pull et push Les émotions entre - expression prosodique (modèles de configuration), - qualité de voix (modèle de covariation) - conséquences physiologiques Contrôle volontaire Contrôle involontaire Facteur push Facteur pull Modèle de Modèle de co-variation Configuration Messages mixtes Co-variation des changements Patterns acoustiques et physiologiques et des Antagonisme configurations valorisés caractéristiques acoustiques socialement Qualité de voix Expression prosodique

23 Ecole TCAN, 2006 Attitudes = social affects => attitudes with prosody French (6 attitudes English (11 attitudes) Japanese (12 attitudes) cultural distance Grépillat (1996) Morlec (1997) Aubergé (2005) Diaferia (2002) Arrogance-Impoliteness Simple Politeness Sincerity-Serious Kyoshuku Shochi (2004) Surprise Doubt Evidence Admiration Seduction Irritation Scorn Authority Politeness Gestalts & superposition processing Mandarin Swedish Hungarian Baba1 Lien avec Austin, Searle, Vandervecken…? les fonctions corporéisées comme fils conducteurs des buts de linteraction verbale/non verbale

24 Ecole TCAN, 2006 direct expressions attitudinal functions « building speech » the speaker intentions voluntary control linguistic time involuntary control emotional functions in voice « during speech » emotion events time expressiveness strategy indirect expressions linguistic functions « building language » focus (VID model) hierarchization/ segmentation modalization Affective functions of speech communication => embodied functionalism model

25 Le langage est construit pour dire les affects (ne pas avoir dattitude est une attitude) => dans les situations vernaculaires, en IHM..? : peu démotions (donc très informatives) beaucoup daffects volontaires (5 ans de parole dune japonaise [Campbell, 04])

26 Ecole TCAN, 2006 Ce petit passant chantait. Ce passant tout fou chantait. Son pas doux retentissait. mamamamamamama Fonction de segmentation/hiérarchisation prosodie & syntaxe => degré de liberté

27 Ecole TCAN, 2006 Contrôle du degr é de libert é Association Dissociation Chance Homogeneous (Same locations; same levels) Same locations; different levels Different locations; same levels Different locations; different levels Fonction affective = stratégie du choix de segmentation (1)par lagent prosodie (2) de répartition entre prosodie et syntaxe [Thèse A. Rilliard]

28 Ecole TCAN, 2006 Roger fait du chocolat chaud Les gamins jouent les mécanos Cytopathogénicité le chat retombe sur ses pattes = focus…

29 Ecole TCAN, 2006 Lo tendait ce pain à Jean. Focus Function: the VID model (1) Valence communicative function: binary (no/yes focus) no focus yes focus valence information magnet effect [Aubergé, Rilliard, 04] perception: static cue ( Gestalt) <> linguistic category

30 Ecole TCAN, 2006 Lo tend ce tapis à Jean. (2) Intensity communicative function = preference/speaker intention intensity information Do you want an for apple or for pear tomorrow? yes focus typical dialog function psycho-acoustic gradience <> pragmatic function intensity

31 Ecole TCAN, 2006 Lo tendait ce pain à Jean. (3) Domain word vs. syllable communicative function: new/contrast vs. metalinguistic Lo tendait ce pain à Jean. tendait threshold: glissando?? domain information word focus syllable focus [ Brichet, Aubergé, 02] perception: dynamic cue <> linguistic timing [Aubergé, Rilliard 06] quite magnet effect

32 Stratégies linguistiques => pas de « para-phrases »

33 Ecole TCAN, 2006 decision taking [Frijda, Damasio] prosody Intonation Rhyth m morpholog y lexicon sound system syntax face body gestuality somatic system strategies inter-functions Intra-functions commands on expressions Emotional States changing voice internal emotion events external emotion events pragmatics meanin g C-Clone: a MAS for embodied functionalism of speech communication

34 Ecole TCAN, 2006 Experimental methodology: building corpus theoritical principles corpus perceptive analysis acoustic analysis simulation evaluation

35 Ecole TCAN, 2006 in vivo in vitro _ experimental control spontaneous/authentical InductionElicitation acted Acted live language generation direct expressions: emotions and attitudesindirect expressiveness InductionElicitationActed live « added » feelings + experimental control How to collect expressive corpus?

36 Ecole TCAN, 2006 Inside body loop Does the actor simulate the emotion or its expression? Does a good actor still simulate? simulation loop [Damasio, 95] AV authentic amusement vs. AV acted amusement 59% of identification listeners effect [Schröder, Aubergé, Cathiard, 98] [Aubergé et Cathiard, 03] Control & authenticity - acted vs. real corpus - voluntary smile: motor cortex lesion spontaneous smile: anterior cingular cortex

37 Ecole TCAN, 2006 Sémantique : Comment annoter les émotions ressenties ? exprimées ? par un humain

38 Ecole TCAN, qui annote ? - avec quelles étiquettes ? - sur quels signaux ? - avec quelles connaissances du contexte ?

39 Labeling by experts statisticalverification of the coherence betweenexperts The corpus

40 Ecole TCAN, 2006 Pour Frijda, un critère fondamental de lévaluation (appraisal) est la compatibilité de lévénement émotionnel avec des normes ou des valeurs sociales ou personnelles PhD P. Garcia-Prieto, post-doc GERG Nous avançons des hypothèses, basées sur la théorie de lévaluation (appraisal) et de la différentiation de lémotion de Scherer (1984) et sur celle de lidentité sociale de Tajfel et Turner (1986), qui expliquent de quelle manière lidentité sociale peut influencer certaines des dimensions dévaluation, cognitivement plus complexes, supposées être impliquées dans le processus émotionnel, et qui ont été identifiées comme étant particulièrement sensibles aux facteurs contextuels sociaux. Effets stroops lexicaux : biais attentionnels/mémoriels sur reconnaissance de mots émotionnels, selon certains états (anxiété etc) et autres (faim…) J. Junca des Morais : « Comme la communication verbale orale est plus ancienne, des biais attentionnels pourraient être observés avec ce type de matériel [verbal], lorsque celui-ci a une valence émotionnelle négative » « Expert » ou humain en situation écologique exogroupe écologique exogroupe => limites de lempathie ??? variabilité, fenêtre, des transcriptions. Modèle dannotation. (cf. annotation phonétique de corpus) mesure de cohérence sur les experts [LIMSI, Abrilian, Devillers, Martin]

41 Ecole TCAN, 2006 Annotations par experts : la méthodologie la plus répandue Noe Humaine : - Cowie et al, Belfast Univ, GB - Martin, Devillers et al Limsi, F - Heylen et al, Twente Univ, NL - … Crest Expressive Speech Processing : - Campbell, ATR Japan

42 Labeling by experts statisticalverification of the coherence betweenexperts The corpus Auto-annotations by the subject himself self consciousness autobiographical memory complex combinations complex combinations more than affects more than affects

43 Ecole TCAN, 2006 The theory that an emotion-provoking stimulus triggers a cognitive appraisal, which is followed by the emotion and the physiological arousal » W.G. Huitt, à propos de Lazarus « The theory that an emotion-provoking stimulus triggers a cognitive appraisal, which is followed by the emotion and the physiological arousal » Lazarus : conscience du ressenti émotionnel (grâce à lapparasial), rapport à la verbalisation, mémoire dun épisode émotionnel Scherer : mémoire de lexpérience émotionnelle Ekman 99 (automatic appraisal + extended appraisal) « …then the person is quite aware of what Lazarus [66..91] calls the meaning analysis which occurs. » (2005) « les événements émotionnels font partie de la chaîne causale qui contribue à lévolution et à la consolidation du pattern dappraisal. A partir de là, ce qui évolue nest pas juste un appraisal mais un amalgame appraisal-émotion ou « interprétation émotionnelle », conscience de ressentir ». Lewis (2005) « les événements émotionnels font partie de la chaîne causale qui contribue à lévolution et à la consolidation du pattern dappraisal. A partir de là, ce qui évolue nest pas juste un appraisal mais un amalgame appraisal-émotion ou « interprétation émotionnelle », conscience de ressentir ». => auto-annotation Conscience et mémoire de lémotion => limites de granularité ??? => limites de granularité ??? => limites de appraisal vs. mémoire ??? => limites de appraisal vs. mémoire ???

44 … Perception tests by naive listeners Labeling by experts statisticalverification of the coherence betweenexperts The corpus Auto-annotations by the subject himself self consciousness autobiographical memory complex combinations complex combinations more than affects more than affects

45 Ecole TCAN, 2006 Methodology for E-Wiz corpora (Crest ESP) theoritical principles Speaker control of the speaker motivation psychological profile scenario of the wizard authentic corpus annotations perceptive analysis acoustic analysis acted corpus + big six simulation evaluation [Audibert, Aubergé, Rilliard, ]

46 speech interactions = monowords [brik, vEr, rU3,jOn, sabl] « page suivante » free comments E-Wiz platform (GPL free available) language learning pretext task: « easy learning of the prounounciation of sounds of world » directly motivated «caught» subjects wizards of Oz

47 Ecole TCAN, steps - concentration - positive feed-back - negative feed-back - warning feed-back Spontané + acteur 3 types of behaviors [Audibert, 03 ; Noiray, 03]

48 17 sujets (dont 7 acteurs) 6 heures parole => 3400 mono-syllabic + commentaires 10 heures de non parole => informations face, corps, voix, ou autre bruit… communication = flux permanent ponctué par les tours de parole => pas dACA autiste !!

49 Ecole TCAN, 2006 Subject M2

50 Ecole TCAN, 2006 Comment objectiviser lauto-annotation Comment objectiviser lauto-annotation - terminologies directes :calme, tranquille, concentration, réfléchis à, s û re de moi, confiant, stressée, inquiète, déconcertée, perplexe, doute, surprise, surprise en bien, étonnée, perdue, fatigue, exaspéré - quantifieurs abs/rel : très, un peu, grand, légère, plus que, croissante,… - explicatifs : ennui (long), fatiguée,parce que long, surprisedes bons résultats, amusé parce que résultats inattendus, concentraté mon but étant de comprendre ce que je dois répondre, la difficulté augmente, le stress aussi, surprise par les résultats car javais un gros doute sur ma réponse - descriptifs : un peu de mal à me mettre dans la tâche, Je sens une senvie de rire qui monte, emprise du logiciel dans le sens ou je suis les consignes du mieux que je peux, surprise par les résultats car un doute persistait sur la prononciation. néanmoins les résultats donnent une certaine satisfaction personnelle

51 Ecole TCAN, 2006

52

53

54

55 Sound Teacher script: main steps end begin middle

56 Ecole TCAN, 2006 Loud speaker Wizard Client computer EGG computer Synchronization beep Audio recording (DAT) Video + audio recording (DV Cam) Physiological recording (BioGraph) Mixing table Screen copy Speaker Client computer Synchronization beep Microphone Screen DV Cam Physio. sensors : RED, temp., resp., heart rate, EMG Client computer Speaker Speaker + Client computer + Synchronization beep Network Quiet room Synchronization beep Synchronized signals The experimental protocol acoustic, articulatory, visual + bio-signals

57 -- + annotations étape 1étape 2étape annotations sujet 1 … sujet n données physio parole (éditeur = Praat) (mot monosyl) (commentaires) langage (éditeur = transcriber) voix face EGG articulatoire corps

58 Ecole TCAN, 2006 Morphologie : Comment annoter les expressions de la face du corps de la voix de la parole du langage => éthogramme…

59 Ecole TCAN, 2006 confident, little amused little irritated, little anxious concentration ++ nothing Expressions of emotions/moods/mental states Example of subject Y: authentic stimuli => 12 auto-annotated labels sets: confidence, positive concentration, joy/surprise, joy, amusement, negative concentration, disappointment /surprise, anxiety, anxiety/fear, weariness, irritation, resignation, nothing but => 6 direct remembered labels for Y acting + 3 added: satisfaction, resignation, worried, anxiety, disappointment, nothing + added (joy, sadness, disgust) [Rilliard et al, 04]

60 Ecole TCAN, 2006 only A AV significative correlation whatever the length Perceptive validation [Rilliard, Audibert, Aubergé, 2004]

61 Quelle morphologie pour ces affects-là : les émotions - contrôle involontaire ? => relation avec la morphologie de la prosodie pour toutes les fonctions à contrôle volontaire (dont les attitudes) ?

62 Ecole TCAN, 2006 Klaus Scherer, Tom Johnstone, Gundrun Klasmeyer, 2003 H of Af Sc prosodie = gradience

63 Ecole TCAN, 2006 Klaus Scherer, Tom Johnstone, Gundrun Klasmeyer, 2003 H of Af Sc émotion = dimension réservée En reco automatique toujours une combinaison de multiples paramètres partiellement redondants => A. Batliner

64 Ecole TCAN, 2006 vs. specific dimensions? voice quality intensity, duration fundamental frequency depending on which emotion [Mozziconnacci; Scherer; Laukka; Ni Chasaide] fundamental frequency intensity, duration voice quality [Scherer & Ladd, 84][Delattre, 70, Fonagy 76, Aubergé 91] functions driven superposition of gradient contours emotional prosody gradience linguistic prosody global contours specific morphology?

65 Ecole TCAN, 2006 Patterns evidence Patterns evidence for one dimension shared with linguistic prosody: F0 parameter disappointment

66 Ecole TCAN, 2006 Dimensional projection Dimension per dimension: from emotion to nothing 5 resynthesis conditions for Praat vs. LF-ARX full resynthesis (control condition) F0 only intensity only F0 and intensity voice quality and duration emotion neutral resynthesis (Praat) projection [Audibert, Aubergé, Rilliard, 05][Audibert, Vincent, et al, 06]

67 Ecole TCAN, juges (langue mat. fr., âge moy. = 23,3 ans) 3 présentations de chaque stimulus, ordre aléatoire Choix fermé parmi les 9 étiquettes (dont « neutre») Intensité émotionnelle perçue sur une échelle de 1 à 10 Evaluation perceptive

68 Ecole TCAN, 2006 Condition de contrôle : « resynthèse complète » joie satisfaction anxiété inquiétude tristesse – décép. résignation dégoûtneutre Attractivité (%)

69 Ecole TCAN, 2006 Condition « F0 seule » Attractivité (%) joie satisfaction anxiété inquiétude tristesse – décép. résignation dégoûtneutre

70 Ecole TCAN, 2006 Condition « F0 & intensité » Attractivité (%) joie satisfaction anxiété inquiétude tristesse – décép. résignation dégoûtneutre

71 Ecole TCAN, 2006 Condition « Intensité seule » Attractivité (%) joie satisfaction anxiété inquiétude tristesse – décép. résignation dégoûtneutre

72 Ecole TCAN, 2006 Condition « Qualité de voix & durée » Attractivité (%) joie satisfaction anxiété inquiétude tristesse – décép. résignation dégoûtneutre

73 Ecole TCAN, 2006 émotions négatives émotions positives joie satisfaction tristesse dégoût déception anxiété inquiétude résignation contours F0 > Qualité de Voix & durée Qualité de Voix & durée > F0 aucune dimension ne porte seule toute linformation affective Intensité renforce lidentification par F0 et QV

74 Ecole TCAN, 2006 glottis control speaker affective labels/« functions » fear, anger, joy… politeness… intimacy … degree of care [ Laver] [Campbell] affective speech phonation categories breathy, creaky, lax… [ Laver] [Ni Chasaide&Gobl] perception/cognition listener acoustic processing: inversion problem acoustic prosody modeling [Scherer, Cowie, Laukka…] articulatory models [Liliencrant Fant] Qualité de voix

75

76 Ecole TCAN, 2006 La glotte

77 Ecole TCAN, 2006 Les cordes vocales

78 Ecole TCAN, 2006 A calculation of breathyness? [Alku et al., 2002] pressed ( ), modal ( ) and breathy ( ) Algorithm NAQ is phoneme-dependent NAQ is in the inversion paradigm for nasal pressed modal breathy NAQ for breathy voice [Rossato, Audibert, Aubergé, 2004] [Mokthari & Campbell., 2004] breathy pressed i

79 Ecole TCAN, 2006 Global voice quality coding Integration of LF-ARX [Vincent, Rosec & Chonavel, 05] Evaluation on the natural (Praat) references same performances [Audibert, Vincent, et al, 06] [Fant et al, 85] [Ding et al, 95]

80 Ecole TCAN, 2006 « e » (8mn59) : toujours en bas, lève sourcils fait « mmmmm »aspiré à 9mn03 pince lèvres sur gauche puis se redresse pince vite lèvres sur droite puis se baisse un peu en disant « brique » à 9mn11 lève sourcils front toujours plissé icône IGG22 rapide front plissé sourcils froncés nez très remonté bouche ouverte on voit ses dents lèvre inférieure tendue puis tête sur la droite se redresse avec sa mimique IG-3 sourcils levés front plissé menton plissé, coins de la bouche relevé fait « mm » à 9mn16 en accentuant sa mimique (sourcils froncés), rentre menton, puis rentre ses lèvres mimique disparaît mais toujours front plissé, bouche pincée IGG22 IG-3 Feeling of Thinking : annotation ? cerveau dhumain avant interprétation => icônes

81 Ecole TCAN, 2006 concentré - négatif statique / dynamique /rythmique (schéma) exp faciale exp dyna ou stratégie organisation de gestes [Ekman] [Frijda] [Pelachaud] [Graff et al] video 1 « grande concentration, le but étant de comprendre ce qui est prononcé » video 2 « la difficulté saccroît donc le stress aussi » Sabrina_+intense.wmv Sabrina_furtif.wmv concentré - négatif

82 Ecole TCAN, 2006

83

84 - parole Tanziger et Scherer- GERC Genève; Schröder et al-DFKI, Saarbrucken ; Ni Chasaide et al- Dublin Un; Audibert et Vincent et al, ICP & FT R&D, France… - - face Ekman et al- UCSF USA; Massaro et al-UCSC, USA - gestes Pelachaud et al, LINC Paris (ACA Greta) Méthode par annotation/analyse/resynthèse

85 Ecole TCAN, 2006 Summary of questions cross languages of attitudes & prosody teaching: false friend paradigm cross languages of emotions (E-Wiz in Hungarian) a multi-agents architecture for the communication system linguistic strategies of expressiveness affective and linguistic prosody in an integrated morphology processing but two cognitive time domains ? (emotion events time vs. linguistic time) => coherence with biosignals & prosodic morphology timing => planed: brain timing measurement authentic vs. acted: extended to timing question => perception and production specificities => planed: brain processing evidences multi-modality is « coordination » of face & voice information/action-perception gestures => perception & expression timing « FoT » in and out talk turn => ethograms, intra-speaker rhythm => embodied conversational agent dialog is all affective states & mental states, with ou without speech (cf. grunts interactions)


Télécharger ppt "Communication expressive : agents rationnels, agents conversationnels, rôle des é motions V é ronique Auberg é."

Présentations similaires


Annonces Google