Février/2000Marcelo M. Wanderley1 - Stage Son et Interactivité - Le Geste en Musique Marcelo M. Wanderley

Présentation au sujet: "Février/2000Marcelo M. Wanderley1 - Stage Son et Interactivité - Le Geste en Musique Marcelo M. Wanderley"— Transcription de la présentation:

1 Février/2000Marcelo M. Wanderley1 - Stage Son et Interactivité - Le Geste en Musique Marcelo M. Wanderley mwanderley@acm.org http://www.ircam.fr/gesture

2 Février/2000Marcelo M. Wanderley2 Geste en musique zGestes - quelques définitions : y« Un geste est un mouvement du corps qui contient de l'information » (KH'90) y« Gestes (mouvements) des mains vs. postures de la main (positions à un moment spécifique donné) ». (Mulder'98) y« Geste instrumental : modalité de communication spécifique au canal gestuel… » (Cadoz'94) zDifférents types des gestes : (Baecker et al.'95) ySans contact physique (avec un outil); yAvec contact physique (avec un outil) - cas spécial : geste instrumental. zChaque type de geste a ses propres caractéristiques  processus d'acquisition du geste.

3 Février/2000Marcelo M. Wanderley3 Gestes - suite  Geste  forme de signal (au même titre que les signaux sonores, signaux de contrôle). y« Geste expert » - geste développé (appris) par le sujet. Ex : technique de jeu d'un instrument. xRemarque : en musique, le geste fait plus ou moins partie du « dispositif instrumental » partie « faible » dans les instruments à clavier; plus évidente dans un violon ; complètement intégrée à « l'instrument » dans le cas de la voix. zDes objectifs de la réflexion sur le geste : y Établir une hiérarchisation du geste instrumental en fonction de ces effets sur le son.  Rendre possible le projet d'interfaces gestuelles mieux adaptées aux caractéristiques de l'interprète.

4 Février/2000Marcelo M. Wanderley4 Classifications de gestes zExemples : le geste dans différent domaines yGestes à main libre ou non-instrumentaux xDeux classifications de gestes à main libre xGeste naturel xContrôle d'ordinateurs xInteraction multimodale xGeste du chef d'orchestre yManipulation et contexte instrumental xGeste/Outil xAnalyse du jeu instrumental xGeste instrumental yPrimitives gestuelles

5 Février/2000Marcelo M. Wanderley5 Interaction

6 Février/2000Marcelo M. Wanderley6 Classifications de gestes zKendon ’s continuum : (McNeill92) Gesticulation  gestes type langage  pantomimes  emblèmes  langages de signe zDe gauche à droite : yLa présence obligatoire de discours diminue ; yLa présence de propriétés de langage augmente ; yGestes idiosyncrasiques sont remplacés par des gestes réglementés socialement.

7 Février/2000Marcelo M. Wanderley7 Classifications de gestes zRimé et Schiatura ’91 : ySymboliques - ceux qui présentent une signification unique (dans une culture). yDeitiques - ceux utilisés pour indiquer des objets  pointage ou pour diriger l'attention de l'interlocuteur sur des événements spécifiques ou objets dans l'environnement. Ex. Interaction Homme-Machine (IHM) ; yIconiques - ceux qui donnent des informations à propos de la taille, forme ou orientation de l'objet du discours ;  Pantomimes - ceux typiquement utilisés pour montrer l'utilisation des mouvements d'un outil ou d'un objet invisible dans la main de celui qui fait le discours. zSeulement le premier groupe peut être interprété sans autre contexte supplémentaire.

8 Février/2000Marcelo M. Wanderley8 Geste naturel (Cassel'97) zLes « gestes naturels » sont des gestes générés spontanément par une personne qui raconte une histoire, qui parle en public ou qui maintient une conversation  Associés au discours ! zLes configurations et mouvements caractéristiques observés dans les gestes « naturels » sont : ydépendantes de l'individu ; yinfluencés par des facteurs situationnels, éducationnels et culturels. zStructure temporelle des gestes naturels : les phases du geste.

9 Février/2000Marcelo M. Wanderley9 Geste naturel - suite zQuatre types basiques de gestes naturels générés pendant le discours : xIconiques xDeitiques xMétaphoriques xBattements (ou pulsations)  beat gestures zLes trois premiers types  considérés comme possédant un sens dans un dialogue.

10 Février/2000Marcelo M. Wanderley10 Geste naturel - suite zCaractéristiques temporelles du geste naturel zGestes en deux-phases et en trois-phases : yGestes de battement ou pulsation (beat)  mouvement type baguette - 2 phases. yGestes Iconiques, deitiques et métaphoriques 1) Transition à un « espace des gestes » (devant l'individu), 2) Exécution d'un mouvement plus petit - « le coup », 3) Petite pause dans cette configuration, 4) Retour à l´état de repos.

11 Février/2000Marcelo M. Wanderley11 Contrôle de l'ordinateur par des accès gestuels (Kurtenbach et Hulteen'90) zContinuum  gestes utilisés comme entrées d'un ordinateur : 1.Gestes utilisés pour augmenter une information donnée par d'autres canaux de communication  l'information gestuelle peut être redondante ! Ex. Lecture des lèvres par ordinateur (peut aider à la reconnaissance de la parole). 2.Gestes transmettant des informations essentielles non redondantes.  Aucune des deux informations (seule) n'est suffisante. Ex : pointer un objet et dire "celui là" - le geste montre quel objet regarder et le discours montre quand le faire. 3.Gestes comme principal canal d'entrée pour la machine. Ex : Entrée gestuelle pour des personnes handicapées. Ex : Dessiner une figure à l'écran au lieu d'écrire son équation mathématique.

12 Février/2000Marcelo M. Wanderley12 Discours, gestes et interaction multimodal zÉtude (BGBG95) des travaux sur des systèmes IHM en utilisant : yle discours, yles gestes manuels, yle suivi du regard. zL'interprétation par la machine d'entrées multimodales simultanées :  trouver une signification unique de l'entrée à partir des diverses sources.

13 Février/2000Marcelo M. Wanderley13 Gestes du chef d’orchestre (Marrin'96) zLes techniques contemporaines du chef d'orchestre : yun groupe de règles pour bien tenir et mouvoir la baguette, yun groupe de motifs rythmiques bi-dimensionnels (« beat-patterns ») pour indiquer le temps (battement, rubato, subdivisions et articulations) et yun groupe d'indications pour la main gauche (signaux d’entrée, augmentation et diminution de la dynamique, emphase, accents et pauses). zVariables d’intérêt (continues et discrètes) : ybattement : les impulsions, classées d'après leur direction. ydirection, yemphase, la force d'un geste, yvélocité, ytaille des formes de battements,  placement des formes (séquences de battements).

14 Février/2000Marcelo M. Wanderley14 Gestes du chef d’orchestre (Fantapie88) Relation entre analyse de la partition et gestique du chef d'orchestre :

15 Février/2000Marcelo M. Wanderley15 Gestes appliqués à un outil : (Mulder96) zClassification par rapport à des caractéristiques physiques : ytype d'objet : solide, fluide ou gazeuse ychangement effectué : position, orientation ou de forme yUtilisation d’une ou des deux mains xpréhensiles. xnon-préhensiles. ymanipulation directe ou par intermédiaire d'un outil.

16 Février/2000Marcelo M. Wanderley16 Types de saisie (d ’après Burdea/Coiffet93)

17 Février/2000Marcelo M. Wanderley17 Analyse du jeu instrumental (Delalande88) zClassification des gestes d'un instrumentiste en trois niveaux - du fonctionnel au symbolique : yGeste effecteur - celui qui est nécessaire pour produire mécaniquement un son; yGeste accompagnateur - celui qui engage le corps entier. Des mouvements qui ne semblent pas absolument indispensables mais qui sont néanmoins présents. yGeste figuré - celui qui provoque par exemple un balancement d'une mélodie, sans supposer qu'un pianiste se soit balancé (articulation des sons). zDelalande analyse plusieurs séquences vidéo du pianiste Glenn Gould et propose des relations entre des gestes et la partition originale.

18 Février/2000Marcelo M. Wanderley18 Geste Instrumental (Cadoz88, 94, 99) zLe canal gestuel : yMoyen d'action sur le monde physique et aussi comme moyen de communication informationnelle à double sens : émission et réception d'informations. zTrois fonctions associées à la main : yErgotique : action matérielle, modification et transformation de l'environnement. yÉpistémique : reconnaissance de l'environnement. ySémiotique : émission d'informations.

19 Février/2000Marcelo M. Wanderley19 Geste instrumental - suite zDéfinition : yModalité de communication spécifique du canal gestuel, complémentaire au « geste à nu », caractérisé de la façon suivante : yil s'applique à un objet matériel (i.e. outil) et il y a interaction physique avec celui-ci, ydans le cadre de cette interaction se produisent des phénomènes physiques différenciés dont les formes et les évolutions dynamiques peuvent être maîtrisées par le sujet, yces phénomènes peuvent alors devenir les supports de messages communicationnels.

20 Février/2000Marcelo M. Wanderley20 Geste instrumental - suite (Cadoz 99) zTypologie du geste instrumental : yGeste d'excitation : xInstantané, continu, entretenu. yGeste de modification : xParamétrique - continu ou discret ; xStructurel. yGeste de sélection xSéquentiel, simultané. zGeste non instrumental : yGeste à nu (direction sans baguette, langage des signes) yGeste équipé (direction avec baguette)

21 Février/2000Marcelo M. Wanderley21 Gestes de polarisation zSuggestion d’un type de geste complémentaire aux gestes instrumentaux : Geste de polarisation  complémentaire aux gestes instrumentaux dans certains instruments (ex. clarinette, cornemuse) ;  met l ’instrument dans état de jeu (toujours présent) ;  peut modifier l ’action d ’autres types de geste.

22 Février/2000Marcelo M. Wanderley22 Bilan des classifications  Classifications fonctionnelles xGestes associés au discours xGeste naturel xAnalyse du jeu instrumental xGeste instrumental zClassifications phénoménologiques xPhysiologie - classification des mouvements (Massion97) xPrimitives gestuelles (Choi98)

23 Février/2000Marcelo M. Wanderley23 Types de mouvements (Massion97) zOrigine du mouvement : mouvement actif ou passif. zNature du mouvement :  Mouvements réflexes ;  Mouvements automatiques ;  Mouvements intentionnels :  déclenchés ;  auto-initiés. zMouvements intentionnels :  Simple (mono) ou complexe (pluri-articulaire);  Discrète ou rythmique ;  Lent ou rapide ;  Avec ou sans un but précis ;  En boucle ouverte ou en boucle fermée ;  Isométrique (but de produire une force) ou isotonique (un déplacement).

24 Février/2000Marcelo M. Wanderley24 Mouvements intentionnels zTrois classes :  Mouvement balistique pur - commande impulsionnelle initiale détermine entièrement les paramètres de l ’exécution ;  Mouvement rapide avec freinage et ajustement terminal - mouvement dirigé vers une cible précise. Première phase balistique suivie d ’une phase de freinage et d’ajustement terminal.  Mouvement lent, de poursuite ou en rampe - dépendant des réafférences sensorielles au cours de son exécution. Ex. poursuite d ’une cible par le regard, exploration tactile.

25 Février/2000Marcelo M. Wanderley25 Primitives gestuelles (Choi98) zPrimitives gestuelles : des unités élémentaires pour la détection des actions humaines transmises par des capteurs. zTrois groupes : yPrimitives de trajectoires ; yPrimitives de force ; yPrimitives basées sur des motifs (« patterns »). zClassification fondée sur : y- mouvement, y- distribution du poids y- organisation de taches répétitives.

26 Février/2000Marcelo M. Wanderley26 Division artificielle de la sensibilité somatique (Sherrington 1900) zTrois classes (répartition corporelle plus ou moins profonde des récepteurs sensoriels correspondants) : yExtéroception (récepteurs extéroceptifs) - sensibilité périphérique à l'interface entre soi et le monde - inclue notamment la vision et la sensibilité tactile. yProprioception (récepteurs proprioceptifs) qui regroupe les sensibilités attachées aux instruments moteurs et d'orientation spatiale du corps - muscles, tendons, articulations et l'appareil vestibulaire. yIntéroception - sensibilité viscérale profonde. zEn général  la précision absolue des sens est faible comparativement à la précision relative  grande capacité de comparaison entre deux stimuli.

27 Février/2000Marcelo M. Wanderley27 Somesthésie (Roll95) zIl existe dans presque tous les tissus du corps humain des récepteurs susceptibles d'être activés par des stimulations mécaniques. zLes informations provenant de ces récepteurs constituent la somesthésie, qui est séparée en deux parties : yla sensibilité superficielle ou cutanée et yla sensibilité profonde ou proprioception.

28 Février/2000Marcelo M. Wanderley28 Sensibilité Cutanée (Roll95) zComposée du toucher, de la sensibilité à la pression, aux vibrations et à la variation de température. yDiscrimination spatiale varie par rapport à la position dans le corps : 50 à 100 mm dans le dos ; 1 à 3 mm aux bouts des doigts. yLargeur de bande de la sensibilité aux vibrations : de 150 à 300 Hz yLa sensibilité à la variation de température dépend de la vitesse de changement, de l'étendue de la surface et de la température initiale.

29 Février/2000Marcelo M. Wanderley29 Proprioception (Roll95) zSensibilité à la position dans l'espace, au mouvement et aux forces exercées sur le muscles. ySens du mouvement (kinesthésie) - mouvement (geste). Ex. Récepteurs vestibulaires - sensibles à la pesanteur et aux accélérations que subit le corps (particulièrement la tête) ; ySens de la position (statesthésie) - posture. zLa main a une capacité en force de saisie jusqu'à 400 N ! Les doigts ont moins de capacité en intensité mais plus en dextérité et en sensibilité.

30 Février/2000Marcelo M. Wanderley30 Sensibilité de la main humaine : (d ’après Burdea/Coiffet93)

31 Février/2000Marcelo M. Wanderley31 Interaction - 2

32 Février/2000Marcelo M. Wanderley32 Intérêt de l ’étude des gestes - Deux exemples : zLangage des signes : ySystème d'acquisition possédant certaines informations sur ces gestes - les motifs associés à chaque geste, des règles de formation et enchaînement des gestes, etc. xCe sont des gestes qui ont des propriétés de langage et suivent des règles bien définies. zGesticulation : yDifficulté d'établir un système avec des informations pré-définies  ces gestes n'ont pas de propriétés inhérentes au langage (idiosyncrasiques). xLe système ne saurait pas en avance quoi exactement capturer, comme dans le cas de la langage des signes. Utilité des phases des gestes.

33 Février/2000Marcelo M. Wanderley33 Étude de cas : Modélisation de la clarinette zGestes effectifs : (capturés par un contrôleur du type clarinette) xSouffle, xPression des lèvres (vibrato en fréquence, contrôle du timbre, etc.), xDoigté xEmbouchure (pression des lèvres - polarisation). zGestes accompagnateurs : xMouvement de l’instrument. yPas capturés - ne produisent pas de son ! yNon utilisés en synthèse !

34 Février/2000Marcelo M. Wanderley34 Geste accompagnateur zCas de la clarinette : (Instrumentistes : Alain Damiens (gauche), J.-G. Boisvert (droite-haut), non-identifié (droite-bas))

35 Février/2000Marcelo M. Wanderley35 Gestes accompagnateurs zPartie du jeu d’instrumentistes de haut niveau ! - Questions : zOrigine ? yconsciente ou non consciente ? yExpression d’information ? zSimilitudes avec d ’autres types de geste ? - gestes naturels zRelation avec la partition ? - exemple de Glenn Gould (Delalande88) - Représentation mentale de la pièce ? zRelation avec la respiration ? zMotifs reproductibles (consistantes) pour un même instrumentiste et/ou entre instrumentistes ?

36 Février/2000Marcelo M. Wanderley36 Gestes accompagnateurs zSont présents même dans des conditions de jeu non-idéales… zJ. Butch Rovan enregistrant des séquences pour l’analyse - Ircam’98.

37 Février/2000Marcelo M. Wanderley37 Clarinette  D ’autres exemples : Alain Damiens - Domaines (P. Boulez) - 1985. Gestes circulaires pendant des Gestes rapides à la fin de phrases notes soutenues et dans des notes jouées ff

38 Février/2000Marcelo M. Wanderley38 Similarités zCommunication et représentation mentale : ySimilarités avec les gestes naturels ? xProduction non-consciente (pas de signification propre) xAugmentent ou complètent l’information transmise par le canal principal xPeuvent influencer l’information (sonore) reçue par l’audience (dans des conditions d’enregistrement particulières).

39 Février/2000Marcelo M. Wanderley39 Influence zExemple : yclarinette - Fa2 ff (Studio-on-Line) yX  temps (s) yY  amplitude (dB) yChaque partiel est représenté par une couleur différente. zFluctuations d’amplitude !

40 Février/2000Marcelo M. Wanderley40 Influence zVariations d’embouchure ? zDirectivité de l’instrument ? zEffet de salle ? yréverbération ? yPremières réflexions ? zVélocité du mouvement ?

41 Février/2000Marcelo M. Wanderley41 Embouchure zAnalyse de la même note enregistrée avec un microphone interne : yAmplitudes stables

42 Février/2000Marcelo M. Wanderley42 Interférence - sources multiples zN’intervient pas pour la note la plus grave ! yAnalyse d’un re2 (seulement le pavillon est ouvert) yEffets similaires !

43 Février/2000Marcelo M. Wanderley43 Directivité zCompliqué pour des fréquences élevées (R. Caussé): yFa2 Fondamentale (174,61 Hz) 15 eme partiel

44 Février/2000Marcelo M. Wanderley44 Directivité zEnregistrement en chambre anechoïque - mouvement normal yRe2 ff

45 Février/2000Marcelo M. Wanderley45 Directivité zChambre anechoïque - mouvement exagéré ymicro interne.

46 Février/2000Marcelo M. Wanderley46 Effet de salle zChambre anechoïque avec le placement d’un sol en bois (mouvement exagéré) :

47 Février/2000Marcelo M. Wanderley47 Vélocité du mouvement zN’altère pas les effets (instrumentiste : P. Hoffmann).

48 Février/2000Marcelo M. Wanderley48 Vélocité du mouvement

49 Février/2000Marcelo M. Wanderley49 Vélocité du mouvement

50 Février/2000Marcelo M. Wanderley50 Simulation zSimulation en temps- réel - jMax ou Max/MSP zUn slider simule l ’angle de la clarinette à chaque instant.

51 Février/2000Marcelo M. Wanderley51 Simulation zModèle simplifié - résultats similaires.

52 Février/2000Marcelo M. Wanderley52 Conclusions zÉtude des gestes : yDifférents types d’interaction yProjet d’interfaces ySimilitudes entre gestes différents

53 Février/2000Marcelo M. Wanderley53 Références zQuelques articles :

54 Février/2000Marcelo M. Wanderley54 Livre électronique z© Ircam 2000