- Son et Interactivité - Le Geste en Musique Marcelo M. Wanderley mwanderley@acm.org http://www.ircam.fr/gesture http://www.notam.uio.no/icma/interactivesystems/wg.html

Geste en musique Gestes - quelques définitions : « Un geste est un mouvement du corps qui contient de l'information » (KH'90) « Gestes (mouvements) des mains vs. postures de la main (positions à un moment spécifique donné) ». (Mulder'98) « Geste instrumental : modalité de communication spécifique au canal gestuel… » (Cadoz'94) Différents types des gestes : (Baecker et al.'95) Sans contact physique (avec un outil); Avec contact physique (avec un outil) - cas spécial : geste instrumental. Chaque type de geste a ses propres caractéristiques  processus d'acquisition du geste. 17/07/2019 Marcelo M. Wanderley

Gestes - suite Geste  forme de signal (au même titre que les signaux sonores, signaux de contrôle). « Geste expert » - geste développé (appris) par le sujet. Ex : technique de jeu d'un instrument. Remarque : en musique, le geste fait plus ou moins partie du « dispositif instrumental » partie « faible » dans les instruments à clavier; plus évidente dans un violon ; complètement intégrée à « l'instrument » dans le cas de la voix. Des objectifs de la réflexion sur le geste : Établir une hiérarchisation du geste instrumental en fonction de ces effets sur le son. Rendre possible le projet d'interfaces gestuelles mieux adaptées aux caractéristiques de l'interprète. 17/07/2019 Marcelo M. Wanderley

Classifications de gestes Exemples : le geste dans différent domaines Gestes à main libre ou non-instrumentaux Deux classifications de gestes à main libre Geste naturel Contrôle d'ordinateurs Interaction multimodale Geste du chef d'orchestre Manipulation et contexte instrumental Geste/Outil Analyse du jeu instrumental Geste instrumental Primitives gestuelles 17/07/2019 Marcelo M. Wanderley

Interaction 17/07/2019 Marcelo M. Wanderley

Classifications de gestes Kendon ’s continuum : (McNeill92) Gesticulation  gestes type langage  pantomimes  emblèmes  langages de signe De gauche à droite : La présence obligatoire de discours diminue ; La présence de propriétés de langage augmente ; Gestes idiosyncrasiques sont remplacés par des gestes réglementés socialement. 17/07/2019 Marcelo M. Wanderley

Classifications de gestes Rimé et Schiatura ’91 : Symboliques - ceux qui présentent une signification unique (dans une culture). Deitiques - ceux utilisés pour indiquer des objets  pointage ou pour diriger l'attention de l'interlocuteur sur des événements spécifiques ou objets dans l'environnement. Ex. Interaction Homme-Machine (IHM) ; Iconiques - ceux qui donnent des informations à propos de la taille, forme ou orientation de l'objet du discours ; Pantomimes - ceux typiquement utilisés pour montrer l'utilisation des mouvements d'un outil ou d'un objet invisible dans la main de celui qui fait le discours. Seulement le premier groupe peut être interprété sans autre contexte supplémentaire. 17/07/2019 Marcelo M. Wanderley

Geste naturel (Cassel'97) Les « gestes naturels » sont des gestes générés spontanément par une personne qui raconte une histoire, qui parle en public ou qui maintient une conversation  Associés au discours ! Les configurations et mouvements caractéristiques observés dans les gestes « naturels » sont : dépendantes de l'individu ; influencés par des facteurs situationnels, éducationnels et culturels. Structure temporelle des gestes naturels : les phases du geste. 17/07/2019 Marcelo M. Wanderley

Geste naturel - suite Quatre types basiques de gestes naturels générés pendant le discours : Iconiques Deitiques Métaphoriques Battements (ou pulsations) beat gestures Les trois premiers types  considérés comme possédant un sens dans un dialogue. 17/07/2019 Marcelo M. Wanderley

Geste naturel - suite Caractéristiques temporelles du geste naturel Gestes en deux-phases et en trois-phases : Gestes de battement ou pulsation (beat)  mouvement type baguette - 2 phases. Gestes Iconiques, deitiques et métaphoriques 1) Transition à un « espace des gestes » (devant l'individu), 2) Exécution d'un mouvement plus petit - « le coup », 3) Petite pause dans cette configuration, 4) Retour à l´état de repos. 17/07/2019 Marcelo M. Wanderley

Contrôle de l'ordinateur par des accès gestuels (Kurtenbach et Hulteen'90) Continuum  gestes utilisés comme entrées d'un ordinateur : 1.Gestes utilisés pour augmenter une information donnée par d'autres canaux de communication  l'information gestuelle peut être redondante ! Ex. Lecture des lèvres par ordinateur (peut aider à la reconnaissance de la parole). 2.Gestes transmettant des informations essentielles non redondantes.  Aucune des deux informations (seule) n'est suffisante. Ex : pointer un objet et dire "celui là" - le geste montre quel objet regarder et le discours montre quand le faire. 3.Gestes comme principal canal d'entrée pour la machine. Ex : Entrée gestuelle pour des personnes handicapées. Ex : Dessiner une figure à l'écran au lieu d'écrire son équation mathématique. 17/07/2019 Marcelo M. Wanderley

Discours, gestes et interaction multimodal Étude (BGBG95) des travaux sur des systèmes IHM en utilisant : le discours, les gestes manuels, le suivi du regard. L'interprétation par la machine d'entrées multimodales simultanées :  trouver une signification unique de l'entrée à partir des diverses sources. 17/07/2019 Marcelo M. Wanderley

Gestes du chef d’orchestre (Marrin'96) Les techniques contemporaines du chef d'orchestre : un groupe de règles pour bien tenir et mouvoir la baguette, un groupe de motifs rythmiques bi-dimensionnels (« beat-patterns ») pour indiquer le temps (battement, rubato, subdivisions et articulations) et un groupe d'indications pour la main gauche (signaux d’entrée, augmentation et diminution de la dynamique, emphase, accents et pauses). Variables d’intérêt (continues et discrètes) : battement : les impulsions, classées d'après leur direction. direction, emphase, la force d'un geste, vélocité, taille des formes de battements, placement des formes (séquences de battements). 17/07/2019 Marcelo M. Wanderley

Gestes du chef d’orchestre (Fantapie88) Relation entre analyse de la partition et gestique du chef d'orchestre : 17/07/2019 Marcelo M. Wanderley

Gestes appliqués à un outil : (Mulder96) Classification par rapport à des caractéristiques physiques : type d'objet : solide, fluide ou gazeuse changement effectué : position, orientation ou de forme Utilisation d’une ou des deux mains préhensiles. non-préhensiles. manipulation directe ou par intermédiaire d'un outil. 17/07/2019 Marcelo M. Wanderley

Types de saisie (d ’après Burdea/Coiffet93) 17/07/2019 Marcelo M. Wanderley

Analyse du jeu instrumental (Delalande88) Classification des gestes d'un instrumentiste en trois niveaux - du fonctionnel au symbolique : Geste effecteur - celui qui est nécessaire pour produire mécaniquement un son; Geste accompagnateur - celui qui engage le corps entier. Des mouvements qui ne semblent pas absolument indispensables mais qui sont néanmoins présents. Geste figuré - celui qui provoque par exemple un balancement d'une mélodie, sans supposer qu'un pianiste se soit balancé (articulation des sons). Delalande analyse plusieurs séquences vidéo du pianiste Glenn Gould et propose des relations entre des gestes et la partition originale. 17/07/2019 Marcelo M. Wanderley

Geste Instrumental (Cadoz88, 94, 99) Le canal gestuel : Moyen d'action sur le monde physique et aussi comme moyen de communication informationnelle à double sens : émission et réception d'informations. Trois fonctions associées à la main : Ergotique : action matérielle, modification et transformation de l'environnement. Épistémique : reconnaissance de l'environnement. Sémiotique : émission d'informations. 17/07/2019 Marcelo M. Wanderley

Geste instrumental - suite Définition : Modalité de communication spécifique du canal gestuel, complémentaire au « geste à nu », caractérisé de la façon suivante : il s'applique à un objet matériel (i.e. outil) et il y a interaction physique avec celui-ci, dans le cadre de cette interaction se produisent des phénomènes physiques différenciés dont les formes et les évolutions dynamiques peuvent être maîtrisées par le sujet, ces phénomènes peuvent alors devenir les supports de messages communicationnels et ou la production d ’une action matérielle. 17/07/2019 Marcelo M. Wanderley

Geste instrumental - suite (Cadoz 99) Typologie du geste instrumental : Geste d'excitation : Instantané, continu, entretenu. Geste de modification : Paramétrique - continu ou discret ; Structurel. Geste de sélection Séquentiel, simultané. Geste non instrumental : Geste à nu (direction sans baguette, langage des signes) Geste équipé (direction avec baguette) 17/07/2019 Marcelo M. Wanderley

Gestes de polarisation Suggestion d’un type de geste complémentaire aux gestes instrumentaux : Geste de polarisation  complémentaire aux gestes instrumentaux dans certains instruments (ex. clarinette, cornemuse) ;  met l’instrument dans état de jeu (toujours présent) ;  peut modifier l’action d ’autres types de geste. 17/07/2019 Marcelo M. Wanderley

Bilan des classifications Classifications fonctionnelles Gestes associés au discours Geste naturel Analyse du jeu instrumental Geste instrumental Classifications phénoménologiques Physiologie - classification des mouvements (Massion97) Primitives gestuelles (Choi98) 17/07/2019 Marcelo M. Wanderley

Types de mouvements (Massion97) Origine du mouvement : mouvement actif ou passif. Nature du mouvement : Mouvements réflexes ; Mouvements automatiques ; Mouvements intentionnels : déclenchés ; auto-initiés. Simple (mono) ou complexe (pluri-articulaire); Discrète ou rythmique ; Lent ou rapide ; Avec ou sans un but précis ; En boucle ouverte ou en boucle fermée ; Isométrique (but de produire une force) ou isotonique (un déplacement). 17/07/2019 Marcelo M. Wanderley

Mouvements intentionnels Trois classes : Mouvement balistique pur - commande impulsionnelle initiale détermine entièrement les paramètres de l ’exécution ; Mouvement rapide avec freinage et ajustement terminal - mouvement dirigé vers une cible précise. Première phase balistique suivie d ’une phase de freinage et d’ajustement terminal. Mouvement lent, de poursuite ou en rampe - dépendant des réafférences sensorielles au cours de son exécution. Ex . poursuite d ’une cible par le regard, exploration tactile. 17/07/2019 Marcelo M. Wanderley

Primitives gestuelles (Choi98) Primitives gestuelles : des unités élémentaires pour la détection des actions humaines transmises par des capteurs. Trois groupes : Primitives de trajectoires ; Primitives de force ; Primitives basées sur des motifs (« patterns »). Classification fondée sur : mouvement, distribution du poids organisation de taches répétitives. 17/07/2019 Marcelo M. Wanderley

Division artificielle de la sensibilité somatique (Sherrington 1900) Trois classes (répartition corporelle plus ou moins profonde des récepteurs sensoriels correspondants) : Extéroception (récepteurs extéroceptifs) - sensibilité périphérique à l'interface entre soi et le monde - inclue notamment la vision et la sensibilité tactile. Proprioception (récepteurs proprioceptifs) qui regroupe les sensibilités attachées aux instruments moteurs et d'orientation spatiale du corps - muscles, tendons, articulations et l'appareil vestibulaire. Intéroception - sensibilité viscérale profonde. En général  la précision absolue des sens est faible comparativement à la précision relative  grande capacité de comparaison entre deux stimuli. 17/07/2019 Marcelo M. Wanderley

Somesthésie (Roll95) Il existe dans presque tous les tissus du corps humain des récepteurs susceptibles d'être activés par des stimulations mécaniques. Les informations provenant de ces récepteurs constituent la somesthésie, qui est séparée en deux parties : la sensibilité superficielle ou cutanée et la sensibilité profonde ou proprioception . 17/07/2019 Marcelo M. Wanderley

Sensibilité Cutanée (Roll95) Composée du toucher, de la sensibilité à la pression, aux vibrations et à la variation de température . Discrimination spatiale varie par rapport à la position dans le corps : 50 à 100 mm dans le dos ; 1 à 3 mm aux bouts des doigts. Largeur de bande de la sensibilité aux vibrations : de 150 à 300 Hz La sensibilité à la variation de température dépend de la vitesse de changement, de l'étendue de la surface et de la température initiale. 17/07/2019 Marcelo M. Wanderley

Proprioception (Roll95) Sensibilité à la position dans l'espace, au mouvement et aux forces exercées sur le muscles. Sens du mouvement (kinesthésie) - mouvement (geste). Ex. Récepteurs vestibulaires - sensibles à la pesanteur et aux accélérations que subit le corps (particulièrement la tête) ; Sens de la position (statesthésie) - posture . La main a une capacité en force de saisie jusqu'à 400 N ! Les doigts ont moins de capacité en intensité mais plus en dextérité et en sensibilité. 17/07/2019 Marcelo M. Wanderley

Sensibilité de la main humaine : (d ’après Burdea/Coiffet93) 17/07/2019 Marcelo M. Wanderley

Interaction - 2 17/07/2019 Marcelo M. Wanderley

Intérêt de l ’étude des gestes - Deux exemples : Langage des signes : Système d'acquisition possédant certaines informations sur ces gestes - les motifs associés à chaque geste, des règles de formation et enchaînement des gestes, etc. Ce sont des gestes qui ont des propriétés de langage et suivent des règles bien définies. Gesticulation : Difficulté d'établir un système avec des informations pré-définies  ces gestes n'ont pas de propriétés inhérentes au langage (idiosyncrasiques). Le système ne saurait pas en avance quoi exactement capturer, comme dans le cas de la langage des signes. Utilité des phases des gestes. 17/07/2019 Marcelo M. Wanderley

Étude de cas : Modélisation de la clarinette Gestes effectifs : (capturés par un contrôleur du type clarinette) Souffle, Pression des lèvres (vibrato en fréquence, contrôle du timbre, etc.), Doigté Embouchure (pression des lèvres - polarisation). Gestes accompagnateurs : Mouvement de l’instrument. Pas capturés - ne produisent pas de son ! Non utilisés en synthèse ! 17/07/2019 Marcelo M. Wanderley

Geste accompagnateur Cas de la clarinette : (Instrumentistes : Alain Damiens (gauche), J.-G. Boisvert (droite-haut), non-identifié (droite-bas)) 17/07/2019 Marcelo M. Wanderley

Gestes accompagnateurs Partie du jeu d’instrumentistes de haut niveau ! - Questions : Origine ? consciente ou non consciente ? Expression d’information ? Similitudes avec d ’autres types de geste ? - gestes naturels Relation avec la partition ? - exemple de Glenn Gould (Delalande88) - Représentation mentale de la pièce ? Relation avec la respiration ? Motifs reproductibles (consistantes) pour un même instrumentiste et/ou entre instrumentistes ? 17/07/2019 Marcelo M. Wanderley

Gestes accompagnateurs Sont présents même dans des conditions de jeu non-idéales… J. Butch Rovan enregistrant des séquences pour l’analyse - Ircam’98. 17/07/2019 Marcelo M. Wanderley

Clarinette D ’autres exemples : Alain Damiens - Domaines (P. Boulez) - 1985. Gestes circulaires pendant des Gestes rapides à la fin de phrases notes soutenues et dans des notes jouées ff 17/07/2019 Marcelo M. Wanderley

Similarités Communication et représentation mentale : Similarités avec les gestes naturels ? Production non-consciente (pas de signification propre) Augmentent ou complètent l’information transmise par le canal principal Peuvent influencer l’information (sonore) reçue par l’audience (dans des conditions d’enregistrement particulières). 17/07/2019 Marcelo M. Wanderley

Influence Exemple : clarinette - Fa2 ff (Studio-on-Line) X  temps (s) Y  amplitude (dB) Chaque partiel est représenté par une couleur différente. Fluctuations d’amplitude ! 17/07/2019 Marcelo M. Wanderley

Variations d’embouchure ? Directivité de l’instrument ? Influence Variations d’embouchure ? Directivité de l’instrument ? Effet de salle ? réverbération ? Premières réflexions ? Vélocité du mouvement ? 17/07/2019 Marcelo M. Wanderley

Embouchure Analyse de la même note enregistrée avec un microphone interne : Amplitudes stables 17/07/2019 Marcelo M. Wanderley

Interférence - sources multiples N’intervient pas pour la note la plus grave ! Analyse d’un re2 (seulement le pavillon est ouvert) Effets similaires ! 17/07/2019 Marcelo M. Wanderley

Directivité Compliqué pour des fréquences élevées (R. Caussé): Fa2 Fondamentale (174,61 Hz) 15eme partiel 17/07/2019 Marcelo M. Wanderley

Directivité Enregistrement en chambre anechoïque - mouvement normal Re2 ff 17/07/2019 Marcelo M. Wanderley

Directivité Chambre anechoïque - mouvement exagéré micro interne. 17/07/2019 Marcelo M. Wanderley

Effet de salle Chambre anechoïque avec le placement d’un sol en bois (mouvement exagéré) : 17/07/2019 Marcelo M. Wanderley

Vélocité du mouvement N’altère pas les effets (instrumentiste : P. Hoffmann). 17/07/2019 Marcelo M. Wanderley

Vélocité du mouvement 17/07/2019 Marcelo M. Wanderley

Vélocité du mouvement 17/07/2019 Marcelo M. Wanderley

Simulation Simulation en temps-réel - jMax ou Max/MSP Un slider simule l ’angle de la clarinette à chaque instant. 17/07/2019 Marcelo M. Wanderley

Simulation Modèle simplifié - résultats similaires. 17/07/2019 Marcelo M. Wanderley

Conclusions Étude des gestes : Différents types d’interaction Projet d’interfaces Similitudes entre gestes différents 17/07/2019 Marcelo M. Wanderley

Références Quelques articles : 17/07/2019 Marcelo M. Wanderley

Livre électronique © Ircam 2000 17/07/2019 Marcelo M. Wanderley