Son et Interactivité Introduction - Contrôle gestuel Marcelo M. Wanderley Ircam - Centre Pompidou mwanderley@acm.org http://www.ircam.fr/gesture http://www.notam.uio.no/icma/interactivesystems/wg.html

Contexte de l’interaction Niveau (continuum) Non-expert -> expert (entraînement) Type Sans contact physique ou manipulation Projet du système d’acquisition de gestes 16/02/2019 Marcelo M. Wanderley

Interaction 16/02/2019 Marcelo M. Wanderley

Cette présentation Objectif de cette présentation : Contrôle gestuel expert de la synthèse sonore 16/02/2019 Marcelo M. Wanderley

Introduction Synthèse sonore : Des méthodes de synthèse de haute qualité : Modèles de signal Modèles physiques Pour des ordinateurs personnels. (présentation de Benjamin Thigpen) 16/02/2019 Marcelo M. Wanderley

Introduction Contrôle (temps-réel) de la synthèse : Plusieurs contrôleurs gestuels déjà proposés :  Normalement issus des demandes idiosyncrasiques. … et qui demeurent réservés à l’usage unique de leurs concepteurs ! 16/02/2019 Marcelo M. Wanderley

Introduction Situation actuelle : Le rôle presque universel du clavier MIDI comme principale interface de contrôle. Situation similaire pour la IHM avec le clavier et la souris comme dispositifs d’entrée défaut ! 16/02/2019 Marcelo M. Wanderley

Instruments composés Un modèle d’instrument composé : 16/02/2019 Marcelo M. Wanderley

Instrument composé Les parties d’un instrument composé : les gestes du musicien et les types de retour vers l'instrumentiste : le projet d’un contrôleur gestuel, Le lien instrumental qui traduit la correspondance entre variables gestuelles et variables de synthèse, et le dispositif de synthèse sonore. 16/02/2019 Marcelo M. Wanderley

Les gestes Quel est le concept de geste en musique ? Geste musical  mouvement de la pensée Geste instrumental  technique de jeu Geste  variables physiques  primitives gestuelles (I. Choi) (présentation de tout à l ’heure) 16/02/2019 Marcelo M. Wanderley

Exemple - I. Choi Machine Child Contrôle gestuel : tracker magnétique, cyberboots (FSRs) 16/02/2019 Marcelo M. Wanderley

Geste Distinction initiale : Sans contact physique  gestes libres, sémiotiques, nus Avec contact physique  gestes ergotiques, haptiques, interactifs 16/02/2019 Marcelo M. Wanderley

Acquisition de gestes En musique instrumentale : Acquisition directe : capture des gestes et mouvements par l’utilisation de capteurs. Acquisition indirecte : information gestuelle obtenue à partir de l’analyse du son de l’instrument. (présentation d’Emmanuel Fléty) 16/02/2019 Marcelo M. Wanderley

Contrôleurs gestuels Imitatifs : profitent de langages gestuels hautement développés  gestes experts. Exemple : Instruments MIDI (clavier, guitare, etc.) Analogues : similaires aux instruments mais utilisés de façon différente  SuperPolm (S.Goto). Alternatifs : acquisition de gestes/mouvements naturels, etc. 16/02/2019 Marcelo M. Wanderley

Contrôleurs Contrôleurs imitatifs : Saxophone MIDI - YamahaWX7 16/02/2019 Marcelo M. Wanderley

Contrôleurs Contrôleurs analogues : S. Goto - Superpolm contrôleur ‘ type violon ’ pour profiter du langage gestuel des violonistes mais utilisé pour contrôler d’autres sons (exemple : synthèse granulaire) 16/02/2019 Marcelo M. Wanderley

Contrôleurs Exemple de contrôleur alternatif : Tablette wacom 16/02/2019 Marcelo M. Wanderley

Contrôleurs Contrôleur alternatif : The Hands (M. Waisvisz - STEIM) http://www.steim.nl 16/02/2019 Marcelo M. Wanderley

Projet d’un contrôleur Vertegaal et al. - ICMC96 Relation entre type de transducteur, retour et fonction musicale. 16/02/2019 Marcelo M. Wanderley

Évaluation de la figure précédente Évaluation pour des situations spécifiques Viollet/Isart/Wanderley/Rodet99 Utilisation d ’une tablette wacom instrumentée par l’addition d’autres capteurs - FSR, FSR linéaire. Choix de la méthodologie d’évaluation dans un contexte musical. (démos - Benjamin) 16/02/2019 Marcelo M. Wanderley

Définition de la tache Contexte musical Variable de test isolée Sans entraînement important Taches proposées : 16/02/2019 Marcelo M. Wanderley

Définition de la tache Résultats pas significatifs pour la première tache. Deuxième tache simplifiée : 16/02/2019 Marcelo M. Wanderley

Hypothèses Nos deux hypothèses : Le variables du test : Le meilleur contrôleur pour le vibrato est le capteur de pression, Le contrôle du vibrato avec le stylo de la tablette est plus facile dans la direction horizontale que dans la diagonale. Le variables du test : Variables indépendantes : Type de transducteur – trois modalités (C), type de trajectoire – deux modalités (T). Variable dépendante : Évaluation (en 7 degrés). 16/02/2019 Marcelo M. Wanderley

Résultats 16/02/2019 Marcelo M. Wanderley

Exemple d’application The Cockpit - T. Hungvary/M. Kieslinger 16/02/2019 Marcelo M. Wanderley

Interfaces Analogique - MIDI Transforment des signaux analogiques issus des capteurs dans le standard MIDI. Différents modèles (Sensorlab, i-Cube, AtoMIC Pro, etc.) (démos Emmanuel) 16/02/2019 Marcelo M. Wanderley

Interfaces A/M - Comparaison Gesture Research in Music (home - page) http://www.ircam.fr/gesture 16/02/2019 Marcelo M. Wanderley

Mapping Correspondance entre paramètres de contrôle et paramètres de synthèse (RWDD97)(HK99) Un-à-un; Convergente (many-to-one); Divergente (one-to-many);  Une combinaison des trois (dans plusieurs instruments acoustiques) 16/02/2019 Marcelo M. Wanderley

Étude de cas La clarinette et le contrôleur WX7 Yamaha WX7 - contrôleur MIDI basé sur le saxophone. Modèle simplifié de l’instrument acoustique ! 16/02/2019 Marcelo M. Wanderley

Étude de cas Yamaha WX7 (WX5) sorties indépendantes : - doigté - souffle - pression des lèvres 16/02/2019 Marcelo M. Wanderley

Étude de cas Clarinette  comportement de l’anche  Les gestes ne sont pas indépendants  L ’embouchure est toujours présente 16/02/2019 Marcelo M. Wanderley

Importance du mapping Simulation du comportement de l’instrument acoustique (e.g. clarinette - RWDD97) 16/02/2019 Marcelo M. Wanderley

Vers un modèle de Mapping Deux couches indépendantes - définition par l’utilisateur des paramètres abstraits de manipulation (MFH97) (WSR98) Première couche dépendante du type de contrôleur Deuxième couche dépendante du type de synthèse 16/02/2019 Marcelo M. Wanderley

Exemple - Mapping Sound Sculpting - A. Mulder/S. Fels/K. Mase - ATR Japon 1997 16/02/2019 Marcelo M. Wanderley

Exemple de synthèse ESCHER (avec N. Schnell et B. Rovan) Architecture générique pour le contrôle temps-réel Exemples sonores (synthèse additive): Morphing clarinette/hautbois Extrait Fermeture de l’anche 16/02/2019 Marcelo M. Wanderley

Conclusion Importance des différentes parties de l’instrument composé : acquisition de gestes mapping synthèse Étude de l’interaction musicien/instrument gestes et types de retour 16/02/2019 Marcelo M. Wanderley

Référence Livre électronique édité à l’Ircam (mars/00) par M. et Wanderley M. Battier 16/02/2019 Marcelo M. Wanderley