Son et Interactivité Introduction - Contrôle gestuel

Présentation au sujet: "Son et Interactivité Introduction - Contrôle gestuel"— Transcription de la présentation:

1 Son et Interactivité Introduction - Contrôle gestuel
Marcelo M. Wanderley Ircam - Centre Pompidou

2 Contexte de l’interaction
Niveau (continuum) Non-expert -> expert (entraînement) Type Sans contact physique ou manipulation Projet du système d’acquisition de gestes 16/02/2019 Marcelo M. Wanderley

3 Interaction 16/02/2019 Marcelo M. Wanderley

4 Cette présentation Objectif de cette présentation :
Contrôle gestuel expert de la synthèse sonore 16/02/2019 Marcelo M. Wanderley

5 Introduction Synthèse sonore :
Des méthodes de synthèse de haute qualité : Modèles de signal Modèles physiques Pour des ordinateurs personnels. (présentation de Benjamin Thigpen) 16/02/2019 Marcelo M. Wanderley

6 Introduction Contrôle (temps-réel) de la synthèse :
Plusieurs contrôleurs gestuels déjà proposés :  Normalement issus des demandes idiosyncrasiques. … et qui demeurent réservés à l’usage unique de leurs concepteurs ! 16/02/2019 Marcelo M. Wanderley

7 Introduction Situation actuelle :
Le rôle presque universel du clavier MIDI comme principale interface de contrôle. Situation similaire pour la IHM avec le clavier et la souris comme dispositifs d’entrée défaut ! 16/02/2019 Marcelo M. Wanderley

8 Instruments composés Un modèle d’instrument composé : 16/02/2019
Marcelo M. Wanderley

9 Instrument composé Les parties d’un instrument composé :
les gestes du musicien et les types de retour vers l'instrumentiste : le projet d’un contrôleur gestuel, Le lien instrumental qui traduit la correspondance entre variables gestuelles et variables de synthèse, et le dispositif de synthèse sonore. 16/02/2019 Marcelo M. Wanderley

10 Les gestes Quel est le concept de geste en musique ?
Geste musical  mouvement de la pensée Geste instrumental  technique de jeu Geste  variables physiques  primitives gestuelles (I. Choi) (présentation de tout à l ’heure) 16/02/2019 Marcelo M. Wanderley

11 Exemple - I. Choi Machine Child Contrôle gestuel : tracker magnétique,
cyberboots (FSRs) 16/02/2019 Marcelo M. Wanderley

12 Geste Distinction initiale : Sans contact physique
 gestes libres, sémiotiques, nus Avec contact physique  gestes ergotiques, haptiques, interactifs 16/02/2019 Marcelo M. Wanderley

13 Acquisition de gestes En musique instrumentale :
Acquisition directe : capture des gestes et mouvements par l’utilisation de capteurs. Acquisition indirecte : information gestuelle obtenue à partir de l’analyse du son de l’instrument. (présentation d’Emmanuel Fléty) 16/02/2019 Marcelo M. Wanderley

14 Contrôleurs gestuels Imitatifs : profitent de langages gestuels hautement développés  gestes experts. Exemple : Instruments MIDI (clavier, guitare, etc.) Analogues : similaires aux instruments mais utilisés de façon différente  SuperPolm (S.Goto). Alternatifs : acquisition de gestes/mouvements naturels, etc. 16/02/2019 Marcelo M. Wanderley

15 Contrôleurs Contrôleurs imitatifs : Saxophone MIDI - YamahaWX7
16/02/2019 Marcelo M. Wanderley

16 Contrôleurs Contrôleurs analogues : S. Goto - Superpolm
contrôleur ‘ type violon ’ pour profiter du langage gestuel des violonistes mais utilisé pour contrôler d’autres sons (exemple : synthèse granulaire) 16/02/2019 Marcelo M. Wanderley

17 Contrôleurs Exemple de contrôleur alternatif : Tablette wacom
16/02/2019 Marcelo M. Wanderley

18 Contrôleurs Contrôleur alternatif : The Hands (M. Waisvisz - STEIM)
16/02/2019 Marcelo M. Wanderley

19 Projet d’un contrôleur
Vertegaal et al. - ICMC96 Relation entre type de transducteur, retour et fonction musicale. 16/02/2019 Marcelo M. Wanderley

20 Évaluation de la figure précédente
Évaluation pour des situations spécifiques Viollet/Isart/Wanderley/Rodet99 Utilisation d ’une tablette wacom instrumentée par l’addition d’autres capteurs - FSR, FSR linéaire. Choix de la méthodologie d’évaluation dans un contexte musical. (démos - Benjamin) 16/02/2019 Marcelo M. Wanderley

21 Définition de la tache Contexte musical Variable de test isolée
Sans entraînement important Taches proposées : 16/02/2019 Marcelo M. Wanderley

22 Définition de la tache Résultats pas significatifs pour la première tache. Deuxième tache simplifiée : 16/02/2019 Marcelo M. Wanderley

23 Hypothèses Nos deux hypothèses : Le variables du test :
Le meilleur contrôleur pour le vibrato est le capteur de pression, Le contrôle du vibrato avec le stylo de la tablette est plus facile dans la direction horizontale que dans la diagonale. Le variables du test : Variables indépendantes : Type de transducteur – trois modalités (C), type de trajectoire – deux modalités (T). Variable dépendante : Évaluation (en 7 degrés). 16/02/2019 Marcelo M. Wanderley

24 Résultats 16/02/2019 Marcelo M. Wanderley

25 Exemple d’application
The Cockpit - T. Hungvary/M. Kieslinger 16/02/2019 Marcelo M. Wanderley

26 Interfaces Analogique - MIDI
Transforment des signaux analogiques issus des capteurs dans le standard MIDI. Différents modèles (Sensorlab, i-Cube, AtoMIC Pro, etc.) (démos Emmanuel) 16/02/2019 Marcelo M. Wanderley

27 Interfaces A/M - Comparaison
Gesture Research in Music (home - page) 16/02/2019 Marcelo M. Wanderley

28 Mapping Correspondance entre paramètres de contrôle et paramètres de synthèse (RWDD97)(HK99) Un-à-un; Convergente (many-to-one); Divergente (one-to-many);  Une combinaison des trois (dans plusieurs instruments acoustiques) 16/02/2019 Marcelo M. Wanderley

29 Étude de cas La clarinette et le contrôleur WX7
Yamaha WX7 - contrôleur MIDI basé sur le saxophone. Modèle simplifié de l’instrument acoustique ! 16/02/2019 Marcelo M. Wanderley

30 Étude de cas Yamaha WX7 (WX5) sorties indépendantes : - doigté
- souffle - pression des lèvres 16/02/2019 Marcelo M. Wanderley

31 Étude de cas Clarinette  comportement de l’anche
 Les gestes ne sont pas indépendants  L ’embouchure est toujours présente 16/02/2019 Marcelo M. Wanderley

32 Importance du mapping Simulation du comportement de l’instrument acoustique (e.g. clarinette - RWDD97) 16/02/2019 Marcelo M. Wanderley

33 Vers un modèle de Mapping
Deux couches indépendantes - définition par l’utilisateur des paramètres abstraits de manipulation (MFH97) (WSR98) Première couche dépendante du type de contrôleur Deuxième couche dépendante du type de synthèse 16/02/2019 Marcelo M. Wanderley

34 Exemple - Mapping Sound Sculpting - A. Mulder/S. Fels/K. Mase - ATR Japon 1997 16/02/2019 Marcelo M. Wanderley

35 Exemple de synthèse ESCHER (avec N. Schnell et B. Rovan)
Architecture générique pour le contrôle temps-réel Exemples sonores (synthèse additive): Morphing clarinette/hautbois Extrait Fermeture de l’anche 16/02/2019 Marcelo M. Wanderley

36 Conclusion Importance des différentes parties de l’instrument composé : acquisition de gestes mapping synthèse Étude de l’interaction musicien/instrument gestes et types de retour 16/02/2019 Marcelo M. Wanderley

37 Référence Livre électronique édité à l’Ircam (mars/00) par M. et Wanderley M. Battier 16/02/2019 Marcelo M. Wanderley