Février/2000Marcelo M. Wanderley1 - Stage Son et Interactivité - Le Geste en Musique Marcelo M. Wanderley

Février/2000Marcelo M. Wanderley2 Geste en musique zGestes - quelques définitions : y« Un geste est un mouvement du corps qui contient de l'information » (KH'90) y « Gestes (mouvements) des mains vs. postures de la main (positions à un moment spécifique donné) ». (Mulder'98) y « Geste Instrumental : Modalité de communication spécifique au canal gestuel… » (Cadoz'94) zDifférents types des gestes : (Baecker et al.'95) ySans contact physique (avec un outil); yAvec contact physique (avec un outil) - cas spécial : geste instrumental. zChaque type de geste a ses propres caractéristiques  processus d'acquisition du geste.

Février/2000Marcelo M. Wanderley3 Gestes - suite  Geste  forme de signal (au même titre que les signaux sonores, signaux de contrôle). y« Geste expert » - geste développé (appris) par le sujet. Ex : technique de jeu d'un instrument. xRemarque: en musique, le geste fait plus ou moins partie du « dispositif instrumental » partie « faible » dans les instruments à clavier; plus évidente dans un violon; complètement intégrée à « l'instrument » dans le cas de la voix. zDes objectifs de la réflexion sur le geste : y Établir une hiérarchisation du geste instrumental en fonction de ces effets sur le son.  Rendre possible le projet d'interfaces gestuelles mieux adaptées aux caractéristiques de l'interprète.

Février/2000Marcelo M. Wanderley4 Classifications de gestes zExemples : Le geste dans différent domaines yGestes à main libre ou non-instrumentaux xDeux classifications de gestes à main libre xGeste Naturel xContrôle d'ordinateurs xInteraction multimodale xGeste du chef d'orchestre yManipulation et contexte instrumental xGeste/Outil xCritère fonctionnel xGeste Instrumental yPrimitives gestuelles

Février/2000Marcelo M. Wanderley5 Interaction

Février/2000Marcelo M. Wanderley6 Classifications de gestes zKendon ’s continuum : (McNeill92) Gesticulation  gestes type langage  pantomimes  emblèmes  langages de signe zDe gauche à droite : yLa présence obligatoire de discours diminue ; yLa présence de propriétés de langage augmente ; yGestes idiosyncrasiques sont remplacés par des gestes réglementés socialement.

Février/2000Marcelo M. Wanderley7 Classifications de gestes zRimé et Schiatura ’91 : ySymboliques - ceux qui présentent une signification unique (dans une culture). yDeitiques - ceux utilisés pour indiquer des objets  pointage ou pour diriger l'attention de l'interlocuteur sur des événements spécifiques ou objets dans l'environnement. Ex. Interaction Homme-Machine (IHM); yIconiques - ceux qui donnent des informations à propos de la taille, forme ou orientation de l'objet du discours;  Pantomimes - ceux typiquement utilisés pour montrer l'utilisation des mouvements d'un outil ou d'un objet invisible dans la main de celui qui fait le discours. zSeulement le premier groupe peut être interprété sans autre contexte supplémentaire.

Février/2000Marcelo M. Wanderley8 Geste naturel (Cassel'97) z« Gestes naturels » sont les gestes générés spontanément par une personne qui raconte une histoire, qui parle en public ou qui maintient une conversation  Associés au discours ! zLes configurations et mouvements caractéristiques observés dans les gestes « naturels » sont: ydépendantes de l'individu; yinfluencés par des facteurs situationnels, éducationnels et culturels. zStructure temporelle des gestes naturels: les phases du geste.

Février/2000Marcelo M. Wanderley9 Geste naturel - suite zQuatre types basiques de gestes naturels générés pendant le discours : xIconiques xDeitiques xMétaphoriques xBattements (ou pulsations)  beat gestures zLes trois premiers types  considérés comme possédant un sens dans un dialogue.

Février/2000Marcelo M. Wanderley10 Geste naturel - suite zCaractéristiques temporelles du geste naturel zGestes en deux-phases et en trois-phases : yGestes de battement ou pulsation (beat)  mouvement type baguette - 2 phases. yGestes Iconiques, deitiques et métaphoriques 1) Transition à un « espace des gestes » (devant l'individu), 2) Exécution d'un mouvement plus petit - « le coup », 3) Petite pause dans cette configuration, 4) Retour à l´état de repos.

Février/2000Marcelo M. Wanderley11 Contrôle de l'ordinateur par des accès gestuels (Kurtenbach et Hulteen'90) zContinuum  gestes utilisés comme entrées d'un ordinateur : 1.Gestes utilisés pour augmenter une information donnée par d'autres canaux de communication  l'information gestuelle peut être redondante ! Ex. Lecture des lèvres par ordinateur (peut aider à la reconnaissance de la parole). 2.Gestes transmettant des informations essentielles non redondantes.  Aucune des deux informations (seule) n'est suffisante. Ex : pointer un objet et dire "celui là" - le geste montre quel objet regarder et le discours montre quand le faire. 3.Gestes comme principal canal d'entrée pour la machine. Ex : Entrée gestuelle pour des personnes handicapées. Ex : Dessiner une figure à l'écran au lieu d'écrire son équation mathématique.

Février/2000Marcelo M. Wanderley12 Discours, gestes et interaction multimodal zÉtude (BGBG95) des travaux sur des systèmes IHM en utilisant : yle discours, yles gestes manuels, yle suivi du regard. zL'interprétation par la machine d'entrées multimodales simultanées :  trouver une signification unique de l'entrée à partir des diverses sources.

Février/2000Marcelo M. Wanderley13 Gestes du chef d’orchestre zLes techniques contemporaines du chef d'orchestre : (Marrin'96) yun groupe de règles pour bien tenir et mouvoir la baguette, yun groupe de motifs rythmiques bi-dimensionnels (« beat-patterns ») pour indiquer le temps (battement, rubato, subdivisions et articulations) et yun groupe d'indications pour la main gauche (signaux d’entrée, augmentation et diminution de la dynamique, emphase, accents et pauses). zVariables d’intérêt (continues et discrètes) : ybattements: les impulsions, classées d'après leurs direction. ydirection, yemphase, la force d'un geste, yvélocité, ytaille des formes de battements,  placement des formes (séquences de battements).

Février/2000Marcelo M. Wanderley14 Gestes du chef d’orchestre Relation entre analyse de la partition et gestique du chef d'orchestre : (Fantapie88)

Février/2000Marcelo M. Wanderley15 Gestes appliqués à un outil : (Mulder96) zClassification par rapport à des caractéristiques physiques : ytype d'objet : solide, fluide ou gazeuse ychangement effectué : position, orientation ou de forme yUtilisation d’une ou des deux mains xpréhensiles. xnon-préhensiles. ymanipulation directe ou par intermédiaire d'un outil.

Février/2000Marcelo M. Wanderley16 Types de saisie (d ’après Burdea/Coiffet93)

Février/2000Marcelo M. Wanderley17 Analyse Fonctionnelle (Delalande88) zClassification des gestes d'un instrumentiste en trois niveaux - du fonctionnel au symbolique : yGeste effecteur - celui qui est nécessaire pour produire mécaniquement un son; yGeste accompagnateur - celui qui engage le corps entier. Des mouvements qui ne semblent pas absolument indispensables mais qui sont néanmoins présents. yGeste figuré - celui qui provoque par exemple un balancement d'une mélodie, sans supposer qu'un pianiste se soit balancé. (articulation des sons). zDelalande analyse plusieurs séquences vidéo du pianiste Glenn Gould et propose des relations entre des gestes et la partition originale.

Février/2000Marcelo M. Wanderley18 Geste Instrumental (Cadoz88, 94, 99) zLe canal gestuel : yMoyen d'action sur le monde physique et aussi comme moyen de communication informationnelle à double sens : émission et réception d'informations. zTrois fonctions associées à la main : yErgotique : action matérielle, modification et transformation de l'environnement. yÉpistémique : reconnaissance de l'environnement. ySémiotique : émission d'informations.

Février/2000Marcelo M. Wanderley19 Geste instrumental - suite zDéfinition : yModalité de communication spécifique du canal gestuel, complémentaire au « geste à nu », caractérisé de la façon suivante : yil s'applique à un objet matériel (i.e. outil) et il y a interaction physique avec celui-ci, ydans le cadre de cette interaction se produisent des phénomènes physiques différenciés dont les formes et les évolutions dynamiques peuvent être maîtrisées par le sujet, yces phénomènes peuvent alors devenir les supports de messages communicationnels.

Février/2000Marcelo M. Wanderley20 Geste instrumental - suite zTypologie : yGeste d'excitation : xInstantané, continu, entretenue. yGeste de modification : xParamétrique; xStructurelle. yGeste de sélection xSéquentiel, parallèle.

Février/2000Marcelo M. Wanderley21 Primitives gestuelles (Choi98) zPrimitives gestuelles : des unités élémentaires pour la détection des actions humaines transmises par des capteurs. zTrois groupes : yPrimitives de trajectoires ; yPrimitives de force; yPrimitives basées sur des motifs (« patterns »). zClassification fondée sur 3 sens humains : y- mouvement, y- distribution du poids y- organisation de taches répétitives.

Février/2000Marcelo M. Wanderley22 Interaction - 2