Olivia Grandville et Sylvie Garot « Comment taire » Olivia Grandville et Sylvie Garot Romain Kronenberg – Nicolas Leroy

Enjeux Explorer les liens possibles entre geste et son. Trouver dans le geste des informations pertinentes pour le contrôle de la synthèse sonore. Trouver des traitements sonores qui permettent de transformer une voix naturelle en matériau sonore plus électronique et abstrait.

Traitements sonores MAC G5, Max/MSP DM2000 – diffusion 6 enceintes Matériau sonore : voix enregistrées préalablement, captation sonore du plateau en TR Traitements : Sogs, ring modulation, Spat, delays, sampling, filtres résonants

Setup : Audio PC Eyesweb G5 DM2000 amplis Cam 1 Cam 2 Micro 1 Micro 2 Matrice video PC Eyesweb G5 DM2000 ethernet ADAT amplis HP 1 HP 2 HP 6 HP 3 HP 5 HP 4

Captation et Vidéo Logiciel utilisé : EyesWeb sur PC, développé par InfoMus Lab à l’université de Gênes (www.eyesweb.org) 2 Caméras DV reliées au PC en composite via une matrice KRAMER commandée par le PC Données gestuelles envoyées du PC vers le MAC : - liaison Ethernet - protocole Open Sound Control

Setup : Captation et Vidéo

Podium Plateau segmenté Tractation Son plateau Final Déroulé du spectacle Podium Plateau segmenté Tractation Son plateau Final

1. Captation « Podium » Extraction de la couleur de la peau Mode YUV (YCbCr : Luminance et Chrominances) Traitement de la chrominance Cr traduisant la proximité au rouge/rose caractéristique de la couleur de la peau Utilisation du barycentre des pixels Robuste Envoyé via Open Sound Control au MAC

1. Patch Caméra « Podium »

1. Podium 86 samples extraits d’un texte, déclenchés successivement en fonction des mains d’Olivia: position proximité énergie - Déclenchements de syllabes.

2. Captation « Plafond » Technique de captation : Ajout de bruit : Passage en niveaux de gris Soustraction de fond avec seuillage : Photo prise Live ou pré-enregistrée => Image binarisée Filtrage : médian + close Extraction d’une région (« Blob ») Bounding rectangle Vecteur direction Ajout de bruit : - Déclenchements aléatoires stoppés si Olivia rentre dans la zone de captation Vidéo-projection de l’image traitée

2. Patch Caméra « Plafond »

2. Plateau segmenté - Plateau segmenté en 8 zones. Chaque zone déclenche une partie du texte Le texte affecté à chaque zone évolue dans le temps, lorsque toutes les zones ont été déclenchées. Bruit ajouté dans l’image par EyesWeb => nombreux déclenchements aléatoires. Olivia prend le pas sur le bruit lorsqu’elle entre dans la zone de captation Samples envoyés dans Delays avec feedback -> construction d’un matériau sonore. 1 2 5 6 8 3 12 7 7 4 11 8 6 5 10 9

3. Tractation Calcul de l’énergie du corps d’Olivia sur le PPRA et la position du centre de gravité. L’ énergie contrôle le point de lecture dans le fichier son (buffer~) La vitesse de lecture dépend aussi de la position dans le buffer~ Si l’énergie est inférieure à un seuil donné, le point de lecture se fige et varie légèrement autour de sa position d’arrêt. - Sogs -> RM

4. Son plateau 2 capteurs Accusound sous le plateau. Le son est traité successivement avec des filtres résonants, puis de la RM. Le son des capteurs est amplifié jusqu’au larsen contrôlé depuis la console.

5. Final Retour de Sogs En fonction de l’énergie du corps d’Olivia, on avance dans le buffer très vite Le son part dans des delays, dont le temps de delay varie abruptement, Chaque delay est envoyé dans une enceinte.