Projet Sample Orchestrator Réunion plénière, 10 octobre 2007 SP2 - Indexation audio et navigation par le contenu Application prototype de navigation et synthèse par corpus (CataRT) Interactions Musicales Temps-Réel Diemo Schwarz

Bilan des travaux effectués Améliorations dans lanalyse (segmentation) la gestion des corpus de sons la navigation fondée sur les données, validée pour des boucles rhythmiques (stage Sylvain Cadars)

Délivrable D-SP2-7-1 Application prototype de navigation et synthèse par corpus CataRT Expérimentation de modes de recherche de sons et de jeu musical par navigation interactive et graphique dans un espace de descripteurs et de catégories de sons Implémentation: Ensemble de patchs et modules pour Max/MSP avec FTM&Co.

Bilan des travaux effectués (1) Traitement des fichiers stéréo Segmentation dun son par notes (changement de pitch) par pauses sans segmentation: son entier

Bilan des travaux effectués (2) Amélioration de la gestion du corpus : merge de plusieurs corpus chargement de descripteurs externes possibilité de définir des groupes de sons Classes, données par le répertoire dimportation activation/désactivation dune unité, dun fichier son, ou dun groupe possibilité de changer à la volée le corpus affiché dans linterface, et joué par le module de synthèse

Bilan des travaux effectués (3) Création de séquences par navigation fondée sur les données, validée pour des boucles rhythmiques, cf. SP3 (stage Sylvain Cadars) utilisation dun fichier son comme cible, séquençage de la cible intégration dune notion de contexte pour la définition dune distance de continuation, qui structure la navigation musicale dans un corpus

Video BeataRT

Améliorations prévues (1) Refonte de linterface graphique Zoom, loupe, valeurs sur axes et symboles affichés Editeur pour la segmentation, les fichiers, les catégories et classes Réduction de dimensions: multi-dimensional scaling (MDS) optimisé de type masses–ressorts Intégration des descripteurs hiérarchiques (arborescence de catégories, taxonomie ou graphe sémantique) et morphologiques dans la représentation graphique de descripteurs multidimensionnels

Améliorations prévues (2) Descripteurs Différent types : int, float, symbol, vector Visibilité dans linterface Intégration de la bibliothèque dindexation ircamDescriptors Utilisation du format SDIF pour les descripteurs de bas-niveau par fichier son

Améliorations prévues (3) Scalabilité pour grands corpus Restriction sur sous-ensemble de sons du corpus par bornes de descripteurs ou par catégories Selection par nD-tree Utilisation du format SDIF pour la persistence des corpus

Planning prévisionnel D-SP2-7-2 M18 (mai 2008) : Application étendue de navigation et synthèse par corpus CataRT Interface, descripteurs D-SP2-7-3 M27 (fev 2009) : Application finale de navigation et synthèse par corpus CataRT Scalabilité

Sujets de discussion pour la préparation des prochains travaux Format de stockage de descripteurs: SDIF Types SDIF à compléter Format de représentation dune hiérarchie Semantic web ontologies RDF/OWL WordNet Format génomique Philippe (O. Houix)