Projet Sample Orchestrator Réunion plénière, 10 octobre 2007 SP2 - Indexation audio et navigation par le contenu Application prototype de navigation et.

Présentation au sujet: "Projet Sample Orchestrator Réunion plénière, 10 octobre 2007 SP2 - Indexation audio et navigation par le contenu Application prototype de navigation et."— Transcription de la présentation:

1 Projet Sample Orchestrator Réunion plénière, 10 octobre 2007 SP2 - Indexation audio et navigation par le contenu Application prototype de navigation et synthèse par corpus (CataRT) Interactions Musicales Temps-Réel Diemo Schwarz

2 Bilan des travaux effectués Améliorations dans lanalyse (segmentation) la gestion des corpus de sons la navigation fondée sur les données, validée pour des boucles rhythmiques (stage Sylvain Cadars)

3 Délivrable D-SP2-7-1 Application prototype de navigation et synthèse par corpus CataRT Expérimentation de modes de recherche de sons et de jeu musical par navigation interactive et graphique dans un espace de descripteurs et de catégories de sons Implémentation: Ensemble de patchs et modules pour Max/MSP avec FTM&Co.

4 Bilan des travaux effectués (1) Traitement des fichiers stéréo Segmentation dun son par notes (changement de pitch) par pauses sans segmentation: son entier

5 Bilan des travaux effectués (2) Amélioration de la gestion du corpus : merge de plusieurs corpus chargement de descripteurs externes possibilité de définir des groupes de sons Classes, données par le répertoire dimportation activation/désactivation dune unité, dun fichier son, ou dun groupe possibilité de changer à la volée le corpus affiché dans linterface, et joué par le module de synthèse

6 Bilan des travaux effectués (3) Création de séquences par navigation fondée sur les données, validée pour des boucles rhythmiques, cf. SP3 (stage Sylvain Cadars) utilisation dun fichier son comme cible, séquençage de la cible intégration dune notion de contexte pour la définition dune distance de continuation, qui structure la navigation musicale dans un corpus

7 Video BeataRT

8 Améliorations prévues (1) Refonte de linterface graphique Zoom, loupe, valeurs sur axes et symboles affichés Editeur pour la segmentation, les fichiers, les catégories et classes Réduction de dimensions: multi-dimensional scaling (MDS) optimisé de type masses–ressorts Intégration des descripteurs hiérarchiques (arborescence de catégories, taxonomie ou graphe sémantique) et morphologiques dans la représentation graphique de descripteurs multidimensionnels

9 Améliorations prévues (2) Descripteurs Différent types : int, float, symbol, vector Visibilité dans linterface Intégration de la bibliothèque dindexation ircamDescriptors Utilisation du format SDIF pour les descripteurs de bas-niveau par fichier son

10 Améliorations prévues (3) Scalabilité pour grands corpus Restriction sur sous-ensemble de sons du corpus par bornes de descripteurs ou par catégories Selection par nD-tree Utilisation du format SDIF pour la persistence des corpus

11 Planning prévisionnel D-SP2-7-2 M18 (mai 2008) : Application étendue de navigation et synthèse par corpus CataRT Interface, descripteurs D-SP2-7-3 M27 (fev 2009) : Application finale de navigation et synthèse par corpus CataRT Scalabilité

12 Sujets de discussion pour la préparation des prochains travaux Format de stockage de descripteurs: SDIF Types SDIF à compléter Format de représentation dune hiérarchie Semantic web ontologies RDF/OWL WordNet Format génomique Philippe (O. Houix)