Projet Sample Orchestrator Réunion plénière, 10 octobre 2007 SP2 - Indexation audio et navigation par le contenu Equipe Perception et Design Sonores A. Minard, N. Misdariis, O. Houix, P. Susini

Bilan des travaux effectués SP2-4 Description des sons environnementaux D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux D-SP2-5-1 Définition dun corpus représentatif et sélection des classes pertinentes D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan des travaux effectués SP2-4 Description des sons environnementaux D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux D-SP2-5-1 Définition dun corpus représentatif et sélection des classes pertinentes D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan des travaux effectués SP2-4 Description des sons environnementaux D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux D-SP2-5-1 Définition dun corpus représentatif et sélection des classes pertinentes D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan des travaux effectués SP2-4 Description des sons environnementaux D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux D-SP2-5-1 Définition dun corpus représentatif et sélection des classes pertinentes D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan SP2-4 Méta-analyse du timbre des sons environnementaux: comparaison de 4 études du timbre. habitacles automobiles: sons unités de climatisation: 19 sons klaxons: 22 sons claquements de portières automobiles: 12 sons => Proposition d'une organisation des sons à 2 niveaux: Discret: classes dévénement Continu: espace multidimensionnel de timbre pour chaque classe.

Bilan SP2-4 Niveau discret: classes dévènements Sons d'impact: courtes impulsions ou séries d'impulsions Sons de moteur: mélange harmonique/bruit Sons pseudo-instrumentaux: production similaire à celle des instruments de musique, une ou plusieurs notes. => Prédiction des classes par un modèle de régression sur deux descripteurs => Validation sur un corpus élargi de 183 sons: 5% derreurs en moyenne

Bilan SP2-4 Niveau continu: espace de timbre Etablir l'espace de timbre correspondant à chaque classe dévènements. Trouver des descripteurs communs aux sons dune même classe. Attribut commun à toutes les classes: la brillance. Attributs propres à chaque classe: attributs liés à une spécificité acoustique des sons. Sons d'impacts: la netteté. Sons de moteurs: lémergence harmonique. Sons pseudo-instrumentaux: la rugosité et la richesse spectrale.

Délivrable D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux Implémentation: Matlab Résultats: Prédiction de classes dévènements sonores à 5% derreurs un espace de timbre pour chaque classe dévènements

Bilan SP2-6 Description et organisation perceptive des sons: Important: un son suivant sa description appartient à plusieurs types dorganisation DescriptionOrganisation AcoustiqueTimbre, morphologie Espace multidimensionnel de timbre EvènementielleCause et matériauStructure hiérarchique (squelette) SémantiqueObjet, lieu, fonction… Réseau sémantique (hiérarchie + lien transversaux)

Bilan SP2-6 Organisation acoustique cf. SP2-4

Bilan SP2-6 Organisation évènementielle (issu du projet CLOSED)

Bilan SP2-6 Organisation sémantique Vise à refléter la mémoire sémantique: la connaissance que nous avons sur le monde Basée sur le réseau sémantique WordnetWordnet Principe: 1 concept est vu comme: 1 ensemble de synonymes et d'antonymes (relations lexicales) 1 ensemble d'hyponymes/hyperonymes et de méronymes/holonymes (relations sémantiques)

Délivrable D-SP2-6-1 Description sémantique des sons Implémentation: - Résultats: Formalisme dorganisation: 3 types de descriptions pertinentes => acoustique, évènementielle et sémantique Pour chaque description: un type bien défini de structure

Bilan SP2-5 Exemple de navigation inter-organisation dans le corpus sonore livré par Univers Sons Acoustique Evènements Sémantique

Bilan SP2-5 Exemple de navigation inter-organisationdans le corpus sonore livré par Univers Sons Evènement: « impact » Sémantique: « corridor » Acoustique: « low/blunt », « repetition (constant) » step

Délivrable D-SP2-5-1 Définition dun corpus représentatif et sélection des classes pertinentes Implémentation: - Résultats: Application du formalisme introduit dans le SP2-6 à un corpus et à ses classes pertinentes pour les utilisateurs

Planning prévisionnel Janvier 2008: D-SP2-5-2: Organisation des classes pertinentes Juillet 2008: D-SP2-4-2: Descripteurs audio de type morphologique pour les sons environnementaux D-SP2-6-2: Description sémantique des classes