La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Bérenger BRAMAS FLOWERS - INRIA - 2009 ISIMA F2 – Master opt. Robotique Apprentissage dAssociations Sons/Images en Robotique Développementale.

Présentations similaires


Présentation au sujet: "Bérenger BRAMAS FLOWERS - INRIA - 2009 ISIMA F2 – Master opt. Robotique Apprentissage dAssociations Sons/Images en Robotique Développementale."— Transcription de la présentation:

1 Bérenger BRAMAS FLOWERS - INRIA ISIMA F2 – Master opt. Robotique Apprentissage dAssociations Sons/Images en Robotique Développementale

2 Bérenger BRAMAS2INRIA Stage de fin de cycle dingénieur et de master (6 mois) - INRIA Bordeaux – équipe FLOWERS (FLOWing Epigenetic Robots and Systems) - Robotique développementale - HRI - Interfaces intuitives - Perception et apprentissage du monde par un robot - Sujet : Concevoir un système pour enseigner des objets à un robot en alliant sons/images Introduction:

3 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 3INRIA Présentation du contexte - Détails du sujet et définition des problématiques - Méthodologie - Aspect Audio - Traitement Vidéo - Associations, catégories - Nao - Aspects techniques - Perspectives Plan :

4 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 4INRIA « enseigner des objets (images/sons) à un robot » Dans le but : - de reconnaître une image ou un son (et donc un objet) - de retrouver un objet dans une scène - de créer des échanges dinformations sur le monde entre lutilisateur et le robot Contrainte : sans catégorie sonore ou visuelle au commencement (le robot na pas de base de données avant de commencer lapprentissage) Le sujet : Plan : [Présentation] Le contexte Problématiques Méthodologie Traitement Audio Traitement Vidéo Association Nao Aspects techniques Perspectives

5 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 5INRIA Pour enseigner des objets, il faut répondre à des problèmes de différents domaines Quelles méthodes pour le traitement vidéo ou audio? Quel mode dinteraction HR? Comment montrer les objets au robot ? Quelle technique utiliser pour les reconnaitre? Comment associer les sons et les images ? Problématiques : Plan : [Présentation] Le contexte [Problématiques] Méthodologie Traitement Audio Traitement Vidéo Association Nao Aspects techniques Perspectives

6 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 6INRIA Système découpé en modules spécifiques pour chaque tâche : - Aspect sonore : - traitement sonore - mesure de similarité - Vidéo : - traitement - mesure de similarité - Système dapprentissage des correspondances - Nao Réalisation : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio Traitement Vidéo Association Nao Aspects techniques Perspectives

7 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 7INRIA Méthode uniquement acoustique Pas de conversion en texte Pas dinformation linguistique Basé sur une méthode répandue : PLP-Rasta Comparaison entre deux sons à laide de DTW (Dynamic Time Warping) Deux sons considérés semblables si la distance est inférieure à un seuil Module Audio: Plan : Présentation Le contexte Problématiques [Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao Aspects techniques Perspectives

8 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 8INRIA Pas de base de données initiale (pas de phonèmes ou dinformations sur linterlocuteur) Pas de conversion en texte Découpage du flux sonore capturé en fonction des moments de silence (un son peut être une phrase, un mot, un bruit, …) Module Audio : Plan : Présentation Le contexte Problématiques [Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao Aspects techniques Perspectives

9 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 9INRIA Test avec toute la base Comparaison : Plan : Présentation Le contexte Problématiques [Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao Aspects techniques Perspectives Ballon Baallon Balloon Basket Baasket Baskét … Base de données [SON] Tests

10 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 10INRIA Sélection dun représentant Comparaison : Plan : Présentation Le contexte Problématiques [Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao Aspects techniques Perspectives BalleuBaalleBalle Son 1…Son N Son 1-D(1,n) …D(i,1)-D(i,n) Son ND(n,1)D(n,i)- MoyenneM(1)…M(n)

11 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 11INRIA Test avec le meilleur représentant de chaque catégorie Comparaison : Plan : Présentation Le contexte Problématiques [Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao Aspects techniques Perspectives Ballon Baallon Balloon Baasket Baaskt Bosket … Base de données [SON] Tests

12 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 12INRIA Système audio qui apprend et reconnaît les sons Mais choix à faire entre robustesse et rapidité Par exemple : La méthode avec comparaison du meilleur représentant donne de mauvais résultats si les interlocuteurs changent Le principe de comparaison est par la suite utilisé pour créer et utiliser des catégories Module Audio : Plan : Présentation Le contexte Problématiques [Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao Aspects techniques Perspectives

13 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 13INRIA Objectifs : - Apprendre - Reconnaître dans une scène quelconque Basé sur OpenCV et les descripteurs locaux de type SURF Module Vidéo : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives OpenSURF Liste de descripteurs SURF

14 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 14INRIA Descripteur SURF : - position/orientation/vecteur de 64 valeurs SURF : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

15 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 15INRIA Problème : Comparaison entre deux images SURF : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives Image 1 Image 2Image 3Image 4 Distance : 0.2Distance : 0.32Distance : 0.25 Même objetObjet différent

16 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 16INRIA Comment enseigner les objets ? Comment comparer deux images ? Quand décider si un objet est présent sur une image ? Descripteurs SURF Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

17 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 17INRIA Le système apprend tous les descripteurs SURF Il faut lui indiquer quels sont les descripteurs liés à lobjet et les autres (arrière plan) Méthode dapprentissage de larrière plan pour ensuite faire la différence entre deux images Extraction de lobjet : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

18 Bérenger BRAMAS18INRIA Apprentissage Vidéo : Oui Non Capturer Image Fond Fixe Extraction SURF Comparer avec limage précédente Extraction du fond Toute limage change Enregistrement

19 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 19INRIA Pour chaque objet, le système stocke un film dans lequel chaque image contient des descripteurs SURF Représentation : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives Objet 1 Objet 2 Objet 3 ??

20 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 20INRIA Méthode proposée par David LOWE - Méthode utilisant un seuil - Méthode de « meilleures correspondances » Méthodes de correspondance : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

21 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 21INRIA Méthode que nous proposons Pour tous les points P1 de limage 1 | Pour tous les points P2 de limage 2 | | dist_p1_p2 = dist(P1,P2) | | si dist_p1_p2 < SEUIL | | | matches[P1].ajouter_correspondance_triees(P2, dist_p1_p2) | | fsi | fpour fpour Tant quil y a du changement faire | Pour tous les points P1 de limage 1 | | si !matches[P1].est_vide ET attitré(matches[P1].tete) != P1 | | | Dépiler matches[P1] jusquà trouver une correspondance | | fsi | fpour ftq Algorithmes de correspondance :

22 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 22INRIA Correspondances SURF : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

23 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 23INRIA Correspondances SURF : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

24 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 24INRIA Filtre spatial (Efficient Visual Search for Objects in Videos, Josef & Andrew, 2008) Pour chaque correspondance : trouver les voisins et filtrer ceux dont les voisins ne correspondent pas dans lautre image Filtres : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

25 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 25INRIA Filtre spatial Filtres :

26 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 26INRIA Filtre angulaire : Parcourir les correspondances : calculer le changement dorientation pour ne garder que lorientation majoritaire Filtres : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

27 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 27INRIA En testant une image on obtient des correspondances avec chaque image de la base Comment savoir si un objet est sur une image ? Long travail dapproche globale durant le stage mais mauvais résultats Finalement approche image à image Choix : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio Traitement Vidéo [Association] Nao Aspects techniques Perspectives Objet 1 Objet 2 ??

28 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 28INRIA surf_in = calculer_surf( image_test ) Pour tous les films de la base | Pour toutes les images du film | | nb_corresp = count(correspondance(surf_in,film[f].image[i])) | | si nb_corresp > max_corresp | | | max_corresp = nb_corresp | | | max_f = f | | fsi | fpour fpour si nb_corresp > SEUIL | afficher : lobjet correspondant est max_f Sinon | afficher : objet non reconnu fsi Algorithme – choix :

29 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 29INRIA Résultats : Plan : Présentation Le contexte Problématiques [Méthodologie} Traitement Audio [Traitement Vidéo] Association Nao Aspects techniques Perspectives

30 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 30INRIA Résultats :

31 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 31INRIA Mise en relation des modules Mise en relation des formalismes Choix : Un objet est « constitué » de plusieurs sons et plusieurs images On supprime les occurrences qui ne sont pas mise en relation avec lautre type lors de lapprentissage Association : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio Traitement Vidéo Association Nao Aspects techniques Perspectives

32 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 32INRIA Vidéo Son Associations sons/images : Film Image Catégorie

33 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 33INRIA Catégories acoustiques : Livre Livre Bleu Livre Vert Grand Espace acoustiqueEspace visuel

34 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 34INRIA Mise en application du système (interactions) - Mais exécution du système sur PC Nao : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio Traitement Vidéo Association [Nao] Aspects techniques Perspectives

35 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 35INRIA Interaction à laide de positions clés Normal Ne peut pas A trouvé apprendre lobjet Nao : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio Traitement Vidéo Association [Nao] Aspects techniques Perspectives

36 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 36INRIA ) Enseigner des objets 2 ) Demander de reconnaître un objet 3 ) Trouver un objet (utilise un algorithme de regroupement des points) Interactions possibles : Plan : Présentation Le contexte Problématiques [Méthodologie] Traitement Audio Traitement Vidéo Association Nao Aspects techniques Perspectives

37 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 37INRIA Structure : Plan : Présentation Le contexte Problématiques Méthodologie Traitement Audio Traitement Vidéo Association Nao [Aspects techniques] Perspectives Ordinateur C++ (QT, OpenCV) Traitement de limage – Cœur du système C++ (QT, OpenCV) Traitement de limage – Cœur du système Matlab Acquisition & traitement du son Matlab Acquisition & traitement du son Script – Positions clés LEDs Image - JPEG

38 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 38INRIA Multi-langages Matlab, C++ (QT, OpenCv), Ubri Utilisation de plusieurs processus, plusieurs THREAD, communication TCP, Mutex et de nombreux TIMER Multiplateformes Mais difficile à maintenir et présence de problèmes à lheure actuelle : Récupération de limage, tremblement, recouvrement de script Structure : Plan : Présentation Le contexte Problématiques Méthodologie Traitement Audio Traitement Vidéo Association Nao [Aspects techniques] Perspectives

39 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 39INRIA Exemple lors de lapprentissage : Objet devant caméra : Script { Arrêter mouvement en cours, Mouvement dapprentissage } Objet hors caméra : Script { Arrêter mouvement en cours, Mouvement dattente } Recouvrement de script Plan : Présentation Le contexte Problématiques Méthodologie Traitement Audio Traitement Vidéo Association Nao [Aspects techniques] Perspectives Système Evènement Script Nao Positions

40 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 40INRIA Résolution des problèmes et davantage dessais sur Nao Documentation (DOxygen et protocole de communication) Ecriture de plusieurs pages en Anglais A venir : Plan : Présentation Le contexte Problématiques Méthodologie Traitement Audio Traitement Vidéo Association Nao Aspects techniques [A venir] Perspectives

41 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 41INRIA Méthodologie : - SIFT - Clustering - Filtre angulaire local - Filtre spatial plusieurs fois daffilé Utilisation : - Essai avec des non spécialistes - Opinions dutilisateurs Test dune base de connaissances plus importante Perspectives : Plan : Présentation Le contexte Problématiques Méthodologie Traitement Audio Traitement Vidéo Association Nao Aspects techniques [Perspectives]

42 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 42INRIA Conclusion

43 Bérenger BRAMAS Apprentissage dAssociations Sons/Images INRIA MERCI - Démonstration – Questions ? -

44 Bérenger BRAMAS Apprentissage dAssociations Sons/Images 44INRIA Le nombre de correspondances > SEUIL Critère de choix :


Télécharger ppt "Bérenger BRAMAS FLOWERS - INRIA - 2009 ISIMA F2 – Master opt. Robotique Apprentissage dAssociations Sons/Images en Robotique Développementale."

Présentations similaires


Annonces Google