Prenez le contrôle avec Kinect

Présentation au sujet: "Prenez le contrôle avec Kinect"— Transcription de la présentation:

1 Prenez le contrôle avec Kinect
26 janvier 2012

2 Qui suis-je ? Tanguy de Chantérac Etudiant en 3ème année
Ms-Lab : Laboratoire des technologies Microsoft de l’EPITECH Windows Phone 7 SharePoint XNA Kinect

3 Kinect ? Qu’est ce que c’est ?
Kinect est une caméra créée par Microsoft La première caméra de détection et retranscription de mouvement. Contrôler des logiciels et des jeux sans souris ni clavier Interface naturelle (NUI)

4 Pourquoi est elle si populaire ?
La première caméra de détection et retranscription de mouvement. Beaucoup d’avantages par rapport à la wii / PSMove (pas de wiimote, aucune manette) Meilleure precision que ses concurents Beaucoup de jeu sur Xbox 360 Dance Central Kinect Sport Kinect Adventure Fruit Ninja …

5 Développer avec Kinect
Il est possible de développer des applications pour Kinect (depuis 8 mois déjà …) Télécharger le SDK Kinect et l’installer Utilisation de Visual Studio comme IDE Apprendre / Utiliser C# et WPF RTFM (Lire le manuel) 

6 Prendre le contrôle avec Kinect
SDK et Architecture Buffer Video Buffer de Profondeur (Depth) Suivi de Squelettes Gestes Gestion du son

7 SDK Développé par Microsoft Research
Utilisation non commerciale uniquement Windows 7 et Windows 8 (uniquement) x86 x64 C# et C++ Un SDK commercial a été annoncé pour le 1er février 2012 (sortie de la Kinect for Windows)

8 Anatomie

9 Limites d’utilisations
Entre 1,2 et 3,5 mètres

10 Initialiser la caméra //on declare un nouveau Runtime Runtime _nui;
foreach (var kinect in Runtime.Kinects) { if (kinect.Status == KinectStatus.Connected) _nui = kinect; break; } if (Runtime.Kinects.Count == 0) throw new ArgumentException(" No Kinect Connected"); else try _nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking |RuntimeOptions.UseColor); Runtime.Kinects.StatusChanged += KinectStatusChanged; catch (exception ex) { //traitement de l’exception }

11 Démonstration Initialisation du SDK

12 Buffer Vidéo Résolutions : Format :
640 * 480 1280 * 1024 Format : RGB YUV Données fournies au travers d’une stream Evénementiel

13 Démonstration Affichage du flux vidéo

14 Buffer de profondeur

15 Buffer de profondeur Résolutions Données sous forme de stream
640x480 320x240 80x60 Données sous forme de stream Evénementiel Stockage sur 13 bits 10 bits pour la distance en millimètres depuis le capteur 3 bits pour donner l’index de la personne reconnue

16 Démonstration Affichage de la depth stream

17 Démonstration Combinaison de la depth stream et de la vidéo

18 Suivi des squelettes Reconnaissance immédiate Evénementiel
4 squelettes détectés Chaque squelette donne sa position 2 squelettes suivis (tracked) Liste de joints (points de contrôles) Chaque position donne également sa qualité (.w entre 0 et 1)

19 Points de contrôles

20 Démonstration Suivi du squelette

21 Gestures et postures Techniques de détection des gestures Postures
Algorithmes Postures Problématiques Quand commencer ? Quand finir ? Gérer les mouvements parasites ?

22 Gestion du son Kinect c’est aussi Un groupe de 2 microphones
Des algorithmes de : Réduction du bruit ambiant Annulation de l’echo Beamforming Tracking de la source sonore Compatible avec MS Speech

23 Problèmes Latence (1280 x 1024) Contrôle vocal : pas encore au point
Gestes parasites SDK limité (pour instant). Précision parfois discutable.

24 SDK Final (Kinect For Windows)
Nouveautés : Integration de Microsoft speech. Tracking du squelette amélioré. Mapping des API. Les API ont été renommées. Une nouvelle caméra (250$ :s) Un nouvel event (AllFrameReady) Une librairie de gestures / Postures ? Des outils de debugs ?

25 Et après ? Votre imagination est la seule limite. D’autres idées:
Mouse move : une dll pour simplifier l’utilisation de la souris avec Kinect. Krisk : un jeu vidéo de Risk qui fonctionne avec Kinect sur PC. SharePoint Explorer : naviguer dans une bibliothèque SharePoint, ouvrir des fichiers, zoomer, se déplacer. Votre imagination est la seule limite.

26 Questions ?

27 Pour aller plus loin Acheter une Kinect 
Blog officiel : Site officiel : Forum officiel : Google  « Kinect forum msdn » Mon blog : Kinect Toolbox