Prenez le contrôle de Kinect pour Windows SDK (Beta)

Présentation au sujet: "Prenez le contrôle de Kinect pour Windows SDK (Beta)"— Transcription de la présentation:

1 Prenez le contrôle de Kinect pour Windows SDK (Beta)

2 Agenda SDK & Architecture Buffer vidéo Buffer de profondeur
Suivi de squelettes Gestion du son

3 SDK Développé par Microsoft Research
Utilisation non commerciale uniquement Windows 7 uniquement x86 x64 Managed et C++

4 Architecture

5 SDK 3 flux disponibles Librairie NUI (Natural User Interface) Image
Profondeur Audio Librairie NUI (Natural User Interface) Détection automatique Learning machine

6 SDK using Microsoft.Research.Kinect.Nui;
using Microsoft.Research.Kinect.Audio; kinectRuntime = new Runtime(); kinectRuntime.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseColor);

7 Démonstration Initialisation du SDK

8 Agenda SDK & Architecture Buffer vidéo Buffer de profondeur
Suivi de squelettes Gestion du son

9 Buffer vidéo Résolutions : Formats :
640x480 1280x1024 Formats : RGB YUV Données fournies au travers d’un stream Evénementiel / Pooling

10 Buffer vidéo public class ColorStreamManager {
public BitmapSource ColorBitmap { get; private set; } public void Update(ImageFrameReadyEventArgs e) PlanarImage Image = e.ImageFrame.Image; ColorBitmap = BitmapSource.Create(Image.Width, Image.Height, 96, 96, PixelFormats.Bgr32, null, Image.Bits, Image.Width * Image.BytesPerPixel); }

11 Affichage du flux video
Démonstration – Kinect Light Sabre Affichage du flux video

12 Agenda SDK & Architecture Buffer vidéo Buffer de profondeur
Suivi de squelettes Gestion du son

13 Buffer de profondeur Résolutions Données sous forme de stream
320x240 80x60 Données sous forme de stream Evénementiel / Pooling Stockage sur 13 bits 10 bits pour la distance en millimètres depuis le capteur 3 bits pour donner l’index de la personne reconnue

14 Affichage du flux de profondeur
Démonstration – Kinect Keyboard Simulator Affichage du flux de profondeur

15 Agenda Architecture Buffer vidéo Buffer de profondeur
Suivi de squelettes Gestion du son

16 Suivi des squelettes Reconnaissance immédiate Evénementiel / Pooling
4 squelettes détectés Chaque squelette donne sa position

17 Suivi des squelettes 2 squelettes suivis (tracked)
Liste de joints (points de contrôles) Chaque position donne également sa qualité (.w entre 0 et 1) Notion de TrackingID

18 Points de contrôles

19 Suivi des squelettes Service de filtrage des données Correction
Lissage kinectRuntime.SkeletonEngine.TransformSmooth = true; var parameters = new TransformSmoothParameters { Smoothing = 1.0f, Correction = 0.1f, Prediction = 0.1f, JitterRadius = 0.05f, MaxDeviationRadius = 0.05f }; kinectRuntime.SkeletonEngine.SmoothParameters = parameters;

20 Démonstration - Kinect Keyboard Simulator
Suivi du squelette

21 Agenda Architecture Buffer vidéo Buffer de profondeur
Suivi de squelettes Gestion du son

22 Gestion du son Kinect c’est aussi:
Un groupe de 4 microphones (Microphone array) Des algorithmes de Réduction du bruit ambiant Annulation de l’écho Beamforming : Tracking de la source sonore Compatible avec Microsoft Speech API

23 Pour aller plus loin

24 Programme de l’après-midi
Kinect 2D et détection de la main Mitsu Furuta / SENSORIT Applications Kinectées, l’interaction à portée de main Thierry Bouquain & Pierres-Yves Gardette / UCAYA Intégration de Kinect SDK pour le pilotage dans une scène 3D temps réel Benoit Laut / BEWISE Kinect, Squelette et animations 3D Simon Ferquel / INFINITE SQUARE Une vision de la visio-conférence du futur Niels Freier / WYGWAM Ardrone & Kinect Niels Freier & Mickael Thumerel / MS LABS EPITECH Bière/Pizza

25 Questions ?

26 Gagnez de superbes tee-shirts!
Résolution minimale du buffer de profondeur?

27 Gagnez de superbes tee-shirts!
Fréquence de rafraichissement de la vidéo en 1280x1024

28 Gagnez de superbes tee-shirts!
Donner les 3 valeurs possibles du TrackingState d’un squelette

29 Gagnez de superbes tee-shirts!
Combien de bits sont utilisés par pixel dans le buffer de profondeur pour identifier l’utilisateur courant ?

30 Gagnez de superbes tee-shirts!
Par quoi faut-il masquer 13bits pour obtenir les 3 bits de poids faible

31 Gagnez de superbes tee-shirts!
Combien de points de contrôles par squelette ?

32 Gagnez de superbes tee-shirts!
Nom de l’artiste qui réalise les dessins de nos tee-shirts

33 Gagnez de superbes tee-shirts!
Combien de développeurs présents aujourd’hui