Journées LIG-LIDILEM La plateforme d’expérimentation Multicom du LIG Brigitte Meillon 2 juillet 2013

Bref historique de la plateforme Un gros chantier mené par l’équipe Multicom de A à Z en 2004 sous la direction de Jean Caelen Un cahier des charges et des spécifications fondés sur l’expérience et les besoins de l’équipe en matière d’expérimentation Contributeurs de la plateforme Jean Caelen, Christian Perrot, Francis Jambon, Brigitte Meillon, Mathieu Gallissot, Nicolas Bonnefond, Valentin Valls , Anne Pellegrin, Camille Roux, Caroline Golanski, Maxime Fortelle, Karine Xue, Sybille Caffiau, Daniel Arfib

Bref historique de la plateforme Une réalisation collective dans le cadre d’un projet d’équipe en 2 phases: 2004 2005 conception et réalisation infrastructure générale Chercheurs, ingénieurs, ergonomes Financement Conduite des travaux Instrumentation d’observation Plans Equipement Décoration

Bref historique de la plateforme Une réalisation collective dans le cadre d’un projet d’équipe en 2 phases: 2009 instrumentation bâtiment intelligent: équipement domotique et intégration logicielle Société SIRLAN Technologies (KNX) Doctorant Cifre de formation ingénieur domoticien (Mathieu Gallissot) Intégration protocoles divers Infrastructure logicielle Instrumentation domotique Service accès aux données Service de traces

A quoi sert la plateforme ? Support à la recherche pour mener des expérimentations avec des sujets, en situation quasi écologique ou simulée Objectif Remettre l’utilisateur final au centre pour adapter les systèmes interactifs et/ou l’habitat à l’utilisateur, et non l’inverse Anticipation des usages En amont d’un projet, pour adapter les fonctionnalités étudiées Séances de conception collaborative Brainstormings, focus groups Simulation de fonctionnalités (Magicien d’Oz) Évaluation et validation de prototypes, de nouvelles interfaces Commande domotique vocale intelligente (ANR SweetHome Getalp) Interface de gestion des économies d’énergie (ANR ReactivHome) Robot compagnon médiateur entre l’habitant et les automatismes de l’habitat (Investissements d’avenir Interabot et projet robot du LIG) Etude nouvelles interactions musée (contrat Museum Grenoble) Constructions de corpus spécifiques Acceptabilité par l’habitant d’un robot selon son niveau de compétence vocale socio affective (projet ANR Getalp déposé ) Corpus de vidéos d’expressions faciales émotionnelles (projet ANR DYNEMO)

Description de la plateforme Espace de 200 mètres carrés au CTL (campus St Martin d’Hères)

Description de la plateforme

Description de la plateforme Le plateau d’expérimentation Espace modulable Salle de conception participative Environnements simulés Rampes de portants au plafond type thêatre 4 caméras Pan Tilt Zoom commandables à distance 4 micros multidirectionnels au plafond 1 vidéoprojecteur Des projecteurs de lumière

Description de la plateforme

Salle d’expérimentation Expérimentations « légères » Eye tracking Tobi 1750 Mobile eye

Description de la plateforme

Description de la plateforme La régie, cœur de la plateforme Centralisation et configuration des flux de données Retour flux audio vidéo (DOMUS, plateau, salle expé) Mixage flux pertinent Pilotage caméras plateau Retour traces d’activités Retour capteurs

Description de la plateforme Matrix switcher Picture In Picture module PC 4 moniteurs

Description de la plateforme Matrix switcher Quad module Enregistreur disque dur Serveur vidéo 4 moniteurs

Description de la plateforme La régie, cœur de la plateforme Centralisation des flux de données Observation Vitres sans tain Retour caméras Annotation en live

Description de la plateforme La régie, cœur de la plateforme Centralisation des flux de données Observation Contrôle expérimentation Mise en route logiciels acquisition, traces, … Enregistrement des données Disque dur externe, serveur vidéo, PC, … Interactions avec le sujet Magicien d’Oz Déclenchements événements

Qu’est ce que DOMUS ? LIG - Plateforme Multicom

Description de DOMUS La réplique d’un appartement de 40m2 Fonctionnel (mobilier, vaisselle, décoration, multimédia …) Instrumenté de capteurs et d’actionneurs de divers protocoles divers dispositifs d’interaction de dispositifs d’observation Couplé avec la régie outils d’observation, d’annotation, d’enregistrement de données postes de magiciens d’Oz postes de contrôle Architecture logicielle virtualisation des différents protocoles utilisés service de recueil de traces services d’accès aux données

Description de DOMUS Salle de bains Chambre Salon Coin cuisine repas

Description de DOMUS Coin cuisine repas Salon Chambre Salle de bains

Instrumentation de DOMUS Capteurs présence, luminosité, sonde température, niveau de CO2, hygrométrie, pression, détection ouverture, interrupteurs, lecteurs RFID Micros, caméras

Instrumentation de DOMUS Equipement contrôlant les lumières, l’éclairage dynamique, prises, volets, rideaux, stores, multimédia

Description de DOMUS Plusieurs protocoles cohabitent dans DOMUS KNX pour la partie domotique X2d pour la détection d’ouverture/fermeture de porte RFID pour la détection de tags RFID UPnP pour la diffusion multimédia DMX pour la gestion de l’éclairage dynamique Standard domotique KNX Standard de compatibilité et d’interopérabilité pour la gestion du bâtiment Reconnu comme norme par les instances européennes et internationales Système à intelligence répartie Ensemble de capteurs et actionneurs Système de communication bidirectionnel (couche KNX) filaire, radio, ethernet, courant porteur

Description de DOMUS Service de logs permettant de recueillir Les traces d’activités des sujets Présence, actions interrupteurs, objet tangible RFID, … Les traces environnementales Variation de luminosité, température, niveau de CO2, … Service d’accès aux valeurs des différents capteurs Ouverture fermeture de portes et fenêtres, consommation d’eau et d’énergie Service de pilotage des divers éléments Lumières Rampes de LED Volets, stores, rideaux Diffusion sonore

Des expérimentations sur la plateforme REGIE

Des expérimentations sur le terrain

Les divers aspects d’une expérimentation Méthodologie d’expérimentation Protocole expérimental Définition des scénarios Développement logiciel spécifique Procédures techniques et expérimentateurs Nomenclature sujets, fichiers Consentements éclairés Dépôt de dossier CIL ou CERNI Recrutement et rémunération des sujets Gestion de plannings Prétests Passation Bilan final et archivage des données Logistique Ingénieur Sciences humaines Chercheur

Exemples de projets Projet ANR Dynemo 2013 Construction d’un corpus d’expressions faciales émotionnelles dynamiques et spontanées pour la communauté travaillant sur les émotions Création d’un matériel d’induction de 11 émotions Instrumentation caméra cachée Passage à l’échelle : 380 sujets Méthodologie rigoureuse Corpus accessible sur Internet: https://dynemo.liglab.fr

Exemples de projets Contrat industriel Eulalie Museum de Grenoble 2006 Anticipation de nouveaux modes d’interactions vitrine - borne

Exemples de projets Projet ANR SweetHome (2009 - 2013) définition d’un système domotique ubiquitaire et attentif, capable d’interagir naturellement avec l’utilisateur Etudes d’usage interaction vocale avec appartement domotisé Développement logiciel : mise à disposition traces capteurs domotiques Accompagnement technique expérimentation

Exemples de projets Projet exploratoire Emoz 2013 Développer et améliorer les technologies facilitant la vie des personnes âgées Postes magiciens Sujets âgés dans DOMUS avec le robot Emox

Exemples de projets Projet UniVer (focus group IUT) 2013

Exemples de projets Projet ANR CIRDO Un Compagnon Intelligent Réagissant au Doigt et à l’Œil (2010 – 2013)

Plateforme MultiCom Projet TELEOS ( simulateur d’apprentissage pour chirurgiens) 2006 – 2010 Expérimentations en situation écologique au bloc opératoire Capture comportement chirurgien au bloc Analyse des gestes, du regard, des prises de radios Eye tracker « mobile eye » Caméras frontales Enregistreurs et encodeurs vidéo

Exemples de projets Projet DESTIN (conception outil pour chirurgie percutanée) 2006 – 2008 Expérimentations au bloc opératoire Séance de conception participative

Exemples de projets Projet exploratoire Signoculo oculométrie et langue des signes (2009) Comparaison parcours visuels sujets signeurs et non signeurs

Exemples de projets Projet Ocular CERES Limoges 2013 - 2014 Expérimentation oculométrique avec chercheur en histoire de l’art

Fonctionnement de la plateforme Un comité de pilotage gère son fonctionnement Composition Un animateur Un responsable technique Des représentants par équipe Des représentants Pimlig, Floralis, Carnot, Amiqual4Home Missions Faire vivre la plateforme et promouvoir son utilisation Définition des modalités d’utilisation Mutualisation des résultats, savoir faire Toute demande (visite, projet, expé) est à adresser à la liste: plateforme-multicom.lig@imag.fr