Conception, Implémentation et Evaluation de Systèmes Interactifs Mixtes : une Approche basée Modèles et Centrée sur lInteraction Emmanuel Dubois Soutenance dHDR, 30 Septembre 2009 Université de Toulouse IUT de Tarbes Laboratoire IRIT Equipe IHCS

System Human Gulf of Evaluation Gulf of execution De lIHM aux SIM Exploiter les capacités systèmes (1, 2) Manipulation directe + WIMP + Métaphore Accroitre le nombre et le type de manipulations possibles (3, 4) Multimodalité + Collaborativité Tirer profit des capacités de lHomme (5,6) – Intégrer les ressources et aptitudes physiques de lutilisateur et de son environnement : Une nouvelle forme dinteraction : Systèmes Interactifs Mixtes (SIM) Armée, maintenance, grand public, … E. Dubois, soutenance HDR, 30 sept. 092

Systèmes Interactifs Mixtes : Une Définition Système interactif Combine les mondes physique et numérique Pour bénéficier des – Capacités des systèmes informatiques – Ressources physiques et aptitudes physiques des utilisateurs Autres termes employés : – interface tangible, réalité augmentée, virtualité augmentée, réalité mixte, environnements virtuels interactifs, systèmes pervasifs, … Nombreuses variantes = grande variabilité E. Dubois, soutenance HDR, 30 sept. 093

Sources de variabilité dun SIM (1/4) Place du monde physique dans le système = quest ce qui est utilisé / impacté du monde physique – En entrée : Détecter une position / présence, orientation / mouvement, obtenir un ID / reconnaître, détecter un son / une forme, etc. – En sortie : Ajouter une information dans le contexte, déplacer ou contraindre un objet, déclencher une action numérique E. Dubois, soutenance HDR, 30 sept. 094

Sources de variabilité dun SIM (2/4) Formes de communication en Entrée / Sorties utilisées = comment est utilisé / impacté le monde physique – Entrées : champs visuels (images, mouvements, couleurs), sonore (bruits, mots, musique), Champs magnétiques (présence, intensité, seuil, orientation), – Sortie : Visuel (texte, image, photo, graphiques), son (parole, son, bruit), proprioceptif E. Dubois, soutenance HDR, 30 sept. 095

Sources de variabilité dun SIM (3/4) Cohérence entre les espaces dinteraction IN / OUT = type de continuité induite : 2 facteurs – Superposition des espaces dinteraction en entrée (IN) et en sortie (OUT) – Importance du focus en entrée (IN) E. Dubois, soutenance HDR, 30 sept. 096 Espace IN = Espace OUTEspace IN Espace OUT Faible focus sur lespace IN Fort focus sur lespace IN

Sources de variabilité dun SIM (4/4) Cohérence entre les mondes physiques et numériques = types de liens – Représentation en entrée SIMILAIRE / DIFFERENTE des représentations en sortie – Comportement en entrée SIMILAIRE / DIFFERENT des comportements en sortie E. Dubois, soutenance HDR, 30 sept. 097

Synthèse de ces points de vue Mise en évidence – Spécificités et grande hétérogénéité – Différentes préoccupations liées aux SIM E. Dubois, soutenance HDR, 30 sept. 098 Cohérence entre les mondes physique et numérique Cohérence entre les espaces dinteraction Formes de communication en entrée Formes de communication en sortie Place du monde physique en entrée Place du monde physique en sortie Technologies utilisables en sortie Technologies utilisables en entrée Impacts sur linteraction Impacts sur limplémentation Usage du SIM Technologies du SIM Contour du SIM

Bilan des SIM existants Domaine dapplication et forme dinteraction en plein essor SIM = une nouvelle forme dIHM à fort potentiel Simultanéité et multiplicité des échanges dinformation avec les mondes physique et numérique SIM = système interactif multi-facetté Richesse et hétérogénéité des différentes facettes de linteraction plus marquées quen IHM traditionnelle SIM = une forme complexe dinteraction Besoins dapproches de développement adaptées, pour – intégrer et comprendre les multiples facettes de la conception, de limplémentation et de lévaluation des SIM. E. Dubois, soutenance HDR, 30 sept. 099

On veut des SIM ! Comment faire ? Approches basées sur les technologies utilisées – Approches ad hoc : démontrent la faisabilité technique Digital desk, situation de rétro-ingénierie – Boites à Outils : regroupent des fonctionnalités de base (détection, localisation) pour faciliter leur mise en œuvre AR Toolkit, Phidgets – Plateformes de développement : fournissent un cadre pour un développement complet (architecture, protocole de communication, support au runtime) DART, Amire, Studierstube et Wcomp (Wearable) Limites – Aucune aide à la suggestion de nouvelles formes dinteraction / dispositifs / associations des 2 – Peu dattention accordée à la combinaison des multiples facettes intrinsèques à linteraction avec un SIM Alternative: adopter un point de vue plus abstrait E. Dubois, soutenance HDR, 30 sept. 0910

Approches abstraites Patrons de conception et recommandations ergonomiques – Une solution à un (ensemble de) problème(s) connu(s) – Basé sur des approches empiriques Limité à des problèmes et solutions existants ou rencontrés or manque de recul pour les SIM. Modèles – Notations permettant de [MBL, AVI04] Décrire Comparer Générer – Pour favoriser Exploration systématique et rationnelle de lespace des possibles Capitalisation des solutions de conception Raisonnement au sujet daspects de conceptions sans se centrer sur (ou être influencé par) des considérations technologiques E. Dubois, soutenance HDR, 30 sept. 0911

Approches par modèles Décrire des propriétés physiques – Savoirs préexistants liés à la vie quotidienne (RBI framework, [Jacob08]) – Place et rôle du corps humain ([Klemmer06]) – Relation entre objets physiques (TAC paradigm, [Shaer04]) Décrire les éléments dinteraction – Métaphores ([Fishkin04]) – Eléments impliqués, relations, caractéristiques ([Trevisan08, Chalon04, Dubois03]) Décrire les mécanismes sous-jacents à linteraction mixte – Périphériques dentrée / sortie (APRIL, [Ledermann05]) – Modalités requises (MIM, [Coutix06]) – Flux de données lors des interactions haptiques (Flow Nets, [Smith06]) Décrire des articulation de modèles – Liens entre aptitudes humaines / dispositifs requis / modèles de tâches : pour mesurer ladéquation de ces différents aspects ([Klug07]) – Liens entre story-board et des situations de travail réelles pour accélérer la transition entre conception et implémentation (DART, [MacIntyre04]) Différents aspects couverts, mais tous restent complémentaires. E. Dubois, soutenance HDR, 30 sept. 0912

Bilan des approches de développement Approches pratiques – Prennent en charge la complexité des SIM Implémentation facilitée Réutilisation et capitalisation de solutions favorisée Approches par modèle – Caractérisent les multiples facettes Gros grain = approches globales, structurantes – Pour organiser le domaine Fin grain = approches détaillées, formalisées, souvent opérationnalisées – Pour spécifier des systèmes (décrire, générer) Premières briques utiles à la maturation du domaine E. Dubois, soutenance HDR, 30 sept. 0913

Objectif de mon activité de recherche Fournir un support au développement des SIM – SIM = complexes et prometteurs – Approches existantes trop cloisonnées … centré sur linteraction de lutilisateur avec un SIM … – Prise en compte du caractère multi-facetté de linteraction avec un SIM … en adoptant une approche basée modèles. – Approches clés pour lexploration du champ des possibles – Intégration des différentes dimensions de conception dun SIM – Connexions ultérieures de considérations complémentaires E. Dubois, soutenance HDR, 30 sept. 0914

Contraintes et Verrous induits Développement centré sur linteraction Approche centrée utilisateur = 4 étapes distinctes à considérer Analyse, Conception (interaction et logicielle), prototypage, évaluation Verrou A : la transmission des choix de conception est nécessaire Domaine émergeant = cycles itératifs requis pour générer /améliorer des idées Verrou B : il faut pouvoir « re-travailler » les choix de conception de chaque étape Stratégies actuelles de développement des SIM sujettes à variations Utilisation de multiples modèles = Flexibilité requise Eviter lutilisation dun unique outil universel, de type UML Verrou C : lutilisation de modèles et outils spécifiques doit être possible Complémentarité des multiples modèles = Combinaison requise Verrou D : une cohésion entre les résultats de conception des différentes étapes du développement doit être assurée 15E. Dubois, soutenance HDR, 30 sept. 09

Approche de travail E. Dubois, soutenance HDR, 30 sept Il faut pouvoir « re- travailler » les choix de conception dune étape Lutilisation de modèles / outils spécifiques doit être possible Une cohésion entre toutes les étapes du dévelop- -pement est nécessaire Chacune des 4 étapes doit être outillée spécifiquement Les 4 étapes du développement doivent être articulées / liées Les principes de chaque articulation doivent être observables A B C D Transmission des choix de conception est nécessaire

Insertion globale dans un processus adapté Contexte dapplication Transformer un contenu muséographique en expérience interactive – Muséum de Toulouse – Société Metapages (Toulouse) Volet complémentaire à la démarche – Nécessité de sinscrire dans un processus de développement plus large, adapté aux spécificités du domaine E. Dubois, soutenance HDR, 30 sept. 0917

Deux modèles différents Modèle et MM ASUR : Conception de lInteraction (E. Dubois, G. Gauffre, P. Gray) [IHM04, IDM05, EIS07, HCI07, DSVIS08] – Participating entities Physiques, Numériques, Adaptateurs – Canaux dinteraction – Caractéristiques Mécanismes de capture / modification (PE) Medium / représentation (IC) – Groupings Chemin dInteraction path, proximité physique / mixte, cohérence Modèle et MM ASUR-IL : Conception de lArchitecture Logicielle (G. Gauffre) [IHM06, Book LNCS 08] – Sous-assemblages de composants et définition de leur rôle Entities : concepts numériques au cœur de linteraction – Structurée en M, V, C – Distingue le concept et In / Out Adapters : processus de capture / émission – Structuré en Devices + API – Sépare Interaction Physique / Logique – Spécifie les échanges Ports = type de données – Traite de linteraction uniquement E. Dubois, soutenance HDR, 30 sept Chacune des 4 étapes doit être outillée spécifiquement

Outillage : Plugin Eclipse E. Dubois, soutenance HDR, 30 sept Chacune des 4 étapes doit être outillée spécifiquement

Et les autres étapes ? Analyse (D. Scapin, INRIA Rocquencourt) – Basée sur le modèle de tâches existant : KMad Implémentation (JY Tigli, INRIA Nice) – Basée sur une plateforme de prototypage existante : Wcomp Evaluation (S. Charfi, D. Scapin) [IHM08, EICS09] – Sélection de résultats expérimentaux relatifs aux SIM – Extraction de recommandations ergonomiques pour les SIM Formatage, classification par cibles – 140 recommandations – 51 extraites – 87 adaptées – 2 exitantes – Environ 30 publications retenues + recueil de R.E pour RV – Outillage : application web E. Dubois, soutenance HDR, 30 sept Chacune des 4 étapes doit être outillée spécifiquement

Outillage : web E. Dubois, soutenance HDR, 30 sept Chacune des 4 étapes doit être outillée spécifiquement

Liaison entre analyse et conception de linteraction KMAD / ASUR [Tamodia07, Book Mixer09] (S. Charfi, R. Bastide) – Principe : initialiser la conception de linteraction à partir déléments du modèle de tâches Basé sur lidentification de liens entre les concepts des MM – Apport pour le développement : 7 règles darticulation structurant / guidant le passage entre les deux étapes : forme de systématisation Cohérence accrue entre les principaux concepts de lanalyse de tâches et la conception de linteraction – Outillage : aucun E. Dubois, soutenance HDR, 30 sept Les 4 étapes du développement doivent être articulées / liées

ASUR / ASUR-IL (G. Gauffre) [Book LNCS08, Book Mixer09] – Principe : initialiser la conception de larchitecture logicielle à partir du modèle dinteraction Basé sur lidentification de correspondances entre concepts des deux MM : règles et ontologie – Apport pour le développement : Efficience : outil spécifique distinct Modifiabilité : modularité + réutilisabilité (basé composant) – Outillage : ATL transformation + OWL (ontologie) Plugin Eclipse E. Dubois, soutenance HDR, 30 sept Les 4 étapes du développement doivent être articulées / liées Liaison entre conception de linteraction et conception logicielle ASUR-IL Dispositif API Ain Médium Représentation ASUR

Liaison entre conception et implémentation SIMBA (W. Abou Moussa, JP Jessel) [ISMAR06, VRIC07, HandBook08, ISUVR08, Ubimob08] – Principe : produire un prototype « moyenne fidélité » dun SIM à partir dun modèle dinteraction Prototypage basé sur la description ASUR et permettant la simulation dans un environnement 3D de linteraction avec le système modélisé – Apports pour le développement : Dépasser les contraintes intrinsèques aux dispositifs et leur langage Mesurer ladéquation et la suffisance des moyens de capture mis en œuvre Saffranchir de la non disponibilité de dispositifs ou ressources requises Tendre incrémentalement vers une solution complète – Outillage : Environnement graphique + édition et transformations de modèles + plateforme distribuée (CORBA) E. Dubois, soutenance HDR, 30 sept Les 4 étapes du développement doivent être articulées / liées

Et les autres liaisons ? Conception logicielle / Implémentation (G. Gauffre) – Transformations ATL + XPAND : ASUR-IL / Wcomp (et OI) Génération de code / squelettes : C# Génération dassemblages WComp (ou OI) : XML – Outillage : Plugin Eclipse + Ontologie complétée + Environnement WComp (ou OI) Evaluation / conception de linteraction (S. Charfi) – Classification des recommandations ergonomiques par Éléments constitutifs du MM ASUR Règles KMAD / ASUR associées – Outillage : RESIM complété par des fonctionnalités de recherche E. Dubois, soutenance HDR, 30 sept Les 4 étapes du développement doivent être articulées / liées

Observabilité des transitions KMAD / ASUR suggère un ensemble de points de départ – Une liste des possibilités est produite ASUR / ASUR-IL propose un ensemble dassemblage possible – Lontologie liste dautres solutions – Extension possible de lontologie par ajout E. Dubois, soutenance HDR, 30 sept Les principes de chaque articulation doivent être observables Evaluation / ASUR – Un concept ASUR = plusieurs recommandations applicables – Une R.E. = une ou plusieurs parties de modèles SIMBA – Modèles intermédiaires – Distinction entre simulé et finalisé ASUR-IL / WComp – Un assemblage ASUR-IL = un assemblage WComp ou un composant WComp – Ontologie liste dautres solutions

Processus de développement de SIM pour la médiation culturelle Spécificités (C. Bach) [ICHIM05, IHM06, SELF07, Book PUF09] – Domaine peu familiarisé avec la technologie / les principes IHM, en particulier les SIM – Accès limité : besoin doptimiser les phases – Pluridisciplinarité exacerbée Besoin didentifier la place de chaque spécialiste Principes – Recenser, décrire, valider les différentes étapes E. Dubois, soutenance HDR, 30 sept Insertion globale dans un processus adapté Optimisation EvaluationPrototypage ConceptionAnalyse Utilisabilité Interaction Nature de lexpérience Mise en scène Socio-cognitif Analyse Préliminaire RecueilFiltrageCatégorisation Analyse des Principes Interactifs Corpus de PF Canevas Interactif Phasage Principes Directeurs Apport sur Thématique Principes Fonctionnels Proposition Initiale Production Sélection Solution IntégrationTests N fois

Processus de développement de SIM pour la médiation culturelle Apport – Séparation entre les analyses métier et interaction Nécessaire car demandes souvent floues – Replace le soucis dhomogénéité tôt dans le processus – Constitue un guide pour larticulation des multiples compétences impliquées Outillage – Recensement doutils disponibles pour chaque étape – En particulier : ressources pour la conception de SIM applicables en phase doptimisation E. Dubois, soutenance HDR, 30 sept Insertion globale dans un processus adapté

Des SIM pour le Muséum E. Dubois, soutenance HDR, 30 sept MIME 07/08 RAPACE 06/07 INFLATABLE UI 07/08 CLADIBULLE 07/08 S3M 08/09

Conclusion Analyse approfondie du domaine des SIM – Justifier mes objectifs et ma démarche Survol des contributions produites au travers de – 3 thèses : W.Abou Moussa, S. Charfi et G. Gauffre – Des collaborations institutionnelles : Locales – IRIT : IHCS, VORTEX – LECP et Muséum de Toulouse Nationales – INRIA Rocquencourt et Sophia, – LIG - Université de Grenoble, LIMSI – Université Paris XI – UTT, ESTIA Internationale – University of Glasgow – Des collaborations industrielles Metapages, GVS, Immersion – Contrats Région ANR E. Dubois, soutenance HDR, 30 sept. 0930

E. Dubois, soutenance HDR, 30 sept Analyse Conception Implémentation Evaluation KMAD : modèle de tâche Implémentation basée composants ASUR : Modèle de linteraction utilisateur - SIM Phase de Développement SIMBA : Plateforme de Simulation ASUR-IL : Modèle darchitecture logicielle pour un SIM Recommendations Ergonomiques pour les SIM Wcomp : Plateforme dimplémentation Modèles existants Contributions Articulations Processus de développement dexpériences interactives avancées en milieu muséal

Perspectives (1/3) Finaliser et éprouver les contributions – Produire des recueils illustratifs et documentés de modèles, mise en œuvre des transformations – Mettre en place un protocole dutilisation communautaire des recommandations ergonomiques (accès et ajout) – Caractériser les impacts / apports des articulations Elargir la diffusion de ces contributions et leur mise en œuvre 32E. Dubois, soutenance HDR, 30 sept. 09

Perspectives (2/3) Etudier et élaborer de nouvelles ressources de conception – Lien entre analyse informelle et conception formelle Thèse en cours : Christophe Bortolaso – Impact des SIM sur des tâches spécifiques en environnement 3D Thèse à venir : Bénédicte Schmitt – Analyse plus fine de la relation entre lHomme et les Objets physiques manipulés Compléter les ressources support au développement de SIM Approfondir lintégration des ressources de développement – Patron de conception de SIM ergonomiques – Evaluation prédictive sur modèle (performance, ergonomie) – Management du processus de conception Renforcer la cohérence entre les éléments de conception E. Dubois, soutenance HDR, 30 sept. 0933

Perspectives (3/3) Elargir lintégration à – Dautres domaines : Interaction avec des EV 3D, Prise en compte de déficiences (humaines, contextuelles, logicielles) – Dautres disciplines : systèmes multi-agent, SI, réseaux, … car ils forment un tout : notre quotidien Sinscrire dans les efforts de recherche liés aux systèmes ambiants (Projet AMIE) Globalement : contribuer à la maturation du domaine, mais … E. Dubois, soutenance HDR, 30 sept. 0934

Une grande question en arrière plan Comment évaluer ces contributions ? Comment démontrer leur pouvoir ? Pistes envisagées : – Lisibilité, utilisabilité, apprentissage par différents profils – Adéquation de la granularité, complétude, générativité – Qualité des systèmes produits Performance, satisfaction, coût, robustesse, temps requis ? – Collaborations pluridisciplinaires nécessaires (ethnologues, sociologues, spécialistes de lIHM ? ) E. Dubois, soutenance HDR, 30 sept. 0935

Conception, Implémentation et Evaluation de Systèmes Interactifs Mixtes : une Approche basée Modèles et Centrée sur lInteraction Emmanuel Dubois Soutenance dHDR, Septembre 2009 Université de Toulouse IUT de Tarbes Laboratoire IRIT Equipe IHCS