Journée des doctorants (JDD) 2013 Conception, Modélisation et Évaluation d’une Doublure Numérique Autonome et Fidèle MEHDI BOUKHRIS Groupe CPU ED 427 Informatique Financement : Contrat CNRS , Projet FUI « ADN-TR » Date de début de thèse : 1/05/2012 Directeur : Jean-Claude Martin, LIMSI-CNRS ,Groupe CPU Bonjour, je m'appelle Mehdi Boukhris, doctorant en début de deuxième année. Mon sujet de thèse s’intitule Conception, modélisation et évaluation d’une doublure numérique autonome et fidèle Cette thèse est menée sous le thème "agent virtuel et émotions" au sein de l’équipe CPU sous la direction du professeur Jean-Claude Martin.

Contexte Général Les visages virtuels actuels rendent la frontière entre la réalité et le virtuel difficilement discernable Emily project : (Alexander, Rogers et al. 2010) Activision – démonstration technique d’un personnage virtuel temps réel Grâce aux dernières avancées des scanners 3d et plus généralement de l’informatique graphique, la modélisation de visage 3d photoréaliste est devenue courante. De plus, la création de visages virtuelle inspirée de personnage existant a réalisé une percée dans ce domaine, rendant la frontière entre réel et virtuel de plus en plus flou On voit ici quelques exemples travaux récents traitant ce sujet : Le premier à gauche est celui d’emily project’ de l’université de Californie du Sud Et ici à droite on voit la dernière démonstration technique réalisée par une grande boite de jeux vidéo « Activision ». Et enfin, l’mage en bas présente un exemple des travaux de Bailenson sur les clones virtuels Suite à ces avancées est apparu un nouveau champ de recherche dénommé doublure numérique. Virtual Self-Modeling (Bailenson, Blascovich, & Guadagno, 2012)

Les défis et les limites des travaux actuels Uncanny valley (Mori,1970) Expressivité et animation en temps réels (Walters et al,2008) (Looser, Wheatley,2010) (Courgeon et al,2011) Peu d'études abordent la qualité perçue et la fidélité des doubles numériques (Bartneck et al,2007) (McDonnell , Breidt,2010) Nous passons maintenant au défis et limites des travaux actuels. En effet ,La modélisation d’humain virtuel photo réaliste relève de nombreux défis. En effet, plus un visage virtuel est réaliste, plus il risque de tomber dans l’uncanny valley. L’uncanny valley étant décrite par Mori comme étant le fait que plus un robot humanoïde ou un humain virtuel est similaire à un être humain, plus ses imperfections nous paraissent rebutantes. Résultant de cela, un sentiment d’étrangeté voir même de rejet. L’expressivité et l’animation temps réel réalistes demeure aussi un important axe de recherche. Et nous avons surtout constaté que dans le domaine de l’informatique graphique, très peu d'études abordent la qualité perçue d’un visage virtuel et la ressemble (la fidélité) vis a vis du modèle.

Problématique : Comment définir, assurer et évaluer la fidélité d’un personnage virtuel ? Originalité : Les facteurs sur lesquels un humain se base pour évaluer « la fidélité » Apport d’une représentation fidèle d’un visage humain sur un agent virtuel « autonome » Donc notre problématique principale peut se résumer en une simple question comment d’une part définir et assurer et puis évaluer la fidélité d’un personnage virtuel ? Par exemple, selon vous, lequel de ces deux personnages de célèbres jeux vidéo est celui qui ressemble le plus au vrai joueur ? Pour répondre à cette question sur quel facteur vous vous êtes basés. En effet l’originalité de cette problématique par apport a l’état de l’art consiste en deux point principal : D’une part selon nos recherches nous n’avons pas trouvé de travaux qui examinent les facteurs sur lesquels un humain se base pour évaluer la fidélité d'un visage virtuel. D’autre part nous avons noté que très peu de travaux explorent l’apport d’une représentation fidèle d’un humain virtuel autonome dans un contexte d’interaction.

Objectif de la thèse « Cadre conceptuel » de la fidélité Implémenter un humain virtuel fidèle Doublure Non Autonome: Fidélité visuelle statique & expressive. Doublure Autonome: Modèle cognitif, émotionnel, de différence inter-individuelles, etc. Études perceptives évaluant: Le degré de fidélité obtenue. L’impact de cette fidélité sur la perception et l'interaction. Par conséquent, nous avons organisé les objectifs de cette thèse comme suit : Proposer un « Cadre conceptuel » pour la fidélité entre un humain virtuel et son référent réel. Implémenter un humain virtuel fidèle, conformément à ce cadre conceptuel Doublure Non Autonome: Conception et implémentation d’un humain virtuel assurant une fidélité visuelle statique & expressive. Doublure Autonome: Assurer un comportement autonome à l’avatar qui soit fidèle a celui du référent en intégrant (modèle cognitif, modèle computationnel émotionnel, modèle de différence inter-individuelles). Études perceptives évaluant le degré de fidélité obtenue et l’impact de cette fidélité sur la perception et l'interaction

Publication: Cadre conceptuel pour l’étude de la fidélité d’un visage virtuel Au cours de cette première année, nos travaux ont déjà fait l’objet d’une publication à CASA ( computer animation and social agent )2013. où nous avons essayé de proposer une définition de la fidélité à travers un cadre conceptuel étudiant la fidélité du visage d’une doublure numérique. à travers ce cadre conceptuel, nous avons essayé d'étudier comme on le voit ici trois principaux blocs: Le premier decrit qu’est-ce qu’on évalue dans une doublure numérique en présentant les dimensions de l’identité visuelle et comportementale. , le deuxième bloc présente les entités impliquées dans ce processus de jugement et finalement le dernier bloc énumère les variables qui influe sur ce processus M. Boukhris, M. Courgeon, C.Jover, J.C. Martin, G. Gambier and C.Guiard. « A Conceptual Framework for Studying the Fidelity of Expressive Digital Doubles » Computer Animation and Social Agent (CASA) ISTANBUL 25/05/2013

Travaux en cours 7 http://www.adnda.com Pour la suite , et afin de réaliser le rendu et l’animation en temps réel des différentes composantes de la fidélité d’une doublure numérique, l’équipe CPU en collaboration avec l’agence de doublure numérique ADN a conçu un système qui permet de capturer, d'analyser, et animer en temps réel un visage virtuel. Cette plate forme va être étendue pour mener une série d'études psychophysiques pour déterminer: si le style de rendu, le mouvement et l‘expressivité de la doublure numérique peuvent influer l’identification et le jugement de ressemblance avec le référent. 7

Perspectives et Publications visées : Une Approche incrémentale 2ème année Fidélité visuelle statique: Doublure numérique statique. Étude « eye-tracking » Fidélité visuelle dynamique: Librairie d'animation temps-réel des expressions. Rôle de l’expressivité pour la reconnaissance d’une identité. 3ème année Fidélité psychologique :  « Autonome » Modèle cognitif /psychologique (mémoire autobiographique/modèle émotionnelle) Évaluation dans un contexte d’interaction Évaluation de l’intérêt de l’interaction avec une doublure numérique En ce qui concerne le planning et les perspectives de nos travaux , nous avons opté pour une approche incrémentale explorant les différentes dimensions de la fidélité. En effet, au cours de la deuxième année, nous prévoyons de débuter par l'étude de la Fidélité visuelle statique. En implémentant une doublure numérique statique et effectuer par la suite Étude « eye-tracking » comparant l’importance des indices holistique VS. l’évaluation fragmentée des traits du visage. Dans un second temps, nous passerons à l’étude de la Fidélité visuelle dynamique en implémentant d’une librairie d'animation et de contrôle temps-réel des expressions visuelles qui sera soumise a une étude Étude perceptive explorant le rôle de l’expressivité pour la reconnaissance d’une identité Par la suite, au cours de la 3éme année, nous aborderons le caractère autonome de l’avatar en implémentant un modèle cognitif de comportement psychologique fidèle au comportement du référent en incluant (mémoire autobiographique/modèle émotionnelle) Et finalement, nous prévoyons des évaluations perceptives pour étudier l’apport de la fidélité d’un humain virtuel pour l’interaction Homme /machine

Merci pour votre attention

Définition d’une doublure numérique Définition: les Doublures numériques sont des personnages générés par ordinateur qui ont été créés pour représenter numériquement une personne existante Mais en quoi consiste exactement un double numérique ? Nous définissons les Doublures numériques comme étant des personnages générés par ordinateur qui ont été créés pour représenter numériquement une personne existante ou décédée. 10

Intérêt d’une doublure numérique Recherche académique Recherche en informatique graphique : e.g. Virtual actors Emily project (Alexander, Rogers et al. 2010) Recherche sur l’interaction avec des agents virtuels : e.g. Self clone (Fox and Bailenson, 2009), l'effet de réalisme des personnages virtuels(Macdonnel,2012) L’industrie du divertissement Jeux vidéos : jeux de sport, L.A noire (Rock-star), heavy rain (quantic dreams), etc. L’industrie du cinéma : The curious Case Of Benjamin button, tron legacy, Avatar, etc. Les doublures numériques ont d’ores et déjà plusieurs applications. D’un côté il existe de nombreux travaux scientifiques qui traitent les doublures numériques. que ce soit pour: Des recherches en informatique graphique telle que. Ou étudiant l’effet de leur interaction D’un autre côté, les doublures numériques sont de plus en plus utilisées par l’industrie du divertissement. Par exemple, l’industrie du cinéma doit plusieurs de ses succès à cette technologie. Et cela pour plusieurs films tels que "l’étrange histoire de benjamin button" ou" tron l’héritage" ou encore "avatar". Le rendu réaliste de visages humains reconnaissable est également utilisé pour les applications temps réel tel que les jeux vidéo.

Focus & Approche de la thèse Focus sur le visage: Le visage est une cible prioritaire dans une scène et il reçoit la plus grande quantité de traitement cognitif (knappmeyer et al, 2003) Il s'agit d'une modalité riche pour exprimer des émotions Approche multidisciplinaire: Informatique graphique Psychologie Sociologie Reconnaissance des visages Réalité virtuelle et la simulation //we will try to answer to this question, In our approach We focused on the face because It has been shown that face is a high priority target in a scene and It receives higher amount of cognitive processing ( knappmeyer et al, 2003) in addition face is a rich modality for expressing emotions Which are very important in an interaction context. We conducted a Multidisciplinary study in fact we explored different definitions of fidelity provided by various disciplines and research areas such as psychology,sociology, face perception and virtual reality. //We looked to surrounding area like face perception , sociology , psychology to determine the factors on which we relay to judge the fidelity of a //real face in order to do correspondance with digital double

Variable du protocole d’évaluation Degré de réalisme Caricature ressemblance Direction de l'illumination Distance de jugement Angle de vue Résolution Familiarité Signes distinctifs Catégories sociales Self concept So According to our conceptual framework, fidelity involves three main entities, the relationship between those entities is strongly linked with the variables influencing the judjment of fidelity in fact According to psychological studies the evaluation of fidelity is dependent of the familiarity between the referent and the evaluator , to the distinctive sign that perceive the evaluator on the referent, to the fact that they belong to the same social category The environment and viewing condition between the digital double and the evaluator play also an important role in the evaluation And The digital double can represented with various degree of realism that can influence the judgment of fidelity All those relationship mudt be taken in account in future perception evaluation

Holistic cues: Facial recognition are processed first holistically The holistic process mainly includes the evaluation of two principal factors: Shape Pigmentation: the surface’s reflectance properties : hue, specular, albedo, translucency, etc. Researches on face perception point out that face recognition in humans is a holistic process. It means that all facial features are processed at the same time. It has been shown that the evaluation of the geometric relationships between each feature of the face and the remaining ones is very important for face recognition. Deforming this relationship can distort the recognition. For example, Young et al [13] observed that the superposition of top and bottom halves of different faces (POINTER SUR LA PHOTO DE DROITE) generates a powerful impression of a novel face (POINTER SUR LA PHOTO DE GAUCHE). THIS holistic process mainly includes the evaluation of two principal factors: shape, pigmentation: the surface’s reflectance properties : hue, specular, albedo, translucency, etc. (A. W. Young,1987) « Configurational information in face perception »

Feature cues All Facial cues do not play an equal part in the identification of an identity In addition to the global evaluation of the face, humans also evaluate the different facial features independently. So here, all these facial features do not have the same impact for the identification of a person. Experimental results suggest that our perception focuses on first the eyes, then the mouth and finally the nose. Sadro demonstrated that eyebrows may be the most important feature for face recognition , By altering this cues, identity recognition MIGHT be seriously ALTERED. The Most important facial feature for face recognition (berisha et al ,2010) Eyebrow seems to be the most important feature for recognizing an identity ( Sadro,2003)

The role of face motion Faces have distinctive motion patterns that are components of the face identity. (lander et al,2005) The dynamics and the expressiveness of faces make the recognition of familiar and famous people easier. Results suggest that faces have distinctive motion patterns that are components of the face identity. //Lander and Chuang [19] //Why are moving faces easier to recognize?

Which variables influence the fidelity judgment ? Illumination effect effects in face recognitions( Braje et al,1998) Several experiments report that face perception is sensitive to: the direction of illumination [20], the viewing angle and the pose of the model [20, 22]. tolerance to degradation by the resolution of the image or distance judgment was also studied [22,5]. (Walliset al,2001)

Which variables influence the fidelity judgment ? Level of realism According to Mauro and Kubovy (1992) , using caricatures leads to a better recognition performance than using real faces. Identity can be conveyed with avatars that are not necessarily realistic. Caricatured face for example are also designed to convey identity .