L’altérité dans un dialogue homme-robot Jean Caelen Laboratoire d’Informatique de Grenoble

Plan Partie I : L’altérité dans le dialogue humain Partie II : L’éthique dans l’interaction humain-robot Partie III : Modélisation de l’interaction humain-robot Plan

Partie I : L’altérité dans le dialogue humain

L’altérité comme fondement du dialogue Le dialogue est un Faire à deux ou à plusieurs qui prend racine dans le soi et permet de construire une action commune en vue d’un but qui constitue la visée du dialogue ou de l’interaction L’altérité maintient et fonde le dialogue comme processus de co-construction de valeurs et de signes à travers l’action conjointe. Dans le dialogue humain l’altérité fonde l’intersubjectivité Nous nous appuyons sur ces 3 auteurs principalement pour préciser la notion d’altérité Ce transparent annonce le plan de ce qui sera développé

L’altérité chez Paul Ricoeur Deux significations majeures de l’identité personnelle Au sens idem = le même Traits de permanence dans le temps qui fait que l’on s’identifie comme soi, notamment par la mémoire Au sens ipse = le soi-même Mobile, se maintient par réflexivité à travers l’altérité Se manifeste dans trois types de relation Soi/monde, soi/autre, soi/soi (conscience) à travers diverses facettes +être, +avoir, +conjoint Ipséité = pouvoir d’un sujet de se représenter lui-même.

Les 8 facettes Je-Tu-Monde +être +être(soi) le regard sur soi, dans un jugement réflexif, +être(soi-même) ce que je ressens de moi à travers l’autre +être(autre) attention du Tu vers le Je +avoir +avoir(soi) ce que je possède +avoir(autre) ce qui m’est transmis par l’autre (connaissance, information, objet), +avoir(monde) ce que je reçois du monde ou d’une institution, d’un groupe, médié par l’autre +conjoint +avoir(commun) un bien indivisible +être(commun) force du lien : de haine (--), méfiance (-), indifférence (0) à empathie (+), connivence (++), amour (+++), etc. Monde +avoir(commun) +avoir(monde) +avoir(autre) Je +être(commun) Tu Schématiquement, le graphique ci-dessous illustre ces valeurs d’altérité à travers lesquelles les interactants (Je/Tu) se « construisent » par un +être(soi), +être(soi-même) +être(autre) et établissent un lien d’altérité plus ou moins fort que l’on note +conjoint. Le graphique met en évidence également les acquis au cours du dialogue en termes de +avoir dont il sera question dans l’article. Pour simplifier ce schéma, seul le point de vue de « Je » est considéré ici, il est évidemment symétrique pour le « Tu ». +être(soi) +être(soi-même) +avoir(soi) +être(autre)

Le dialogue est un jeu interactionnel basé sur la notion d’intérêt Un dialogue est un jeu au cours duquel chaque participant joue des « coups » à l’aide d’actes de langage pour atteindre son but. Un dialogue se présente comme une suite d’échanges (actions, transactions), les échanges visant à résoudre des sous-buts ou des pré-conditions et à faire progresser des gains (valeurs ou utilités) Le dialogue se maintient par l’intérêt des acteurs Intérêt individuel / intérêt conjoint = gains sur les valeurs d’altérité On peut ainsi voir le dialogue comme un « jeu » …

Dialogue D = (I, Bi, A, Gi, T) I = ensemble des interlocuteurs {i} ayant chacun son système de valeurs Bi = buts des interlocuteurs i A = ensemble des actes de dialogue {FA, FF, FS, FFS, FD, FP} Gi = ensemble des gains des interlocuteurs i avec les notations GE = gain espéré, GC = gain conjoint T = type de jeu (répété ou non, à connaissances incomplètes, à somme nulle ou non, etc.)

Hypothèse les locuteurs sont seulement capables de savoir si leur gain augmente ou diminue au cours du jeu de dialogue. Ils règlent leur dialogue de manière opportuniste en fonction de l'évolution des gains à l'intérieur même de la finalité du dialogue (leurs buts). Pour cela ils ne font pas de calculs autres que des comparaisons.

Algorithme BeginDialogue DJ : Initialization of the game D = (B(i), A, I, Gi, T) If T = repeated game Then Initialize gains Gi with those of previous stage game Else Gi = 0 Endif Opening of Dialogue by phatic acts Let i is the first speaker : Compute goal B(i), expected gain GEi which produces Speech Act Fip While  GE > 0 do For each j ≠ i  I do j analyses Fip according to T j computes his acquired gain GAj and the joint gain GC j evaluates his goal B(j) and expected gain GEj End For each If  k  I : GEk > GAk + GC then i = k i produces the speech act Fip aiming to increase his gain EndWhile If D = new game Then go to DJ EndDialogue

Application : dialogue entre un mendiant et un passant M (Mendiant) : une pièce svp... P (Passant) : tu ferais mieux de travailler plutôt que de mendier ! M : j'étais au chômage et je n'ai pas trouvé d'emploi P : ouais, moi aussi j'ai été au chômage... M : alors ! vous me comprenez… P : va te faire voir avec ta pièce ! M : bon, ça va !

+avoir (monde) +avoir (autre) +avoir (soi) +être (soi) +être (soi-même) +être (autre) GC M : une pièce svp... FF(x) : pièce(x) ; BM = obtenir(x)  GEM +argent +favorable +compassion +empathie P : tu ferais mieux de travailler plutôt que de mendier FD(Travailler) ; BP = 0 GEP +conforme à ses principes +vertueux GAM -favorable -méfiance M : j'étais au chômage et je n'ai pas trouvé d'emploi FS(y) : histoire(y) BM est maintenu ; BM = obtenir(x)  +justification +tolérance +0 GAP +conforme P : ouais, moi aussi j'ai été au chômage... FS(z) : histoire(z), z = y +convaincu -déni M : alors vous me comprenez… FS(expressif) +pitié - P : va te faire voir avec ta pièce FS(x) +

Partie II : L’éthique dans l’interaction humain-robot

Ethique et robotique Le robot « autonome » (par ex. drones militaires) Limitation des capteurs et de la perception de l’opérateur via les interfaces du robot et travail déporté dans l’interaction Responsabilité du robot ? (car il agit de plus en plus en lieu et place de l’humain) Le robot « partenaire » (par ex. robot compagnon) Limitation des bonnes intentions du robot Responsabilité du robot ? (car il peut induire de mauvais comportements de l’usager)

Responsabilité Incombe à l’opérateur ou au fabricant en cas de non- conformité Mais… L’opérateur n’a pas le contrôle total du robot (surtout s’il est autonome) ou il peut en avoir une confiance démesurée Les réseaux d’acteurs diluent la responsabilité Il y a une dimension émotionnelle dans la prise de décision La complexité du robot est croissante (on ne maîtrise pas le logiciel qui peut avoir des bugs ou des comportements inattendus) D’où perte du sens de la responsabilité chez l’opérateur et diminution de la vigilance

Cette incapacité à prendre en compte l’ensemble des facteurs est une cause d’erreur pouvant engendrer des drames, comme dans le cas de l’opération conduite en novembre 2001 contre le chef des opérations militaires d’Al-Qaïda dans les alentours de Kaboul : les deux missiles tirés depuis un Predator ont effectivement atteint leur but, mais au moment de l’impact, la voiture de la cible croisait un car scolaire, faisant de nombreuses victimes parmi les enfants. L’homme présente donc deux grandes failles entre sa sensibilité émotionnelle et ses limites physiologiques, notamment cognitives, que les machines, plus fiables, devraient pouvoir combler, à condition de pouvoir y implémenter un comportement éthique. Ethique incarnée dans le robot ?

L’éthique des robots Isaac Asimov (1920-1992). Dès 1942, dans son roman de science- fiction Runaround, avait énoncé ses Trois lois de la robotique : 1. Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger. 2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la première loi. 3. Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la première ou la seconde loi.

Droit des robots Entre 2006 et 2007, le gouvernement de la Corée du Sud et le Réseau de recherche européen sur la robotique (Euron) posent la possibilité d’établir une charte du droit des robots.  Le robot « sujet » car autonome et « intelligent » a des droits : il ne doit pas nuire à l’humanité et l’humain ne doit pas lui nuire. « Tout comme a été créée la notion de personne morale, il devrait être possible de créer une personne robot afin de lui reconnaître des droits et obligations qui l’assimileront à une personne physique. Enfin, il conviendrait de lui attribuer une identité, avec par exemple un numéro identifiant, et de la doter d’un patrimoine, englobant tous les biens représentatifs inhérents au fonctionnement du robot. » A. Bensoussan « Aussi, il nous semblerait plus pertinent d’intégrer dans le protocole régissant le comportement du robot un ensemble de lois qu’il ne peut enfreindre, et d’établir un cadre juridique international strict concernant leur usage. » O. Sarre

Difficultés d’implémentation Un robot est-il capable d’évaluer complètement une situation et les conséquences de ses actions ? A-t-il toutes les informations nécessaires ? A-t-il toutes les règles de droit, principes et normes nécessaires ? Quel est la limite à trouver entre risque et sécurité ? Le robot n’a pas de stress positif appelé intelligence émotionnelle et ne pourrait donc pas non plus utiliser ses « émotions » comme paravent

Les robots sont amoraux Que les machines soient capables de réagir conformément à des règles dites « éthiques » préprogrammées est une chose, mais cela n’en fait pas des agents capables de raisonnements éthiques ou moraux pour autant. Les robots, comme toute machine, ne sont ni moraux ni immoraux mais amoraux, c’est-à-dire qu’on ne peut pas leur prêter de morale : c’est l’utilisation qui en est faite, sous-jacente à des décisions humaines, qui déterminera si leur emploi est ou non éthique Les robots sont amoraux

Ethique de la discussion Jürgen Habermas Théorie De L’agir Communicationnel, tente de ramener dans l’éthique kantienne les intérêts et le bien-être des personnes.  Il s’agit de permettre au processus interne induit par l’impératif kantien (la réflexion par rapport à la maxime de l’action et à sa possible universalisation) de se sortir du sujet pour prendre le terrain de la discussion, pratique, externe. Une discussion est éthique si elle ressemble autant que possible à une situation de liberté de parole absolue et de renoncement aux comportements « stratégiques » Karl-Otto Apel Éthique De La Discussion, s'appuyant en partie sur l'œuvre d'Habermas, cherche dans l’éthique de la discussion une fondation rationnelle de l'éthique… L’éthique de la discussion répond à deux principes : (U) Seules peuvent prétendre à la validité les normes qui pourraient trouver l’accord de tous les concernés en tant qu’ils participent à une discussion pratique [principe d’universalité] (R) Dans le cas de normes valides, les conséquences et les effets secondaires qui d’une manière prévisible découlent d’une observation universelle de la norme dans l’intention de satisfaire les intérêts de tout un chacun doivent pouvoir être acceptés sans contrainte par tous [principe de rationalité] Chercher refs précises sur Greimas

Critique et limites Activité morale « idéale » – Recherche de la vérité universelle (sincérité et objectivité à travers l’intersubjectivité) Activité stratégique – Jeu des intérêts (rationalité instrumentale) incompatible avec l’activité morale « idéale » « Les acteurs, en se mettant d’accord sur quelque chose, émettent des exigences de validité ou plus précisément des exigences de vérité, de justesse ou de sincérité selon qu’ils se réfèrent à quelque chose qui se produit dans le monde objectif (en tant qu’ensemble des états-de-chose existants), dans le monde de la communauté sociale (en tant qu’ensemble des relations interpersonnelles légitimement établies au sein du groupe social) ou dans le monde subjectif personnel (en tant qu’ensemble des expériences vécues auxquelles chacun a le privilège d’accéder). Mais alors que dans l’activité stratégique l’un influe sur l’autre empiriquement (que ce soit en le menaçant d’une sanction ou en lui faisant miroiter des gratifications) afin d’obtenir la continuation escomptée de l’interaction, dans l’activité communicationnelle, chacun est motivé rationnellement par l’autre à agir conjointement et ce en vertu des effets d’engagements illocutoires inhérents au fait que l’on propose un acte de parole. » Chercher refs précises sur Greimas

Libéralisme : John Rawls Remplace la notion d’éthique par celle de justice ou d’équité dans une vision libérale revisitée de la société : Chaque personne a droit à un système pleinement adéquat de libertés de base égales pour tous, compatible avec un même système de liberté pour tous [principe d’universalité] Les inégalités sociales et économiques doivent satisfaire à deux conditions  [principe d’équité] : Elles doivent d’abord être attachées à des fonctions et à des positions ouvertes à tous, dans des conditions de juste égalité des chances. Elles doivent procurer le plus grand bénéfice aux membres les plus désavantagés de la société.  Théorie de la Justice, 1971 Chercher refs précises sur Greimas

Les courants pragmatistes Les communautariens : Michaël Walser, Alaisder McIntyre, Charles Taylor, Stanley Cavel La morale n’est pas universelle mais un standard au sein de nations ou de sociétés particulières même si ce standard peut s’étendre à d’autres nations par un processus de réitération (McIntyre) L’état de guerre ne justifie pas l’absence d’éthique, une guerre menée de manière juste ne doit pas attaquer directement et intentionnellement des non combattants (Walser) L’éthique passe par la reconnaissance intersubjective des identités (Taylor) La tâche de la rationalité est de découvrir les critères qui guident nos jugements (Cavel), elle établit la supériorité locale d’une solution sur une autre et défend sa validité d’après des critères d’amélioration progressive (Taylor) L’articulation n’est pas une simple exposition du soi de l’agent mais ce qui dans la position de l’agent se réclame du lien social (ce que l’agent reconnaît comme effort incontournable de « faire société » avec les autres) Il s’agit de rendre explicites les engagements mutuels des agents, de manière à les obliger à assumer leurs responsabilités Chercher refs précises sur Greimas

Application homme-robot La vérité des faits reste contextuelle et découle d’une délibération collective : il n’y a que des normes communautaires et non universelles La responsabilité des agents est basée sur leur engagement, non sur une quelconque rationalité Ce qui conduirait pour une relation homme/robot à : Délibérer avant la mission/session pour définir des normes ou des règles et engager tous les acteurs dans leurs responsabilités Fixer des normes ou des règles au robot et notamment lui demander de fournir des « faits » au retour de mission (sorte de boîte noire) Examiner ces faits au regard des règles établies à la fin de la mission, les justifier et les juger dans un souci d’amélioration progressive Chercher refs précises sur Greimas

Partie III : Modélisation de l’interaction humain-robot

Interaction H-R = Dialogue Est un « faire » conjoint Orienté vers un but C’est donc un dialogue Dialoguer ou interagir avec un robot = Même Que doit être l’altérité du robot ? (pour appliquer le même modèle qu’en dialogue humain) = le robot n’a pas les mêmes intérêts, en particulier : +avoir(soi) = 0 +avoir(soi-même) = 0

Modélisation Le même modèle s’applique en modifiant les gains pour le robot L’utilisation en sera « éthique » si : Un dialogue préalable établit les règles ou normes comportementales du robot entre agents concernés L’opérateur et/ou l’usager reste présent et engagé dans l’interaction Les règles sont réajustées dans un souci d’amélioration permanente

Dialogue D = (I, Bi, A, Gi, T, R) I = ensemble des interlocuteurs {i} ayant chacun son système de valeurs Bi = buts des interlocuteurs i A = ensemble des actes de dialogue {FA, FF, FS, FFS, FD, FP} Gi = ensemble des gains des interlocuteurs i avec les notations GE = gain espéré, GC = gain conjoint T = type de jeu (répété ou non, etc.) R = règles comportementales du robot

Algorithme Reiteration BeginDialogue Define Rules R (deliberation + comittment) EndDialogue BeginInteraction DJ : Initialization of the game D = (B(i), A, S, I, Gi, T, R) If T = repeated game then Initialize gains Gi with those of previous stage game Endif Opening of Dialogue by phatic acts: i is the first speaker Compute goal B(i), expected gain GEi which produces Speech Act Fip While  GE > 0 do For each j ≠ i  I do j analyses Fip according to T and R j computes his acquired gain GAj and the joint gain GC j evaluates his goal B(j) End For Each If  k  I : GEk > GAk + GC then i= k i produces the speech act Fip aiming to increase Gi + GC EndWhile If D = new game Then go to DJ EndInteraction MissionAnalysis Debriefing Reiteration

Exemple Discussion de la mission Interaction Règle = FA(tirer) si et ssi !x : cible(x) viseur(x) (= cible unique dans le champ de vision) Interaction (…) Opérateur = « qu’est-ce que tu détectes ? » Robot = « c’est un pick-up » Opérateur = « tire » Robot = « il y a aussi un bus, que faire ? » Opérateur = « OK, attends » Ou Opérateur = « tire » Robot = FA(tirer)  FS(je fais un rapport)  FA(rapport)

Conclusion Extension de la théorie des jeux au dialogue comme à l’interaction homme-robot Altérité : dissymétrique, doit être compensée par l’éthique (règles externes) Ethique : résulte alors d’une discussion préalable sur les missions et comportement du robot ainsi que sur la responsabilité de l’opérateur Contrairement au dialogue humain, un niveau d’éthique doit être introduit dans l’interaction homme-robot