Perception et interface haptique pour les nanosciences gfcdj Perception et interface haptique pour les nanosciences Guillaume MILLET Directeur de thèse : Stéphane RÉGNIER Co-encadrant : Sinan HALIYO

Manipulation aux échelles micro & nano gfcdj Manipulation aux échelles micro & nano Étude et Caractérisation de nouveaux matériaux, de structures mécaniques, d'objets biologiques Conception de nanosystèmes (NEMS) assemblés Chaîne de micro/nano-téléopération Nanofils Nano-hélice Cellules Test de nanofil Facteurs d'échelle vitesse force Environnement Robot esclave Couplage Robot maître Utilisateur Visualisation Contexte et problématique

Manipulation aux échelles micro & nano gfcdj Manipulation aux échelles micro & nano Visualisation : micro (1 – 100 µm) nano (<1 µm) en temps différé Physique : forces de surface >> gravité Manipulation Manipulation par AFM Microscope à force atomique (AFM) Microscope électronique Microscope optique µ-pinces sans mesure de force Poutre AFM avec mesure de force pas de maîtrise des efforts nécessite retour visuel mesure des efforts outil le plus répandu Contexte et problématique

Plates-formes de télé-nanomanipulation existantes gfcdj Plates-formes de télé-nanomanipulation existantes VIDÉO Univ. Caroline du Nord, USA, 97 Univ. Carnegie Mellon, USA, 05 ISIR, France, 05 Peu de télémanipulations réelles avec haptique Pas d'études utilisateurs complètes Difficultés dues à la réduction d'échelle Stratégies de manipulation complexes Physique non-intuitive Ressenti haptique Apport de l'haptique ? Contexte et problématique

Bilan et objectifs Difficultés pour percevoir Objectifs gfcdj Bilan et objectifs Difficultés pour percevoir les stratégies de manipulation spécifiques les phénomènes physiques Objectifs Proposer et évaluer des assistances haptiques Évaluer l'apport de l'haptique pour comprendre l'AFM Concevoir une interface haptique dédiée Contexte et problématique

Plan de la présentation gfcdj Plan de la présentation Assistances haptiques pour la télé-micromanipulation Assistances haptiques Simulateur interactif Évaluations pilotes Retour haptique et analogie pour comprendre l’AFM Méthode Résultats Discussion Interface haptique pour toucher le nanomonde Problématique Principe de fonctionnement Résultats expérimentaux Conclusions et perspectives

Microscopie à force atomique gfcdj Microscopie à force atomique Outil d'imagerie et de manipulation Courbe approche-retrait Force mesurée Approche Attraction (Van der Waals) Retrait Hauteur de la base de la poutre Saut de contact Pull-off ou décollement Assistances haptiques pour la télé-micromanipulation

Assistances haptiques pour l'AFM gfcdj Assistances haptiques pour l'AFM Stratégies de micromanipulation développées à l'ISIR Compromis sur le rendu des petites et grandes amplitudes Charge cognitive pour contrôler l'effort d'interaction Existant VIDÉO Dépose par adhésion Dépose par roulement A. Ferreira, LVR, Bourges Champs de répulsion, planification Sitti, Carnegie Mellon, Pittsburgh Rigidité de la poutre masquée Assistances haptiques pour la télé-micromanipulation

Modification de la force rendue gfcdj Modification de la force rendue Réduction de la plage dynamique rendue Modifie le rapport amplitudes Inversion de l'effort Retrait de la poutre facilité petites grandes Assistances haptiques pour la télé-micromanipulation

Modification de la force rendue au contact gfcdj Modification de la force rendue au contact Position de repos virtuelle Équilibre au contact avec une force constante sur la poutre Assistances haptiques pour la télé-micromanipulation

Assistance évaluée Position de repos virtuelle & inversion gfcdj Assistance évaluée Position de repos virtuelle & inversion Valide les conditions en effort pour déposer par adhésion ou par roulement Assistances haptiques pour la télé-micromanipulation

Simulateur interactif pour tests utilisateurs gfcdj Simulateur interactif pour tests utilisateurs Simuler les phénomènes physiques et les tâches Modélisation quasi-statique état d'équilibre calculé à chaque instant phase contact ou non-contact Assistances haptiques pour la télé-micromanipulation

Évaluation pilote sur une dépose par adhésion gfcdj Évaluation pilote sur une dépose par adhésion Tâche Déplacer 4 billes d'un substrat S1 à un substrat S2 plus adhérant, en formant une pyramide Mesures Temps, précision Impressions subjectives Méthode 7 étudiants novices 3 conditions expérimentales Sans haptique Avec haptique, sans assistance Avec haptique, avec assistance 3 essais x 3 conditions x 3 séries = 27 essais S1 S2 Prise Substrat peu adhérant Dépose Substrat très adhérant Assistances haptiques pour la télé-micromanipulation

Évaluation sur une dépose par adhésion Résultats gfcdj Évaluation sur une dépose par adhésion Résultats Performances en temps et en précision Pas d'effet significatif des conditions expérimentales Effet d'apprentissage Diminution significative du temps d'exécution de 32% Impressions subjectives Meilleure rapidité avec le retour haptique Meilleure précision avec le retour haptique et l'assistance Bilan Effet d’apprentissage Impressions subjectives positives Assistances haptiques pour la télé-micromanipulation

Étude pilote sur une dépose par roulement gfcdj Étude pilote sur une dépose par roulement Tâche Déplacer une bille prise par adhésion et la déposer par roulement Mesures Force appliquée maximale Cassure poutre Facilité et assurance durant la dépose Méthode 5 chercheurs connaissant l'AFM 3 conditions expérimentales (idem évaluation précédente) 4 billes x 3 conditions = 12 essais Dépose par roulement Assistances haptiques pour la télé-micromanipulation

Étude pilote sur une dépose par roulement Résultats gfcdj Étude pilote sur une dépose par roulement Résultats Force maximale appliquée sur la poutre Plus faible avec l'assistance haptique Pas de cassure avec le retour haptique Impressions subjectives Tâche facilitée avec l'assistance haptique, en particulier avec la position de repos virtuelle Bilan Assistance haptique jugée utile Assistances haptiques pour la télé-micromanipulation

Bilan sur les assistances haptiques gfcdj Bilan sur les assistances haptiques Création d'un simulateur RV Modèles physiques et expertise ISIR Fidélité des comportements Assistances haptiques Inversion du rendu de l'effort de retrait Validation de l'effort minimum pour les prises et déposes Deux évaluations pilotes Premiers résultats encourageants À confirmer avec plus de sujets ou en manipulation réelle Assistances haptiques pour la télé-micromanipulation

Plan de la présentation gfcdj Plan de la présentation Assistances haptiques pour la télé-micromanipulation Assistances haptiques Simulateur interactif Évaluations pilotes Retour haptique et analogie pour comprendre l’AFM Méthode Résultats Discussion Interface haptique pour toucher le nanomonde Problématique Principe de fonctionnement Résultats expérimentaux Conclusions et perspectives

Expérience pédagogique sur la compréhension gfcdj Expérience pédagogique sur la compréhension Comportement d’une poutre AFM Cycle approche-retrait Deux facteurs évalués Apport du retour haptique ? Apport de l'analogie aimant-ressort ? Représentations graphiques testées Poutre AFM Analogie aimant-ressort et indices graphiques Retour haptique et analogie pour comprendre l'AFM

Expérience utilisateur sur la compréhension Méthode gfcdj Expérience utilisateur sur la compréhension Méthode 4 conditions, 45 étudiants Explications Dessin Identification de courbe Identification de courbe Questionnaire Retour haptique et analogie pour comprendre l'AFM

Nombre d’identifications pour la simu. 1 gfcdj Expérience utilisateur sur la compréhension Résultats – Identifications, temps, dessins Identification Analogie aide au début Haptique aide sur l’influence de la raideur Temps Plus rapide (30%) avec l'analogie, au début Plus lent (50%) avec l'haptique, au début Dessins Corrélation avec l’identification Pas d'influence significative Nombre d’identifications pour la simu. 1 Haptique + Poutre Haptique + Analogie Sans haptique + Poutre Sans haptique + Analogie Retour haptique et analogie pour comprendre l'AFM

Nombre d’identifications pour la simu. 2 gfcdj Expérience utilisateur sur la compréhension Résultats – Identifications, temps, dessins Identification Analogie aide au début Haptique aide sur l’influence de la raideur Temps Plus rapide (30%) avec l'analogie, au début Plus lent (50%) avec l'haptique, au début Dessins Corrélation avec l’identification Pas d'influence significative Nombre d’identifications pour la simu. 2 Haptique + Poutre Haptique + Analogie Sans haptique + Poutre Sans haptique + Analogie Retour haptique et analogie pour comprendre l'AFM

gfcdj Expérience utilisateur sur la compréhension Résultats – Identifications, temps, dessins Identification Analogie aide au début Haptique aide sur l’influence de la raideur Temps Plus rapide (30%) avec l'analogie, au début Plus lent (50%) avec l'haptique, au début Dessins Corrélation avec l’identification Pas d'influence significative Nombre d’identifications pour la simu. 4 Haptique + Poutre Haptique + Analogie Sans haptique + Poutre Sans haptique + Analogie Retour haptique et analogie pour comprendre l'AFM

gfcdj Expérience utilisateur sur la compréhension Résultats – Analyse de composantes principales Étude des corrélations entre les données Effets des conditions Haptique augmente le temps de traitement Haptique aide à comparer la raideur et le pull-off Stratégies complémentaires Raisonnement par analogie Notions d’élasticité linéaire et de dynamique rapide Retour haptique et analogie pour comprendre l'AFM

Expérience utilisateur sur la compréhension Résultats – Préférences gfcdj Expérience utilisateur sur la compréhension Résultats – Préférences Conditions Haptique et Analogie très appréciées Influence plus grande de l’haptique Haptique + Poutre Haptique + Analogie Sans haptique + Poutre Sans haptique + Analogie Compréhension Retour haptique et analogie pour comprendre l'AFM

Bilan et perspectives Retour haptique Analogie aimant-ressort gfcdj Bilan et perspectives Retour haptique Attire l’attention sur les forces impliquées Facilite la perception l’influence de la raideur Allonge le temps de traitement Analogie aimant-ressort Aide au début de la compréhension Adaptée à un cours d’introduction sur l’AFM Perspectives Outil pédagogique Effet de l’haptique sur la mémorisation à long terme Retour haptique et analogie pour comprendre l'AFM

Plan de la présentation gfcdj Plan de la présentation Assistances haptiques pour la télé-micromanipulation Assistances haptiques Simulateur interactif Évaluations pilotes Retour haptique et analogie pour comprendre l’AFM Méthode Résultats Discussion Interface haptique pour toucher le nanomonde Problématique Principe de fonctionnement Résultats expérimentaux Conclusions et perspectives

Interface haptique dédiée gfcdj Interface haptique dédiée Dédiée au rendu de l’échelle nano Grande plage dynamique (104 : 1 mN à 10 N) Grandes accélérations Problématique Actionneur électromagnétique : fort couple → grande inertie Couplage de deux actionneurs 1 petit actionneur pour les composantes hautes-fréquences 1 gros actionneur pour l’effort continu Couplage visqueux Peu d’énergie emmagasinée Commande simple et réactive : commande en vitesse Interface haptique pour toucher le nanomonde

Principe de fonctionnement gfcdj Principe de fonctionnement Impédance mécanique apparente Commande Couplage visqueux par courants de Foucault Couple maximal Gros moteur Petit moteur Coupleur visqueux Aimants Fer doux Anneau B induit J V anneau aimants Csortie = Ccoupleur + Cpetit Couple linéaire / vitesse Interface haptique pour toucher le nanomonde

Premier prototype Identification gfcdj Premier prototype Coupleur visqueux à courants de Foucault Identification Plage dynamique 0,2 – 45 mN.m Gros moteur Poignée Inertie apparente avec l’asservissement en effort Petit moteur Inducteur Induit en aluminium Interface haptique pour toucher le nanomonde

Optimisation des performances Analyse théorique gfcdj Optimisation des performances Analyse théorique Deux critères d’optimisation Minimiser la constante de temps Jgros/b Minimiser l’inertie de la sortie Jpetit Analyse théorique Nombreuses variables Hypothèses simplificatrices Quelques indices Rapport /ρal à maximiser → anneau en aluminium non allié Maximiser le champ magnétique → aimants NdFeB Analyse numérique multiphysique nécessaire Interface haptique pour toucher le nanomonde

Optimisation des performances Analyse numérique multiphysique gfcdj Optimisation des performances Analyse numérique multiphysique Paramètres optimisés Nombre d’aimants optimal Largeur de l’anneau > hauteur aimant Entrefer entre aimants et anneau à minimiser Simulation d’une demi-boucle magnétique Densité des courants induits dans l’induit Interface haptique pour toucher le nanomonde

Performances obtenues gfcdj Performances obtenues Identification 2nd prototype Écorché du coupleur 1er proto 2è proto J1/b 68 30 ms Inertie J2 150 64 10-7 kg.m2 Plage dyn. 0,2 – 45 0,1 – 200 mN.m Interface haptique pour toucher le nanomonde

Étude du cycle limite avec un ressort virtuel gfcdj Étude du cycle limite avec un ressort virtuel Analyse d’un système haptique oscillant Viscosité b, frottement sec c, masse m Ressort virtuel de raideur k Retard pur T supposé << 1/ω Condition nécessaire et suffisante de stabilité Linéarisation autour de φ=π/2 Approche classique pour étudier la stabilité d’une interface haptique est la simulation d’un ressort virtuel Met en évidence l’influence du retard dans la boucle de commande sur la stabilité du système Exemple, système subit une perturbation, il va osciller, soit de manière stable, en convergeant vers une position de repos si les pertes dues au frottement sont supérieures à l’énergie apportée par le retard, sinon il oscille de manière instable en divergeant Interface haptique pour toucher le nanomonde

Étude du cycle limite avec un ressort virtuel Résultats expérimentaux gfcdj Étude du cycle limite avec un ressort virtuel Résultats expérimentaux Un seul moteur Fréquence limite bien estimée Vitesse maximale sous-estimée Prototype Influence du correcteur Asservissement limité par une résonance du gros moteur Inertie plus faible mesure théorique P=9 P=6 P=3 Interface haptique pour toucher le nanomonde

Comparaison avec les capacités humaines gfcdj Comparaison avec les capacités humaines Spécifications pour une poignée de Ø70 mm Inertie apparente similaire, sous certaines conditions Asservissement suffisamment rapide Commande stable Frottements résiduels Utiliser des technologies sans contact Spécif. Prototype Inertie 61 64 10-7 kg.m2 Frottement 0,04 0,2 mN.m Couple maxi 200 Interface haptique pour toucher le nanomonde

Bilan et perspectives Nouvel actionneur à 2 étages gfcdj Bilan et perspectives Nouvel actionneur à 2 étages Large plage dynamique & faible inertie Prototype fonctionnel Analyse de la stabilité par l’étude du cycle limite Nouvelle condition de stabilité Mise en évidence de l’influence du correcteur Perspectives Commande plus avancée Expériences en télé-nanomanipulation Nombreuses applications potentielles Interface haptique pour toucher le nanomonde

Conclusion Perception utilisateur de la télé-micromanipulation gfcdj Conclusion Perception utilisateur de la télé-micromanipulation Assistances haptiques modifiant le rendu des forces Analogie pour les phénomènes nanophysiques Evaluations utilisateurs Interface haptique haute fidélité Couplage visqueux Analyse de la stabilité au cycle limite Prototype avec de grandes capacités de perception

Perspectives Manipulation réelle et évaluation in situ gfcdj Perspectives Manipulation réelle et évaluation in situ Assistances haptiques pour d’autres stratégies Définition d’un outil pédagogique Application du prototype pour la perception du nanomonde

Merci de votre attention gfcdj Merci de votre attention