Simulation interactive basée sur la physique

Présentation au sujet: "Simulation interactive basée sur la physique"— Transcription de la présentation:

1 Simulation interactive basée sur la physique
Modélisation de corps déformables et exemples en chirurgie Par C Chaillou, P Meseure, L Grisoni, J Lenoir

2 Présentation générale
Plan du cours Introduction et Vocabulaire Présentation générale Modélisation Simulation Un moteur complet : Spore Modèle déformable 1D Un exemple d ’habillage avec des surfaces implicites La simulation chirurgicale La formation des médecins Exemples de simulateurs

3 Introduction Forces Retour d’effort >100Hz Modèle mécanique Moteur de simulation Machine Capteurs Positions Positions Visualisation >30Hz Opérateur

4 Dynamique versus statique
Vocabulaire Dynamique versus statique Statique Résolution d’un système Ni régime transitoire, ni phénomène dynamique Fréquence du système quelconque Dynamique Intégration par rapport au temps Synchronicité : Calibrage des repères temporels machine et monde Mise en évidence des différents aspects Représentation mécanique crédible Calculer les évolutions en temps réel Fournir le nouvel état pour la visualisation et le retour d ’effort

5 Présentation Générale
La mécanique des corps rigides Les modèles mécaniques déformables Particules Masses-ressorts Eléments finis Les méthodes d’intégration La gestion des collisions Les habillages

6 Mécanique des corps rigides
Mécanique du point : loi de Newton On fait le bilan des forces et on en déduit l’accélération Intégration de l’équation Il faut tenir compte à la fois de la position et de l’orientation Position: Centre de masse : mécanique du point Orientation : équation de Newton

7 Les modèles à particules
Ensemble de points autonomes Un ensemble de forces d ’interaction comme les équations de Navier-Stokes Un générateur Un durée de vie Particulièrement adaptés pour les fluides

8 Modèle masses ressorts : graphe dont
Les masses-ressorts Modèle masses ressorts : graphe dont Les noeuds sont les masses Les arcs des liaisons visco-élastiques Bilan des forces appliquées en chaque point Double intégration pour obtenir La vitesse puis La position des noeuds

9 Les particules et masses-ressorts
Points positifs Facile à mettre en œuvre Permet de prendre en compte des non-linéarités Très utilisé pour les vêtements Mais peu réalistes Difficile de faire de la conservation de volume Risque de divergence des calculs Et surtout, pas d ’identification facile au réel

10 Les modèles éléments finis
Principe des travaux virtuels Equation sous forme d’une intégrale à résoudre Découpages du volume en éléments intégrables Etude du phénomène au niveau de chaque élément Regroupement du résultat sous forme d’un système Déplacement des autres points par interpolation

11 Les modèles éléments finis
Points positifs Modèle très connu en mécanique De bonnes méthodes de résolution Relativement indépendant du maillage Simple avec un modèle linéaire et des petits déplacements Identifiable Mais Des calculs très importants Difficile à mettre en œuvre

12 Approche lagrangienne
Principe : On suppose un jeu de déformations possibles (dilatation, torsion, courbure...) A l’aide la physique, on quantifie l’amplitude de ces déformations Approches basées sur l’analyse modale Algorithme de recherche de valeurs propres Mécanique de Lagrange Modélisation du système en termes de degrés de liberté Un jeu de déformations possible = 1 degré de liberté

13 Les méthodes d ’intégration
Pour toutes les modélisations, on peut exprimer le problème sous la forme d ’équations différentielles d ’ordre 2 De la forme MA=B A est un vecteur fonction des accélérations B est un vecteur fonction des caractéristiques et des entrées externes M une matrice

14 Les méthodes d ’intégration
Intégration explicite: Ex: Euler: v(t+dt)=v(t)+a(t)dt et x(t+dt)=x(t)+v(t)dt Schémas d’ordre plus élevé: point milieu (ordre 2) , Runge Kutta 4 Souvent peu stable, génère oscillations haute fréquence Intégration implicite Implicite: x(t+dt)=x(t)+f(t+dt)dt Généralement approximation linéaire de df/dx: x(t+dt)=x(t)+df/dx(t+dt)dxdt Nécessite inversion matricielle, mais le dt toléré est plus important

15 Gestion des collisions
C ’est un problème central en simulation On peut décomposer le problème en trois: La détection des collisions entre les primitives Presque toujours des polyèdres Les méthodes d ’accélération Le calcul des réponses

16 Détection des collisions
Les différentes possibilités : Détection spatiale Détection spatio-temporelle Statique Discrète Continue/ dynamique Intersection vide Distance inter-objets Intersection des surfaces Mesure des interpénétrations Intersection Dichotomie Anticipation Retour arrière Intersection 3D des volumes de trajectoire Intersection 4D Calculs analytiques Interpénétration Instant du contact

17 Détection des collisions
Intersection entre polyèdres convexes Non-intersection par plan séparateur Calcul de distance de séparation Calcul d'interpénétration Calcul de l ’intersection A B d A d B

18 Accélération des collisions
Trouver les objets en forte probabilité de collisions Détection des non-collisions sûres Organisation en pipeline : Détection de proximité Division spatiale Critères topologiques ou cinématiques Recherche de proximité Détection approximative Détection exacte Objets Couples d'objets Zone de Collisions (broad-phase) (narrow-phase)

19 Accélération des collisions
Détection approximative R1 O1 R2 O2 Sphères dist(O1,O2)²>(R1+R2)² Pmin2 Pmax2 Pmax1 Pmin1 AABB k-DOP A B a1A1 a2A2 b1B1 b2B2 T L OBB Choix parmi 15 directions différentes

20 Réponses aux collisions
Choc élastique: conservation de la quantité de mouvement, de l’énergie cinétique, principe d’action-réaction Force de réponse à la collision devient une force de pénalité, généralement calculée à partir de distance d’interpénétration Lors des pénétrations, création d ’un ressort virtuel qui tend a faire s ’éloigner les objets Le traitement des collisions entre des corps déformables n ’a pas encore de solutions générales

21 Présentation géométrique de la surface
Habillage les points du modèle mécanique comme squelette ou points de contrôle de surfaces. Cela réduit les calculs mécaniques Présentation géométrique de la surface Free Form Deformation Fonctions implicites = Iso-potentielles bâties autour d’un squelette

22 Le moteur de simulation SPORE
Les objectifs et principes Le découpage en trois aspects Le noyau logiciel

23 SPORE est décomposée en :
Les objectifs de Spore On veut : Différents modèles physiques compatibles avec le temps réel détecter les collisions et interpénétrations entre tous ces corps SPORE est décomposée en : Un noyau : résolution et collisions Une bibliothèque de corps autonomes Corps inertes, pas de calcul de comportement Corps actifs, position définie par l’utilisateur Corps passifs, Animés par les lois de la physique

24 Noyau Collisions Intégration
Les objectifs de Spore Noyau Collisions Intégration Corps Actifs Corps inertes Corps Passifs Modèles de corps Spore SporeGfx Application Dispositif Boucle de commande

25 Le découpage en trois couches
Couche géométrique Séparation des corps en 3 couches : Couche mécanique : aussi simple que possible Couche géométrique: visualisation de qualité Facettes NURBS Surfaces implicites Couche de collision : décomposition en sphères Positions Couche mécanique Positions Forces Couche collisions

26 Le découpage en trois couches
Couche géométrique Couche de collisions Couche mécanique Un corps rigide Les fluides Lennard-Jones Couche mécanique Couche géométrique Couche de collisions

27 Spore : le noyau L ’algorithme principal while (Simulation_en_cours) { Récupération de la position des objets actifs Détection de toutes les collisions Calcul de la réponse aux collisions Calcul des efforts à retourner à l’utilisateur Calcul des accélérations des objets passifs Résolution des équations Calcul du nouvel état des corps } Minimisation du temps entre acquisition des positions et retour d'effort

28 Corps dynamiques uniquement
Spore : le noyau Corps dynamiques uniquement Les corps statiques sont autonomes Compatible avec les équations de Newton et Lagrange : résolution d'ODE d'ordre 2 Exemple : une masse ponctuel

29 Spore : le noyau Exemple : orientation d'un solide Problème de Cauchy : SPORE gère un vecteur d'état global incluant tous les degrés de liberté

30 Les méthodes d ’intégration
Méthode d'Euler explicite Rapide mais divergence Méthode Runge-Kutta d'ordre 4 Assez bonne robustesse Nécessite 4 évaluations des forces Méthodes multi-pas (Adams) Faire comme RK4, mais en se basant sur les pas de temps précédents, Moins robuste que RK4 Méthode Euler implicite Résolution fiable, bonne détection des divergences Très lent !

31 Problème des Hiérarchies :
Spore : les collisions Modèle de collisions basés sur des sphères Détection des intersections de sphères Problème des Hiérarchies : Détection en ln(n) mais plusieurs descentes dans l'arbre si plusieurs corps sont simulés Mise à jour en n*ln(n) si déformation Modèle sans hiérarchie

32 Spore : accélération des collisions
Découpage de l'espace en grille régulière de voxels Chaque voxel contient Une liste de sphères immobiles (corps inertes) Etablie une fois pour toutes Une liste de sphères mobiles (corps passifs) Vidée à chaque pas de temps Parcours des voxels évité par système de datation Les nœuds de corps actifs n'y sont pas inclus

33 Spore : accélération des collisions
Parcours de chaque corps passif et actif Pour une sphère : Choix des voxels recouverts Test de l'intersection de la sphère avec les sphères déjà présentes dans les listes des voxels Ajout des couples en collisions dans une liste Ajout de la sphère (cas passif) dans les voxels Détection et remplissage sont simultanés

34 Spore : traitement des collisions
Évaluation des forces de répulsion pour chaque couple de sphères en collision Méthode à pénalité : Ressorts pour limiter l'intersection Amortisseurs dans le sens de la pénétration Forces supplémentaires Frottements ? Adhérence ?

35 Spore : le retour d ’effort
Calcul pour chaque objet actif : de la résultante : retour d'effort en translation du moment : retour d'effort en rotation Envoi des données au dispositif La commande haut-niveau assure : les corrections du dispositif la transparence et la passivité Position Forces Application SPORE Commande haut-niveau Dispositif et Commande bas-niveau Consigne de Forces 500Hz à 1Khz 25 à 50 Hz

36 Spore : le retour d ’effort
Prendre un modèle simplifié pour les forces Découpler le retour d'effort de la simulation Utilisation du couplage virtuel Méthode du God-Object Position dispositif Position Dispositif et Commande bas-niveau Application SPORE Commande haut-niveau Position outils virtuel Consigne de Forces

37 Spore est opérationnel C’est un logiciel de recherche Vers :SOFA
Spore : bilan Spore est opérationnel C’est un logiciel de recherche Vers :SOFA Plate-forme de simulation Harmonisation et comparaison des recherches Nouveaux concepts logiciels 3D temps réel Intégration et validation de modèles dans un même logiciel Faciliter le transfert technologique Moyens Fédération de groupes de recherche en simulation médicale Création d’une structure à l ’échelle mondiale

38 Modèle déformable 1D Introduction Le modèle Les contraintes Travail de thèse de Julien Lenoir

39 Modèle déformable 1D : introduction
Modèle 1D au comportement réaliste Utilisation d ’un modèle continu Calculable en temps réel avec interaction Simulation de fils Contraintes mécaniques entre le fil et les matériaux Comportement plausible du fil (élongation, courbure, torsion, déformations à « mémoire ») Serrage du nœud nécessite une forte résolution du modèle géométrique/mécanique

40 Modèle déformable 1D : définition
Géométrie Utilisation d ’une modélisation par Splines interpolation/approximation de n points de contrôle la masse est fourni par les fonctions bi

41 Modèle déformable 1D : définition
Propriétés importantes des splines: Vecteur de valeurs paramétriques Continuité: C0, C1(Catmull-Rom), C2( Bspline cubique),… Pour de nombreux modèles: localité d ’ordre m: Chaque point de contrôle influe sur au plus m segments

42 Modèle déformable 1D : définition
Modèle physique avec le formalisme de Lagrange: Ensemble de N DDL virtuel Utilisation des travaux virtuels et du principe de minimisation Les DDL sont les points de contrôle Equation du mouvement

43 Modèle déformable 1D : définition
L ’équation peut se mettre sous la forme MA=B M est une matrice de masse généralisée Accélération des DDL B prend en compte les énergies de déformations, la gravité, les forces externes, … Prise en compte de élongations et flexions

44 Modèle déformable 1D Résultats

45 Modèle déformable 1D : les contraintes
On étend les équations précédentes Pour chaque contrainte, un multiplieur de Lagrange λ Cet outil permet D’imposer des points fixes De fixer un tangente De contraindre à passer par des points donnés D’assembler des objets

46 Modèle déformable 1D : les contraintes
Résultats

47 Habillage par des surfaces implicites
Le problème de l ’habillage Habillage : Procédé consistant à fournir un modèle géométrique à un modèle mécanique les surfaces implicites Facettisation en temps réel Travail de thèse de Frédéric Triquet

48 Habillage par des surfaces implicites
Apports des surfaces implicites à squelette : surfaces complexes à partir peu de points formes organiques habillage de modèles non structurés Cas général F : 3  , S = { (x,y,z)  3, F(x,y,z) = k } Cas des surfaces à squelette fonction de potentiel / iso-surface un ensemble de primitives (points, etc)  Fi F(x,y,z) = Σ Fi(distance)  blending

49 Habillage par des surfaces implicites
L’affichage de surfaces implicites Lancer de rayons intersection rayon/surface : F(Xo+t.Xv) = k bonne qualité mais temps de calculs longs Rendu voxels découpage en cubes projection parallèle Facettisation échantillonnage  triangles accélérations matérielles

50 Habillage par des surfaces implicites
L ’algorithme du marching cube standard Diviser l’espace en cubes Évaluer le potentiel de chaque nœud Générer des facettes au sein de chaque cube 256 configurations (mais 14 «de base»)

51 Habillage par des surfaces implicites
intérieur extérieur Facettisation éventuelle Facettisation éventuelle Rotations & inversion de polarités Cube de base Topologies différentes  Trous Séparation Fusion

52 Habillage par des surfaces implicites
Séparation

53 Habillage par des surfaces implicites
Cube déjà empilé (horodaté) pile Un ensemble de mécanisme d ’accélération horodatage des résultats pour éviter les redondances Simplification de la fonction évaluée le suivi de surfaces

54 Habillage par des surfaces implicites
Résultats

55 La simulation médicale
Introduction Les entreprises L ’expérience Simedge Un simulateur de ponction écho-guidé

56 Simulation médicale : Introduction
Formation ‘classique’ Sur patients Sur animaux Sur cadavres Interventions de plus en plus complexes Nouvelles méthodes Formation sur simulateurs Patients virtuels

57 Simulation médicale : Introduction
Bénéfices des simulateurs Augmenter le temps de formation pratique Maîtriser les cas rares Evaluer les capacités Domaines voisins Assistance en cours d'intervention Préparation du geste opératoire

58 Simulation médicale : Introduction
Patients virtuels Modèles géométriques Réactifs aux gestes chirurgicaux Interface médecin-patient virtuel Réalisme visuel Retour d'effort Pédagogie et bases de cas

59 Simulation médicale : Introduction
Technologies matérielles Capture de gestes Dispositifs d’affichage Interfaces à retour d’efforts Logiciels Modélisation d’objets déformables Synthèse d’images Reconstruction 3D

60 Simulation médicale : Industrie
Encore très petit secteur industriel Les leaders : Immersion Medical Simbionix Medsim Surgical Science Simsurgery De nombreux projets en recherche

61 Simulation médicale : Industrie
Immersion Medical USA Principal acteur industriel Filiale du groupe Immersion 5 produits Laparoscopie Simulateur d ’intraveineuse Endosccopie Endoscopie vasculaire Hystéroscopie

62 Simulation médicale : Industrie
Immersion Medical Laparoscopie

63 Simulation médicale : Industrie
Immersion Medical Cathsim : simulation de piqûre intraveineuse

64 Simulation médicale : Industrie
Simbionix USA-Israël Concurrent direct du précédent Gamme large de produits Endoscopie Laparoscopie Angiographie

65 Simulation médicale : Industrie
Simbionix Simulateurs d ’endoscopie

66 Simulation médicale : Industrie
Simbionix Simulateur de laparoscopie Interface à retour d’effort Xitact

67 Simulation médicale : Industrie
Medsim Israël

68 Simulation médicale : Industrie
Surgical Science : Suède Laparoscopie, logiciel LapSim Accord commercial avec immersion

69 Simulation médicale : Industrie
SimSurgery : Norvège simulateurs pour laparoscopie et robot

70 Entreprise créée en 1999 et disparue fin 2004
L ’expérience Simedge Entreprise créée en 1999 et disparue fin 2004 A partir de résultats de recherche © SimEdge

71 L ’expérience Simedge Le simulateur © SimEdge

72 Techniquement, raisonnable Forte demande sur le produit
L ’expérience Simedge Techniquement, raisonnable Forte demande sur le produit Invitation dans les conférences Environ 25 ventes en 4 ans dont 50 % en France Les utilisateurs ne sont pas les payeurs Insuffisant pour faire vivre une entreprise

73 Un simulateur de ponction écho-guidé
L’intervention médicale : Amniocentèse Les caractéristiques du simulateur

74 Un simulateur de ponction écho-guidé
Extraire du liquide amniotique Les différentes phases Repérage Atteindre la citerne Ponctionner

75 Un simulateur de ponction écho-guidé
Echographie : Réflexion Réfraction Diffusion Absorption Gain réglable

76 Un simulateur de ponction écho-guidé
impulsion incidente impulsion réfractée impulsion réfléchie Le principe de l ’échographie diffusion

77 Un simulateur de ponction écho-guidé
synthèse d’image échographique : Simulant la physique Permettant de visualiser des objets dynamiques Les principes Lancer de rayons pour les réflexions et réfractions Utilisation de placage de textures pour la diffusion Calcul du gain comme dans la réalité

78 Un simulateur de ponction écho-guidé
Une méthode de synthèse d’images échographiques