Xen et l' Art de la Virtualization Ian Pratt University of Cambridge and Founder of XenSource Inc. Traduction d'Antoine Nivard Responsable de XENfr.org.

Slides:



Advertisements
Présentations similaires
Windows Server Virtualization
Advertisements

15/02/2008 v Socle de virtualisation des serveurs Linux version du 15/02/2008.
Journées informatique IN2P3/Dapnia, Lyon Septembre 2006 Consolidation des serveurs par virtualisation Retour d’expérience sur l’utilisation de VMware.
Evolution des services Retour sur les incidents récents: Disfonctionnements cluster SUN (répertoires disques) : – Incidents et actions réalisées Disfonctionnements.
Outil Système Complet d'Assistance Réseau CRDP de l'académie de Lyon Documentation librement inspirée de la présentation.
Composants Matériels de l'Ordinateur Plan du cours : Ordinateurs et applications Types d'ordinateurs Représentation binaires des données Composants et.
Projet tuteuré 2009 Les clients légers Alexandre Cédric Joël Benjamin.
Virtualisation principes et applications Xavier Belanger Décembre 2008
Travailler à l'ensimag avec son matériel personnel (dans les locaux Ensimag ou depuis l'extérieur) 1.Introduction 2.La clé USB Ensilinux 3.Rappels : Accès.
Les Logiciels Libres en pratique Samedi 25 mars 2006 Toulibre
LES FONCTIONS D'UN SYSTEME D'EXPLOITATION ● Le système d'exploitation contrôle entièrement les ressources matérielles locales. ● Il est responsable de.
Xen et l' Art de la Virtualization Computer Laboratory Antoine Nivard Responsable technique Adéquat région Ouest Responsable de Site francophone.
SRT3 VPN. ● Réseau privé virtuel (VPN ou Virtual Private Network) ● Rattacher deux réseaux locaux à travers un réseau non- sécurisé ● Procure même sécurité.
Xen et l' Art de la Virtualization Computer Laboratory Antoine Nivard Responsable technique Adéquat région Ouest Responsable de Site francophone.
Le système Raid 5 Table des matières Qu'est ce que le RAID ? Les objectifs Le raid 5 Les avantages et les inconvénients Les composants d’un Raid.
Cetiad - Sicep Mars Généralités ➢ Organisation de l'assistance dans l'académie de Dijon ➢ Architecture réseau des établissements ➢ Présentation.
Xen et l' Art de la Virtualization Antoine Nivard Responsable technique Adéquat région Ouest Responsable de Site francophone de XEN Computer.
Xen and the Art of Virtualization Ian Pratt University of Cambridge and Founder of XenSource Inc. Traduction d'Antoine Nivard Responsable de XENfr.org.
P.1 Mémoire de fin d’études Responsable en Ingénierie Réseaux Guillaume Jeanney Mise en place d’une solution de supervision LOGO ENTREPRISE.
1 Case Study 1: UNIX and LINUX Chapter History of unix 10.2 Overview of unix 10.3 Processes in unix 10.4 Memory management in unix 10.5 Input/output.
Mode noyau Appels Systèmes Interruptions Grégory Seront Institut Paul Lambin
Android PACT 2016 Encadrement Informatique.
Haute École Roi Baudouin CATÉGORIE ÉCONOMIQUE INFORMATIQUE DE GESTION
Mise en place d’un système de partage de fichiers
Outil Système Complet d'Assistance Réseau
Virtualisation Anton Soubré Romain Meallet Dimitry Duong Jéremy Calado
MISE A JOUR Parc informatique maison de la ligue
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
V12N avec Xen et IBM BladeCenter
CCNP Réseau de Campus Concepts et Modèles cch_ccnp.
Utilisation de PostgreSQL
Fleet Management.
Journée Analyse D0, 19 janvier 2004
Installer linux sur VMware
Clients riches RIA (Rich Internet Application) / RDA
Chapitre 12 Surveillance des ressources et des performances
fonctionnalités iiS iis
RIP - Configuration des Extensions.
Fonctionnement de la grille
2018/8/9 CLAP Cluster de virtualisation et de stockage distribué du LAPP Mardi 26 avril 2016 Entrez votre nom.
CeMEB La plateforme MBB
Nouveaux Systèmes de stockage de données (SAN/NAS)
Programmation système
Internet – s 3 choses à toujours garder en tête concernant internet:
CeMEB La plateforme MBB
Module 2 : Implémentation d'une structure de forêt et de domaine Active Directory.
Archivage, sauvegarde, PRA
Programmation Android Introduction à Android
Migration de l’architecture classique vers le cloud privé
</Présentation de solutions documentaires>
Le contenu est basé aux transparents du 7 ème édition de «Software Engineering» de Ian Sommerville«Software Engineering» de Ian Sommerville B.Shishedjiev.
Application par la composition de micro-services
Nouveaux Systèmes de stockage de données (SAN/NAS)
Missions Locales Serveur Mutualisé
BIOS- OS Environnement logiciel PC / Traitement numérique / Contrôle.
Michaël HERVIEUX Thomas MEURISSE
Système d’exploitation: Principe IFT6800 – E 2008 Pierre Poulin.
Bases – Banques Entrepôts de données
LIVE MIGRATION Windows Server 2012 & Hyper-V3
Notions d'architecture client-serveur. Présentation de l'architecture d'un système client/serveur Des machines clientes contactent un serveur qui leur.
LUSTRE Integration to SRM
Cluster CAU Sous Windows serveur 2012 R2.
Test de performances. Test de performances:  Un test de performance est un test dont l'objectif est de déterminer la performance d'un système informatique.
REPLICA Hyper-V Comme solution à un PRA
Windows 2012 R2 pour les administrateurs Linux
1 DEPLOIEMENT D’UN SYSTEME DE REPARTITION DE CHARCHE (LOAD BALANCING) Abasse KPEGOUNI, Ingénieur Systèmes et Réseaux.
Les VLANs Virtual Local Area Network Guillaume Le Grand IR3 – Ingénieurs 2000.
M’SILA University Information Communication Sciences and technology
Transcription de la présentation:

Xen et l' Art de la Virtualization Ian Pratt University of Cambridge and Founder of XenSource Inc. Traduction d'Antoine Nivard Responsable de XENfr.org Computer Laboratory

Sommaire  Aperçu sur la Virtualisation  Xen Aujourd'hui : 3.0  Architecture  Performance  Migration de VM en « live »  Xen et l'avenir

Aperçu sur la Virtualisation  Un seul OS: Ensim, Vservers, CKRM  Groupes de processus utilisateurs dans des conteneurs de ressources  Difficile d'avoir une bonne isolation!  Virtualisation complète: VMware, VirtualPC  Plusieurs OS sans modifications  Difficile de bien virtualiser le x86  Para-virtualisation: UML, Xen  Plusieurs OS sur une architecture spéciale  Arch Xen/x86 est très proche x86

Jargon de la virtualisation  Machine physique:  Machine hôte  Dom0  Hyperviseur  Machine virtuelle  Machine guest  VM  DomU

Virtualisation dans l'Entreprise X Consolider les serveurs sous-utilisés et réduire les coût matériel (achats, maintenance, recyclage) et les coûts d'exploitation (administration, pilotage) Eviter les temps d'interruption lié aux migrations Avoir un load-balancing dynamique pour garantir les SLA sur les services/applications X X Renforcer la politique de sécurité

Xen aujourd'hui : 3.0  Isolation sécurisé entre les VMs  Contrôle des ressources et du QoS  Seulement le noyau de la VM a besoin d'être porté  Toutes les applications et librairies fonctionnent sans modification  Linux 2.4/2.6: Debian, FedoraCore, Mandriva, SUSE...  FreeBSD, OpenSolaris, NetBSD, Plan9  Performance des binaires très proche du natif  Supporte le même matériel que Linux x86  Relocalisation en direct de VM entre noeud XEN

Para-Virtualisation de Xen  Arch xen/x86 : comme x86, mais remplace les instructions privilégiés par des hypercalls XEN  Evite la réécriture de binaires  Pour Linux 2.6, seulement les fichiers “arch-dep” sont modifiés  Modifications relativement simples et isolées dans le code  Modifier l'OS pour un environnement virtualisé  Wall-clock time vs. virtual processor time Xen fournit les deux types de timer  Accès aux réels ressources Optimisation du comportement de l'OS  Virtualisation de la MMU: direct vs. shadow mode

Xen 2.0 Architecture Event Channel Virtual MMUVirtual CPU Control IF Hardware (SMP, MMU, physical memory, Ethernet, SCSI/IDE) Native Device Driver GuestOS (XenLinux) Device Manager & Control s/w VM0 Native Device Driver GuestOS (XenLinux) Unmodified User Software VM1 Front-End Device Drivers GuestOS (XenLinux) Unmodified User Software VM2 Front-End Device Drivers GuestOS (XenBSD) Unmodified User Software VM3 Safe HW IF Xen Virtual Machine Monitor Back-End

Xen 3.0 Architecture Event Channel Virtual MMUVirtual CPU Control IF Hardware (SMP, MMU, physical memory, Ethernet, SCSI/IDE) Native Devic e Driver GuestOS (XenLinux) Device Manager & Control s/w VM0 Native Devic e Driver GuestOS (XenLinux) Unmodified User Software VM1 Front-End Device Drivers GuestOS (XenLinux) Unmodified User Software VM2 Front-End Device Drivers Unmodified GuestOS (WinXP)) Unmodified User Software VM3 Safe HW IF Xen Virtual Machine Monitor Back-End VT-x x86_32 x86_64 IA64 AGP ACPI PCI SMP

SMP Guest Kernels  Xen étend son support à de multiple VCPUs  Virtuel IPI’s sont envoyés via « Xen event channels »  Actuellement 32 VCPUs sont supportés  Simple hotplug/unplug de VCPUs  A partir de la VM ou par les outils de contrôle  Optimisation avec un VCPU par des patch spinlocks sur les binaires.

SMP Guest Kernels  Bonnes perfomances SMP tant que la sécurité (contrôle) est assurée  Requis extra TLB syncronisation IPIs  L'approche para-virtualisation a de nombreux avantages  Evites plusieurs IPI virtuel  Permet d'éviter « bad preemption »  plug/unplug à chaud et automatiquement de VCPUs  SMP scheduling est un problème complexe  « Strict gang scheduling leads to wasted cycles »

ring 3 x86_32  Xen réserve le haut de l'espace VA  Protection de segmentation sur Xen à partir du kernel  La vitesse du “call” ne change pas  Xen 3 supporte un PAE de plus de >4GB mem Kernel Use r 4G B 3G B 0G B Xen S S U ring 1 ring 0

x86_64 Plus grand espace VA, facilite la vie mais:  Pas de support sur la limite de segment  Besoin d'utiliser la protection de page-level pour protéger hypervisor Kernel Use r Xen U S U Reserved

Architecture des E/S  Xen délégue aux VM des Espace-E/S et celles-ci gérent les accès aux E/S dédiés  Espace de configuration virtuel pour le PCI  Interruptions Virtuelles  Besoin du IOMMU pour la protection en full DMA  Périphériques sont virtualisés et exportés aux VMs via Device Channels  Asynchronous sûr et transport de la mémoire partagé  « Backend » drivers exporter en « frontend » drivers  Net: utilisation normale du bridging, routing, iptables  Block: exporte n'importe quel blk dev e.g. sda4,loop0,vg3  Infiniband / Smart NICs en direct pour les E/S d'une VM

Virtualisation des E/S  IO virtualization in s/w incurs overhead  Latency vs. overhead tradeoff More of an issue for network than storage  Can burn 10-30% more CPU  Solution is well understood  Direct h/w access from VMs Multiplexing and protection implemented in h/w  Smart NICs / HCAs Infiniband, Level-5, Aaorhi etc Will become commodity before too long

MMU Micro-Benchmarks LXVU Page fault (µs) LXVU Process fork (µs) Résultats de lmbench sur Linux (L), Xen (X), VMWare Workstation (V) et UML (U)

Performances Système LXVU SPEC INT2000 (score) LXVU Linux build time (s) LXVU OSDB-OLTP (tup/s) LXVU SPEC WEB99 (score) Benchmark standard sur Linux (L), Xen (X), VMware Workstation (V) et UML (U)

Résultats réseaux: TCP LXVU Tx, MTU 1500 (Mbps) LXVU Rx, MTU 1500 (Mbps) LXVU Tx, MTU 500 (Mbps) LXVU Rx, MTU 500 (Mbps) Bande passante en TCP sur Linux (L), Xen (X), VMWare Workstation (V) et UML (U)

Scalability LX 2 LX 4 LX 8 LX SPEC WEB99 en simultané sur des services sous Linux (L) et Xen(X)

Migration dynamique des VM  A quoi cela peut servir?  Gestion d'un pool de VMs fonctionnant en cluster  Maintenance et mise à jour facile à mettre en oeuvre  Load balancing des VMs à travers le cluster  Un challenge  Les VMs ont plusieurs états possibles  Certaines VMs ont besoin de hautes disponibilités Ex. serveurs web, bases de données, serveurs de jeux  On peut limiter les ressources lors de la migration

VM Relocation : Motivation La relocation de VM permet:  Haute Disponibilité  Maintenance serveur  Load balancing  Gain de preformances Xen

Pré-requis  Stockage en réseau  NAS: NFS, CIFS  SAN: Fibre Channel  iSCSI, network block dev  drdb network RAID  Bonne connectivité  Minimum réseau L2  Conseillé L3 re-routeing  => GIGABIT bien sûr! Xen Storag e

Etape 0: pré-migration Etape 1: réservation Etape 2: itérative pré-copy Etape 3: pause-et-copie Etape 4: ré-activation Stratégie de relocation VM active sur l'hôte A, la destination de l'hôte cible sélectionné. Les “block devices” sont mirrorés. Initialisation du conteneur sur la cible Copie des pages mémoires en plusieurs fois Pause de VM sur l'hôte A Redirection du traffic réseaux. Synchronisation sur l'état mémoire Activation sur l'hôte B et arrêt de la VM sur l'hôte A

Extensions  Cluster et load balancing  Phase d'analyse pour la pré-migration  Optimisation bruts selon des mesures  Fermeture d'un noeud pour maintenance  Migration rapide pour maintenance  Système de stockage supportant le cluster de VM  Décentralisation, réplication de donnés, copy-on-write  Relocation à travers un WAN  Tunnels sur IPSec et « CoW mirroring » en réseaux

Vitesse de migration/perte

Migration d'un serveur Quake 3

Etat actuel de la 3.0 Driver Domains 64-on-64 VT ? 4TB16GB >4GB memory ~tools Save/Restore/Migrate new! SMP Guests Domain U Domain 0 PowerIA64x86_64x86_32px86_32

3.1 feuille de route  Amélioration du support virtualisation complète  Pacifica / VT-x abstraction  Plus d'outils pour le contrôle du projet  Tuning et optimisation des performances  Eviter les problèmes liés à la configuration manuel  Support de Infiniband / Smart NIC  NUMA, Virtual framebuffer, etc

Feuille de route “recherche”  Algorithmes de load balancing de cluster  Modèle pour des migrations automatisées (CPU/RAM/IO)  Cluster distribué  Tolérance de panne logiciel  Exploitation déterministe « replay »  Système de debugging  Alléger le “checkpointing” et le “replay”  VM “forking »  Alléger le service de replication et d'isolation  Securisation de la virtualisation  Multi-level secure Xen

VT-x / (Pacifica)  Permet à des OS Guest de fonctionner sans modification de para-virtualisation  E.g. legacy Linux, Windows XP/2003  CPU fournit certaines instructions privilegiées  Le système “Shadow page” est utilisé pour fournir la virtualisation de la MMU  Xen fournit une plateforme simple d'émulation  BIOS, Ethernet (ne2k), IDE emulation  Install des drivers para-virtualisés après le boot pour de haute-performance en E/S

Conclusions  Xen est une solution compléte et robuste de VMM GPL  Exeptionnel performance et “scalability”  Excellent contrôle de ressource et protection  La relocation/migration en directe permet en temps- réel de réduire les temps d'indisponabilité et de maintenance   