Panorama des technologies d'optimisation WAN SMB v2, BranchCache, DFS-R

Présentation au sujet: "Panorama des technologies d'optimisation WAN SMB v2, BranchCache, DFS-R"— Transcription de la présentation:

1

2 Panorama des technologies d'optimisation WAN SMB v2, BranchCache, DFS-R
Jérôme Mombelli / Christophe Dubos Architectes Infrastructure Microsoft

3 Objectifs de la session
Présenter les technologies disponibles avec Windows Server 2008 R2 et 7 Identifier comment elle permettent d’adresser les problématiques des environnements réseau de type WAN Définir les cas d’usage des différentes technologies Permettre de choisir la combinaison le plus adaptée à chaque scenario

4 Agenda Introduction Zoom sur les principales technologies d’optimisation Services IP Services de partage des fichiers SMB Services de cache BranchCache Services de réplication DFS-R Questions & réponses

5 Performance en environnement distribué Quel impact ?
4/2/ :30 PM Performance en environnement distribué Quel impact ? L’accès aux données et services au travers du WAN peut être impacté de manière significative en fonction Du type de connectivité (latence et bande passante) Du nombre d’utilisateurs simultanés © 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

6 Facteurs influençant les performances
Application source Application destinatrice Pile réseau source Pile réseau destinataire Réseau Prendre en compte au niveau des protocoles les évolutions des conditions réseau Réduire le nombre d’allers-retours engendrés par un protocole Réduire l’utilisation du WAN

7 Agenda Introduction Zoom sur les principales technologies d’optimisation Services IP Services de partage des fichiers SMB Services de cache BranchCache Services de réplication DFS-R Questions & réponses

8 Windows Server 2008/R2 Principales évolutions de l’architecture réseau
4/2/ :30 PM Receive Window Autotuning Windows Filtering Platform Détection automatique de l’environnement réseau et adaptation des paramètres pour optimiser performance Augmentation de la taille des fenêtres TCP send et receive Capacités de filtrage aux différentes couches de la pile protocolaire TCP/IP Intégration et support des fonctionnalités du pare-feu de prochaine génération Receive Side Scaling Policy-based Quality of Service Les précédentes versions de Windows limitaient la traitement des protocoles en réception à un seul CPU RSS corrige cette limitation et permet de répartir la charge d’une carte réseau sur N CPU Prioritisation et administration des caractéristiques (send rate) des flux réseau sortants Utilisation conjointe de DSCP marking et throttling pour gérer le trafic de manière efficace

9 TCP Receive Window Autotuning
Fonctionnement Windows XP/Windows Server 2003 Taille des fenêtres TCP par défaut 64KB Pas d’auto optimisation Limite de manière drastique selon les Round Trip Times Vitesse d’émission limitée par la TCP Receive Window Taille des fenêtres réduite de 50% si perte de paquets Augmente légèrement avec chaque ACK supplémentaire Optimisation manuelle de la taille des fenêtres Comment atteindre des résultats optimum ? Fonctionnement Windows 7/Windows Server 2008 R2 Auto optimisation de la taille des fenêtres activée par défaut Taille maximale de Receive Window déterminée en fonction De la capacité de traitement des applications De la capacité du réseau et des conditions

10 Agenda Introduction Zoom sur les principales technologies d’optimisation Services IP Services de partage des fichiers SMB Services de cache BranchCache Services de réplication DFS-R Questions & réponses

11 Server Message Block 2.0 Evolutions fonctionnelles
4/2/2017 Server Message Block 2.0 Evolutions fonctionnelles Regroupement de multiples commandes au sein d’une seule trame (multiplexage) Réduction des temps d’attente et de l’overhead lié à l’établissement de la connexion Augmentation notable de la taille des buffers La pile réseau n’est plus le goulot d’étranglement L’application ou le disque sont le goulot d’étranglement Parallélisation des écritures, parallélisation des réponses Handles persistants permettant de gérer des indisponibilités intermittentes du réseau Support des liens symboliques (Symlink) © 2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

12 SMB V2 et V 2.1 Amélioration des performances
Opérations liées aux fichiers plus rapides et plus efficaces SMB2 regroupe de multiples commandes au sein d’une seule trame ce qui permet une réduction des temps d’attente et de la bande passante consommée lors des opérations liées aux fichiers et aux répertoires (énumération) Amélioration du traitement de la sécurité des paquets Pré Windows 7 Pré Windows 7 ? O Windows 7 ? O Windows 7 Depuis cache client SMB2 Open Dir Query Dir Query Volume Close Dir ORéponse Open Dir Query Dir Query Volume Close Dir ORéponse OResponse Write Request ? Write Response O

13 SMB V2 et V 2.1 Deux scenarios clé
Les environnements distribués avec des temps de latence importants, typiquement supérieurs à 100 ms Le Datacenter aux bandes passantes importantes: 10Gb

14 Performances Robocopy Multi-thread
Avec 128 threads, Robocopy est de 3 à 22 fois plus rapide que Explorer sur des liens WAN avec une latence importante Syntax: ROBOCOPY /MIR /MT:128 /LOG:NUL

15 Fichiers hors-ligne Bascule vers un mode "Principalement Offline"
Situation antérieure Windows 7 Synchronisation bi-directionnelle en tache de fond à intervalles fixes Synchronisation transparente aux utilisateurs Intervalle de synchronisation définissable Bénéfices L’utilisation de la redirection des dossiers est grandement optimisée avec Windows Vista avec des modes online & offline Pas complètement transparent aux utilisateurs situés derrière des liens réseau avec une latence importante et un faible débit Expérience utilisateur plus intégrée Cohérence des données accrue Utilisation optimisée de l’utilisation du réseau pour les sites et utilisateurs distants

16 Cache transparent Situation antérieure Windows 7 Bénéfices
Les fichiers accédés sur des partages SMB sont automatiquement mis en cache Les lectures suivantes du fichier sont réalisés depuis le cache local La stratégie de mise en cache est configurable via stratégies de groupe Transparent à l’utilisateur Les temps de réponse pour des lectures de fichiers venant d’être ouverts sont trop importants L’ouverture d’un fichier venant d’être lu prend autant de temps que la première ouverture La consommation de bande passante est identique quelque soit la fréquence d’ouverture Bénéfices Optimisation de la consommation de bande passante des liens WAN Temps de réponse très proche de ceux de lectures locales pour les utilisateurs des liens WAN

17 Agenda Introduction Zoom sur les principales technologies d’optimisation Services IP Services de partage des fichiers SMB Services de cache BranchCache Services de réplication DFS-R Questions & réponses

18 Performances des réseaux WAN BranchCache
Situation antérieure Windows Server 2008 R2 / 7 L’accès aux applications et données au travers de liens WAN est lent Les temps de réponse trop importants impact la productivité L’amélioration des performances est onéreuse et difficile à implémenter Mise en cache des données accédées via HTTP(S) & SMB Temps de réponse améliorés pour les fichiers stockés dans le cache Libération de bande passante pour d’autres usages

19 BranchCache™ Objectifs Mode de fonctionnement
Optimisation des réseaux d’agence Réduction de l’utilisation de la bande passante Amélioration de l’expérience utilisateur Mode de fonctionnement Mécanisme de cache de contenu dans l’agence 2 types d’implémentations Mode hébergé Mode distribué Type de contenu mis en cache : HTTP(S) et SMB BranchCache est transparent pour les applications côté client et côte serveur utilisant ses protocoles

20 BranchCache Mise en œuvre
Utilisation des stratégies de groupe pour activer BranchCache sur les clients Windows 7 Site distant Site distant Installation du composant optionnel “Branch Cache” sur un serveur de fichiers ou web Windows Server 2008 R2 Hosted Cache Site distant IIS Serveur de fichiers De manière optionnelle, installation d’un cache hébergé dans les sites distants. Configuration du serveur à utiliser par les clients via GPO Administration via stratégies de groupe Site central

21 BranchCache Fonctionnement du mode Cache Distribué
Site central Data Data ID ID Get Get Get Get Site distant Data

22 BranchCache Fonctionnement du mode Cache Hébergé
Site central Get Data Data ID ID Get Get ID Get Search Search ID Data Advertize ID Request Disponibilité permanente du cache dans le site distant Nouveau rôle de Windows Server 2008 R2 Utilisable en environnement avec de multiples sous-réseaux IP ID Data Put Site distant

23 Demo BranchCache en action date

24 Cache hébergé vs Cache distribué
Entreprise Cache distribué Cache hébergé Recommandé pour les agences de petite taille Sans serveur d’infrastructure Facilité de déploiement Activation sur les clients grâce aux stratégies de groupe La disponibilité en cache diminue si les clients se déconnectent trop souvent Utilisation privilégiée de postes fixes Recommandé les grandes agences de grande taille Avec serveur d’infrastructure Cache hébergé de manière unique: utilisation du serveur existant dans l’agence Disponibilité élevée du cache Mise en cache à l'échelle de l’agence

25 Déploiement - Cache distribué
Identifier l’agence Un site Active Directory Une plage d’adresse IP Un ensemble d’ordinateurs clients spécifiques Choisir le mode de déploiement Stratégie de groupe netsh Déployer vers les clients! Stratégie de groupe: utilisation des fichiers natifs ADMX netsh: exécution de netsh branchcache set service mode=distributed sur tous les clients concernés

26 Déploiement - Cache hébergé
Configurer le cache hébergé Installer la fonctionnalité BranchCache sur un serveur R2 Installer un certificat (authentification serveur ) pour SSL Executer netsh branchcache set service mode =hostedserver sur le serveur de cache hébergé Identifier l’agence Choisir le mode de déploiement Déployer vers les clients Stratégie de groupe: utilisation des fichiers natifs ADMX netsh: exécution de netsh branchcache set service hostedclient location=<> sur tous les clients

27 BranchCache Une architecture extensible
Applications tierces Office SCCM WSUS Explorer SharePoint BITS WMP IE SMB (CSC/SRV) HTTP (WEBIO/HTTP.SYS) BranchCache

28 BranchCache Architecture détaillée avec HTTP
IE IIS Open URL “Branch Cache Capable” Data Get data Data wininet http.sys Hashlist Hashlist Data Data Hashlist BranchCache BranchCache Data Hashlist H1 H2 H3 H4 H5

29 BranchCache Architecture détaillée avec SMB
Hashlist Data SMB Hash Generation Service Generate or update hash Application CSC Service HashGen Utility ReadFile Prefetch File Request Hashes Generate or update hash Data Save hashes Data Hashlist Request Hashes CSC Driver SMB Client Driver SMB Server Driver Hashlist Access hashes Data CSC Cache

30 Sécurité: vue d’ensemble
Le serveur récupère les métadonnées pour la donnée requêtée et envoie uniquement les métadonnées sur le même canal (http, https, smb…) Le serveur authentifie le client et effectue des vérifications d'autorisation Les clients ou le serveur servant le contenu reçoivent le broadcast et déchiffrent le segment Le client demandeur télécharge la donnée d’un client ou d’un serveur de cache hébergé et la décrypte avec la clé de chiffrement Le client utilise la structure d'information du contenu pour calculer: -l’Id du segment (public) -la clé de chiffrement (privé) Les données dans le cache sont stockées en clair, mais peuvent être chiffrées avec BitLocker / EFS Le client broadcast sur le réseau local l’ID du segment pour trouver un poste avec les données

31 BranchCache Administration/Configuration
Les stratégies de groupe et NetSH permettent D’activer / désactiver le mode de cache coopératif D’activer / désactiver le mode de cache hébergé Définir la taille du cache Définir l’emplacement du cache hébergé Vider le contenu du cache Créer et répliquer une clé partagée utilisable avec un cluster de serveurs …

32 Agenda Introduction Zoom sur les principales technologies d’optimisation Services IP Services de partage des fichiers SMB Services de cache BranchCache Services de réplication DFS-R Questions & réponses

33 Distributed File System (DFS) Fonctionnalités
M: \\Société \Marketing M: \Prod N: M: \\Serveur1\Marketing O: \Ventes DFS-N permet de créer un espace de noms virtuel dé-corrélé de l’espace physique de stockage et fournit un service de localisation N: \\Serveur2\Prod DFS-R permet d’assurer une disponibilité optimale des données via ses fonctions de réplication O: \\Serveur3\Ventes

34 Distributed File System (DFS) Scenario d’utilisation - Publication
2 Utilisateur en agence “Toulouse” Serveur en agence “Toulouse” Espace de noms DFS 1 Réplication DFS Serveur du Datacenter “Paris” 1 3 X 2 Utilisateur en agence “Lille” Serveur en agence “Lille”

35 Distributed File System (DFS) Scenario d’utilisation - Consolidation
Application de sauvegarde Espace de noms DFS Serveur de collecte dans le Datacenter 3 Réplication DFS 1 X Application de sauvegarde 2 4 Serveur en agence “Lille” Utilisateur en agence “Lille”

36 Distributed File System (DFS) Scenario d’utilisation - Mobilité
2 Serveur en agence “Toulouse” 1 Espace de noms DFS Réplication DFS Serveur du Datacenter “Paris” 3 4 Serveur en agence “Lille”

37 Distributed File System (DFS-R) Principes de fonctionnement
Distributed File System Replication (DFS-R) est un moteur de réplication multi-maitres Disponible depuis Windows Server 2003 R2 Permet de maintenir synchronisés des dossiers stockés sur plusieurs serveurs Réplication de groupes de dossiers définis par leur chemin d’accès

38 Distributed File System (DFS) Interface d’administration

39 Distributed File System (DFS-R) Configuration
Connexions inbound/outbound F: Connexions inbound/outbound E: E: Groupe de réplication DFSR DB F: E:\DATA1 F: E:\DATA2 Dossiers répliqués DFSR DB F:\DATA1 F:\DATA2

40 Distributed File System (DFS-R) Fonctionnement détaillé
Utilisation du journal NTFS pour détecter les modifications intervenues au niveau du système de fichiers Utilisation de Remote Differential Compression (RDC) de façon à ne répliquer que les modifications au sein des fichiers Utilisation d’une base de données Jet pour stocker les metadonnées et l’état de réplication Utilisation des RPC pour les communications entre serveurs

41 Distributed File System (DFS-R) Remote Differential Compression
Nouvel algorithme de réplication permettant de ne transférer que des deltas Fichiers modifiés Détection des insertions, suppressions, et réarrangements de données au sein des fichiers Nouveaux fichiers Détection et réutilisation des morceaux d’objets sur la machine destinatrice Similarité / Cross file replication Algorithme générique Applicable à tout type de fichier et tout type de protocole de communication

42 Remote Differential Compression Fonctionnement
Fichier d’origine Fichier modifié The quick fox jumped over the lazy brown dog. the fox jumping over him. Fichier mis à jour Request file The quick fox jumped over the lazy brown dog. The dog was so lazy that he didn’t notice the fox jumping over him. copie The quick fox jumped over the lazy brown dog. The brown dog was the fox jumping over him. so lazy that he didn’t notice The quick fox jumped over the lazy brown dog. The brown dog was the fox jumping over him. so lazy that he didn’t notice SHA11 SHA12 SHA13 SHA14 SHA21 SHA22 SHA23 SHA24 SHA25 SHA21 … SHA25 [récursif] Nouveaux morceaux 3, 4 “The brown dog was” “so lazy that he …” Les fichiers d’origine et mis à jour sont divisés en morceaux de longueur variable en fonction du contenu Une fonction de prise d’empreinte est invoquée sur une vue glissante du contenu du fichier Les modifications apportées au sein d’un morceau du fichier peuvent générer une division de celui-ci, mais n’ont pas d’impact sur les limites des autres morceaux du fichier Un condensé (SHA) est calculé pour chaque morceau, côté serveur et client Le nombre de dits utilisé dans le condensé peut varier en fonction de la taille du fichier et d’une signature globale du fichier Le serveur transmet la liste des condensés au client. Pour les fichiers volumineux l’algorithme est utilisé de manière récursive Le client assemble le fichier modifié en Copiant des morceaux existants du fichier d’origine dans le cas ou le condensé SHA du fichier d’origine correspond à celui du fichier mis à jour côté serveur. Demandant les morceaux manquants/modifiés au serveur L’ensemble des communications est compressé via zlib

43 Distributed File System (DFS-R) Evolutions apportées par Windows Server 2008
Amélioration des performances de synchronisation initiale Utilisation optimisée de la bande passante RPC asynchrones, I/O asynchrones et non bufferisées Augmentation du nombre d’opérations de downloads concurrentes à 16 Protection contre le retour en ligne d’un serveur déconnecté sur une longue durée et désynchronisé Reporting sur la propagation des modifications Réplication immédiate Utilisation pour la réplication de SYSVOL Réplication unidirectionnelle avec les RODC

44 Distributed File System (DFS-R) Evolutions apportées par Windows Server 2008 R2
Réplication DFS-R en lecture seule Scenario type: publication de données qui ne doivent pas pouvoir être modifiées Toute modification locale est bloquée par le service DFS-R Tout mise à jour est refusée dans un groupe de réplication si le partenaire est en lecture seule Membres en lecture seule: Windows Server 2008 R2 Autres membres: Windows Server 2003 R2 ou plus Mise en œuvre en cluster WSFC Réplication depuis un cluster de fichiers Pour les nœuds du cluster: Windows Server 2008 R2

45 Distributed File System (DFS-N) Evolutions apportées par Windows Server 2008
Suppression de la limite à 5000 liens par Namespace de type domaine Nécessite un domaine Active Directory au niveau fonctionnel 2008 Intégration avec Access Based Enumeration (ABE) Limitée au mode ligne de commande via DFSUTIL Mise en œuvre en cluster WSFC Intégration avec l’interface d’administration

46 Distributed File System (DFS-N) Evolutions apportées par Windows Server 2008 R2
Intégration de la gestion de ABE à l’interface graphique Activation sélective des Root Referrals Permet une maintenance simplifiée Amélioration des performances pour les Namespaces de grande taille Significatif pour des environnements DFS de plusieurs dizaines de milliers d’objets Ajout de compteurs de performance

47 Distributed File System (DFS-N) Evolutions apportées par Windows Server 2008 R2
Amélioration très significative des performances avec Windows Server 2008 vs Windows Server 2003 (Namespace de type Standalone) Amélioration supplémentaire des performances pour des Namespace de très grande taille avec Windows Server 2008 R2 Plus de liens dans les deux modes R2 testé jusqu’à 1,3 million de liens par namespace

48 DFS-R vs BranchCache Cas d’usage
Entreprise Réplication planifiée et différentielle Accès à la demande et différentiel DFS-R BranchCache Réplication de l’intégralité des données sur le site distant Présence des données indépendante des accès Disponibilité permanente des données (pas d’obsolescence) Présence d’un serveur sur le site distant obligatoire Petit délais de réplication des données récemment modifiées Tolérance aux indisponibilités du WAN Disponibilité permanente des fichiers dans les sites avec un serveur Réplication en tache de fond sans pénalité lors de l’accès aux données Données accessibles via SMB 1, SMB 2.x, NFS Postes clients potentiels Windows, Mac, Linux Serveurs potentiels 2003 R2, 2008, 2008 R2 Cache des données accédées récemment disponibles sur le site distant Cache flexible, donnée accédée = donnée cachée Gestion de l’obsolescence des données accédées (LRU) Cache Distribué sans serveur pour petits sites Clients récupèrent toujours la version la plus récente Pas de tolérance aux indisponibilités du WAN Serveur central utilisé pour l’authentification & l’obtention de hashes Mécanisme intervenant lors de l’accès aux données Fonctionnement avec protocoles SMB 2.1 et HTTP Postes clients obligatoirement Windows 7 Serveurs obligatoirement Windows Server 2008 R2

49 Agenda Introduction Zoom sur les principales technologies d’optimisation Services IP Services de partage des fichiers SMB Services de cache BranchCache Services de réplication DFS-R Questions & réponses

50 MSDN et TechNet : l’essentiel des ressources techniques à portée de clic
Portail administration et infrastructure pour informaticiens Portail de ressources technique pour développeurs

51