Exchange 2010 SP1 Protection native

Présentation au sujet: "Exchange 2010 SP1 Protection native"— Transcription de la présentation:

1

2 Exchange 2010 SP1 Protection native
08/02/2011 Teruin Laurent [Mvp] Consultant Communication unifiées

3 Sommaire Problématiques Concept de protection Native Cas concret

4 Protection Native Problématiques Demande de volumétries importantes
Augmentation moyenne de la taille des messages Average Message Size (KB) Augmentation des échanges de messagerie Demande plus forte de rétention de l’information Aspects Légaux/ Restauration Multiplication des bases de données (Dag) Haute disponibilité systématique En parallèle Diminution des IO requis pour Exchange 2010 SP1 Augmentation des capacités disques (Sata/ Jbod)

5 Protection Native Principes de bases
La protection native repose sur la protection des données de messagerie sans l’utilisation des solutions de sauvegarde traditionnelles (VSS,Backup) Ce que l’on est en droit d’attendre Avantages Financiers Cout du stockage en baisse (Sata, Jbod) Charges d’administration Pas ou peu de gestion de quota Boites aux lettres < 10 Go et Archives (online) 10 a 30 Go Suppression des problématiques des Pst. Réponse à la demande utilisateurs Stockage « illimité »… Réponse aux exigences légales Diminution des appels aux supports

6 Protection Native Absence de sauvegarde : Réaliste ?
Oui !. Techniquement -> Protection native Exchange 2010 Attention cependant à L’externalisation des données dans un environnement non connecté L’évolution des mentalités et réflexes d’administration Bonne connaissance des techniques de protection natives Argumentaires Impacts / risques couverts E t maintenant il va falloir démontrer que cela n’est pas forcement nécessaire Ca fait quand même 10 Ans que l’on conseille de sauvegarder impérativement les données de messagerie !

7 Diminution des IOs disques
-90 %

8 Scénarios de recupérations Environnement Exchange 2010
Risque Exchange 2010 Logiciel / Matériel / Panne Datacenter Résilience de boites aux lettres SAUVEGARDE BASE ACTIVES Exchange 2010 Vss peuvent uniquement sauvegarder les bases actives ou non répliquées Suppression accidentelle ou Intentionnelle d’éléments Single Item Recovery Corruption Physique Single Page Restore Corruption logique Single Item Recovery Calendar Repair Déplacement de boites aux lettres New-MailboxRepairRequest Et / ou PIT Backup SAUVEGARDE BASES PASSIVES DPM ou solution tierces VSS plug-in that ships with Exchange 2010 can be used to back up volumes containing active mailbox database copies or standalone (non-replicated) mailbox databases only. It can't be used to back up volumes containing passive mailbox database copies. Erreur administration ou de traitements Administrateurs Malveillants RBAC or iPIT Backup Pré-requis Legaux ou réglementaires Exchange 2010 features, Third Party Solution or iPIT Backup Rétention de données a long terme Personal Archive

9 Résilience de boites aux lettres
Software / Hardware / Datacenter Failures Objectifs Minimise les temps d’arrêt et la perte de données après une panne d’un simple environnement Exchange Fonctionnalités Redondance des données (Max 15 copies passives) géographiquement dispersées Niveau de basculement : Base de données (Exchange 2010) Services (Exchange 2007) Réplication continue (Log Shipping) + Block Mode (Sp1)

10 Aperçu de la résilience de base de données
Site AD: Paris DB1 DB3 DB5 Client Access Server Hub Transport Les clients se connectent directement sur les serveurs CAS Client Serveur de Bal 6 Site AD: Marseille Client Access Server Hub Transport Database Availability Group Facilités d’étendre a travers plusieurs sites Basculement géré par Exchange Serveur de Bal 1 Serveur de Bal 2 Serveur de Bal 3 Serveur de Bal 4 Serveur de Bal 5 DB1 DB1 DB4 DB2 DB5 DB3 Basculement au niveau de la base de données DB2 Log DB5 DB3 DB1 Log DB4 DB1 DB1 Log DB3 DB4 DB2 DB5

11 Réplication continue Le journal est construit et inspecté
Replication Log Buffer ESE Log Buffer Envoi moi le dernier fichier de log … j’ai le journal 2 Log incomplet détecté et converti en log complet Le journal est construit et inspecté La copie de base de données est synchro Exx.log Log File 6 Log File 6 Log File 7 Log File 3 Log File 3 Log File 4 Log File 4 Log File 5 Log File 5 Log File 1 Log File 2 Log File 1 Log File 2 Continuous Replication – File Mode Replication continue– Mode Block

12 Restauration de page unique (Single page restore)
Physical Corruption Définition d’une corruption physique. Corruption de la structure sous-jacente ESE. Pourquoi avoir implémenté la restauration de page ? L’utilisation de stockage Jbod et la suppression de la protection RAID nécessite que l’application fournissent un mécanisme d’auto-réparation dans le cas ou des mauvais block sont détectés sur l’espace de stockage. Ce qui cause des corruptions physiques aux sein des bases de données Exchange. Uniquement utilisé pour réparer les copies de bases de données. Les bases de données différées (Lagged databases) n’incluent pas ces fonctionnalités Pour les bases différées – Utilisez le raid.

13 Restauration de page unique (Copie Active)
4/2/ :58 AM Restauration de page unique (Copie Active) Groupe de disponibilité de base de données Corruption de page détectée sur la copie Active (Ev 1018) Serveur de boites aux lettre N1 Serveur de boites aux lettre N2 Serveur de boites aux lettre N3 La BD place un marqueur dans le journal pour avertir la copie passive de renvoyer la page a jours DB1-Active DB1-CopyA DB1-CopyB La copie passive reçois le journal et le rejoue jusqu'au marqueur, retrouve la bonne page, appelle le service Replay service et envoie la page Log Log Log Page1 Page1 Page1 Page2 Page2 Page2 La base active reçois la bonne page, écris la page dans le journal. La page est patché Page3 Page3 Page3 Database Database Database les autre pages de réparation des autres copies sont ignorées © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

14 Restauration de page unique (Copie passive)
4/2/ :58 AM Restauration de page unique (Copie passive) Corruption de page détectée sur la copie Passive (Ev 1018) Groupe de Disponibilité de base de données(DAG) Serveur de boites aux lettres N1 Serveur de boites aux lettres N2 Serveur de boites aux lettres N3 La base de données passive stoppe la rééxécution des journaux (La copie des journaux continue) La base de données passive retrouve la page défaillante depuis l'envoi de la base active DB1-Active DB1-CopyA DB1-CopyB Log Log Log La copie passive attend jusqu'a ce que le fichier de journal qui satisfait au prérequis is copié, inspecté et patche la page Page1 Page1 Page1 Page2 Page2 Page2 Page3 Page3 Page3 Database Database Database La copie passive reprend l'exécution des journaux © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

15 Résilience de boites aux lettres
Avantages Augmentation de la disponibilité, remise en service rapide avec minimisation des pertes de données Activation de bases de données en 30 Secondes Inspection des journaux et correction de page Nouveauté : SP1 Réplication continue en mode Block Permet un déploiement de boites aux lettres a volumétrie importante à cout réduit (stockage a cout réduit) Processus de basculement identique de basculement selon le type de panne ( Disque/ serveur / réseau)

16 Benne de transport 1.0 Problématiques
Accidental/Malicious Item Deletion Que ce passe t’il si la durée de vie des éléments supprimés dépasse la durée de rétention ? Vous devez restaurez ces derniers depuis une sauvegarde antérieure à la période de purge Pas de fonctionnalité limitant l’action des utilisateurs sur la benne de transport La benne de transport 1.0 est une vue par dossier Pas de recherche possible Pas d’indexation possible N’est pas déplacer avec la boite aux lettres

17 Benne de Transport 2.0 Implémentée comme une hiérarchie de dossier
Non_imp_subtree de la boite aux lettres Suit la boite aux lettres en cas de déplacement Permet la recherche Possède des quota configurables afin de gérer les problèmes d’attaque de type Dos Utilise deux mécanismes pour retenir les données Préservation à moyen terme (Single Item Recovery) Préservation à long terme (rétention légale) La benne de données version 2.0 (Dumpster) est constituée de facon garder l’information (messages) en cas de suppression accidentelle ou volontaire. Cette benne de données est cette fois ci organisée en tant que hierarchie de dossiers non visibles par l’utilisateur (Non_Imp_Subtree). De cette facon les données supprimées peuvent être recherchée et facilement restaurées. On gardera a l’esprit que cette benne de données vas permettre soit de conserver des messages soit sur du court terme, soit sur du long terme. Dans Le second cas on parlera de rétention légale.

18 Restauration d’élément unique Single Item Recovery
But Garder tous les éléments supprimés et modifiés pour une durée spécifique Fonctionnalités Activable par boites aux lettres Désactivé par défaut Set-Mailbox UserA –SingleItemRecoveryEnabled $true La durée de rétention est configurée par boites aux lettres ou par base de données Set-Mailbox UserA -RetainDeletedItemsFor 90 -UseDatabaseQuotaDefaults $false Set-MailboxDatabase DB1 -DeletedItemRetention 30 Quota par défaut des éléments récupérables 20 GB Quota d’alerte – les élements commence a être supprimés (FIFO) 30 GB Quota – Le dossiers éléments restaurable est plein

19 Restauration d’élements unique
(1) Message délivré Mailbox 1-2 yrs of Size 2-10GB Online and Offline Inbox (2) Message déplacer dans les dossier elements supprimés … (5) Message modifié Deleted Items (3) Message supprimés Recoverable Items Deletions (4) Message purgé par l’utilisateur Versions Purges (6) Messages purgés après 14 jours Messages purged by 14 day (or custom DIRW) policy

20 Rétention légale Objectifs Fonctionnalités
Retenir tout les élements supprimé et modifiés pour une durée fixe ou pour des contraintes légales Fonctionnalités Activation par boites aux lettres Désactivée par défaut Set-Mailbox UserA -LitigationHoldEnabled $true Un utilisateur 2010 peut être prevenu par message que sa boite aux lettres fait l’objet d’une rétention legale. Set-Mailbox UserA -RetentionURL <legal URL> Set-Mailbox UserA -RetentionComment <legal note> Recoverable items folder quota defaults 20 GB Warning Quota – application event is logged 30 GB Quota – recoverable items folder full Rétention légale <> Archivage Legal

21 (4) Le message est purgé par l’utilisateur
Retention Légale (1) Message Délivré Boite aux lettres 1-2 yrs of Size 2-10GB Online and Offline Inbox … (2) Message déplacer dans le dossier élements supprimés (5) Le message est édité Deleted Items (3) Message supprimé Recoverable Items Deletions Versions (4) Le message est purgé par l’utilisateur Purges (6) Les messages sont déplacé dans le dossier de Purge mais ne sont pas supprimés par le système

22 Principaux avantage de la restauration d’élément
Principaux avantages Facilité de restauration pour les administrateurs via ECP Nécessite une licence d’accès Entreprise (eCal) Utilisation possible des commandes Powershell pour la restauration Ne nécessite pas de licence d’accès Entreprise (eCal) Pas de nécessité de faire de sauvegarde spécifique pour pouvoir restaurer un message. Brick Level Solution économique

23 Corruption logique Il existe deux types de corruption logique
Logical Corruptions Il existe deux types de corruption logique Corruption de base logique Les checksum de page sont Ok, mais les données de page sont corrompues. (données invalides) Store Logical Corruption – Des modifications dans les données de page ont été faites qui ne correspondent pas a ce qu’attend l’application Causes principales: Produits tiers, Ancienne solution de mobilité spécifiquement sur des données de calendrier Processus de recupération en cas de corruption logiques La corruption logiques peut existé thérorique dans deux cas de figures. Le premier en cas de corruption logique d’une base de données et dans ce cas le problème va se situer au niveau de la page Le second sénario se situe au niveau d’une corruption logique du stockage qui est généralement causé par des applications tiérces

24 Gestion des corruptions logiques
Restauration d’élément unique Possibilité de restaurer la version originale Pas de possibilité de restaurer la version de l’item corrompu L’assistant de réparation de calendrier détecte et corrige les inconsistance de rendez-vous simple ou récurrent pour les boites aux lettres reposant sur le serveur de boites aux lettres. Pas de perte d’informations, Lors d’un déplacement des boites aux lettres, le service de réplication de boites aux lettres détecte les éléments corrompus et ne les reconduits pas. Le service Pack1 fournit une nouvelle commande powershell New-MailboxRepairRequest qui gére les corruptions de dossiers sur des problématiques comme les dossiers de recherches, le comptage d’item, les vues, les relations de dossier parents enfants. Pour les autres cas, il faut utiliser la restauration ou les bases de données différée (lagged database copy) Processus de recupération en cas de corruption logiques La corruption logiques peut existé thérorique dans deux cas de figures. Le premier en cas de corruption logique d’une base de données et dans ce cas le problème va se situer au niveau de la page Le second sénario se situe au niveau d’une corruption logique du stockage qui est généralement causé par des applications tiérces Pour lutter contre cela, la fonctionnalité de restauration unitaire d’élément vous permettra de restaurer l’élément dans une version plus ancienne certes mais correcte. L’assistant de réparation d’agenda vous permettra de détecter et de réparer les problémes inhérents a ce type de dossier. Le déplacement de boites aux lettres permettra aussi de ne pas déplacer les éléments identifiés comme corrompus , enfin la commande New-MailboxRepairRequest présente dans le SP1 permettra de réparer une boites aux lettres identifée comme suspecte.

25 Copie de base de données différée
Objectifs Restauration à un moment précis Fonctionnalités Possibilité de différé la réexecution des fichiers journaux au sein d’une base de données données Jusqu’a 14 jours max Set-MailboxDatabaseCopy -Identity MBXDB1\Server1 -ReplayLagTime 14.0:0:0 Rééxécution des journaux pour repositionner la base de données dans le temps Peut être positionner dans un autre centre de données Plan de reprise d’activité Nécessite un stockage Raid > _

26 Etapes de récupération avec un base de données différée
Serveur Bal 1 Serveur Bal 2 Serveur Bal 3 Serveur Bal 4 Copie différée DB 1 DB 1 DB 1 DB 1 DB 1 1 2 3 4 5 6 7 Groupe de disponibilité de base de données(DAG) Susprendre la réplication Prise d’un snapshot via VSS vssadmin create shadow /For=C:\mountpoints\db01 vssadmin create shadow /For=C:\mountpoints\db01_logs Sélectionner les journaux qui devront être rejoués Copie de la base pour les opérations de restauration d’éléments Application du snapshot Activation de la réplication 1. Suspendre la réplication 2. Effectué un cliché instantané (Vss) Recovery Database DB 1 3. Sélectionner les journaux a rejouer 4. Rejouer les journaux avec ESEUtil 5. Copier la base et récupérer les éléments 1 2 3 4 5 6. Remettre la base en route (Application du snap) 6 7 7. Relancer la réplication

27 Base de données différées (Lagged Database)
Principaux avantages Restauration plus facile pour les bases de données importantes Vs Backup and restore Moins de duplication de données que de multiple copie de données dans le temps Securité – Permet de réduire les risques A retenir ! Non nécessaire en cas d’utilisation de solution de sauvegarde VSS (DPM 2010) Les bases de données différées ne doivent pas être des bases activables. Le support disque doit offrir de la tolérance de panne (raid) Leurs mises en place à des conséquences sur le stockage

28 Protection Native des données Exchange Un petit résumé
Le concept La PNDE se base sur les mécanismes internes du produit pour protéger les données de messagerie hors sauvegarde VSS. Les pré-requis sont 3 copies minimum de base de données en haute disponibilité (Dag) Activation des fonctionnalités de Restauration d’élément unique avec une fenêtre de rétention des éléments supprimés (FRES) en rapport avec le SLA Les copies de base de données à écritures différées sont optionnelles

29 Gestion des administrateurs indélicats
Rogue Administrators Première chose à faire … Ne pas élever les permissions au delà du nécessaire Deux choses a prévoir avec RBAC Exchange 2010 SP1 en vue de réduire la probabilité qu’un administrateur indélicat puisse détruire des données Utiliser les fonctions de Scope sur les serveur afin d’interdir l’accès a certaines bases de données Exemple (Serveur de copies différée dédiée) Utiliser les fonction scope sur les bases de données pour interdir l’accès a certaines bases de données ou copie de base de données Utilisez les fonctions Bitlocker pour crypter les disques Si la mise en place d’un model Rbac n’est pas envisageable Utiliser une solution de sauvegarde géré séparément

30 Compliance Policy in Exchange 2010
Corporate/Regulatory Compliance Requirements Compliance Policy in Exchange 2010 Long-Term Retention Requirements Integrated archiving capabilities offer tools to preserve and discover data, without changing the user or IT professional experience Préserver Découvrir Archive personnelle Stratégie Déplac. Supp Stratégie Rétention Stratégie d’Audit Multi-Mailbox Search Boite aux lettres secondaire avec quota différents Disponible sous Outlook & Owa Gestion par EMC ou Powershell Automatisé et basé sur des critéres temporels Automated and time-based criteria Set policies at item or folder level Expiry date shown in message Capture deleted and edited messages Offers single item restore Notify user on hold Configuration Audit logged to regular mailbox Web-based UI Search primary, archive, and recoverable items Delegate through roles- based admin Audit Log Reports

31 Compliance Policy in Exchange 2010 SP1
Provide a richer feature set incorporating customer feedback and take archive and discovery to the cloud Préserver Découverte Archive Personnelle Move/Delete Policy Strategie Rétention Stratégie D’audit Recherche Multi Boites aux lettres Archive sur DB différente Archive dans le the cloud Outlook 2007 Support l’import PST directement dans l’Archive Délégation d’Admin Support Webservice Gérer par EMC EWS supporte les archives Déplacement automatique du contenu de la bal primaire vers l’archive Gérée par ECP Audit de Boites aux lettres Gestion a travers ECP cmdlets Report and exports results Search Preview De-duplication Search and Destroy Annotations Cross Premise Search Cmdlet Auditing Non-Owner Auditing

32 Cas Concret

33 Cas Concret Axiome de départ Projet Fin 2010 Début 2011
Approche Traditionnelle Données du problème Environ Boites aux lettres Site de secours Haute disponibilité sur deux sites Bonne connectivité Architecture demandée Stockage à coûts réduit Stockage traditionnel Diminution de la fréquence de backup Rétention de 14 Jours (S.I.R et Lagged) Conservation des données de messagerie sur 2 années Profil Utilisateur moyen : 100 Messages par Jours / 220 Ko (validé) Exchange 2010 Mailbox Server Role Requirements Calculator Design Stockage + Approche Stockage

34 Ratio IC Un calcul qui peut aider
Principe Trouver le type de disque le plus adapté Méthode Divise l’IO pour une bal / taille de la boites aux lettres 0,06 Io & 1 Gb de Quota 0,06/1 = 0,06 Disque Sata 500 Gb = 75/500 1 Tb=75 /1000 2 Tb = 75/2000

35 Cas Concret Approche stockage
Stockage à faible coût Un disque 7,2 Tpm Sata 2T0= en accès aléatoire Calculateur de R.SMITH – > 500 Utilisateurs par disque Database Volume I/O = 500x0,1x1,2 = 60 IOPS Espace perdu… car facteur limitant étant l’axe Donc 100 Mo de quota -> 900 Mo Nombre d’utilisateur par serveur de bal. Facteur limitant principal : mémoire Espace des bases laguées Nombre de banque d’information 40 500 Utilisateurs /Disque/Base *40 = Utilisateurs Nombre de serveur de boites aux lettres : 2x3 =6 Nombre de serveur de boites aux lettres Lagguées : 2 Lagged Database Disk IO Over Head factor 500 Utilisateurs Profils Quota WhiteSpace Dumpster Index 810 Go /Mb 566 Go Log 14 Jours 2To Brut/ 1,8 To Utile

36 Architecture proposée
Question pour vous : Pourquoi 4 serveurs ?

37 Cas Concret Sauvegarde
CRCL : Continuous Replication Circular Logging géré par le service de réplication Microsoft Exchange début Backup Passive (Ipit) 14 J Single Item recovery iPit Perte D’information Sir > FB !!! début 7 J Single Item recovery Backup Passive iPit Specifically, the Microsoft Exchange Replication Service manages CRCL so that log continuity is maintained and logs are not deleted if they are still needed for replication. The Microsoft Exchange Replication Service and the Microsoft Exchange Information Store service communicate by using remote procedure calls (RPCs) regarding which log files can be deleted. SIR ≤ Fréquence de backup (FB) Les journaux ne sont pas supprimés tant qu’il sont nécessaires pour la réplication date

38 Points d’attention Native Protection = 3 copies de bases de données a minima sur du disque non sécurisé (Jbod) Préciser vos données de RTO / RPO Conditionne fortement l’architecture technique Valider que les ressources réseaux soient capables d’accepter l’environnement Dag. (bande passante de réplication) Envisagez précisément l’ensemble des scénarios catastrophes Perte base/Perte de serveur/ Perte de centre de données Corruption généralisée Si envisagé , valider vos temps de sauvegarde et de restoration How many copies of the database will be deployed? We strongly recommend deploying a minimum of three (non-lagged) copies of a mailbox database before eliminating traditional forms of protection for the database, such as RAID or traditional VSS-based backups. Your recovery time objective and recovery point objective goals should be clearly defined, and you should establish that using a combined set of built-in features in lieu of traditional backups enables you to meet these goals. You should determine how many copies of each database are needed to cover the various failure scenarios against which your system is designed to protect. If you eliminate the use of a DAG or some of its members, does that capture sufficient costs to support a traditional backup solution? If so, does that solution improve your recovery time objective or recovery point objective service level agreements (SLAs)? Can you afford to lose a point-in-time copy if the DAG member hosting the copy experiences a failure that affects the copy or the integrity of the copy? Exchange 2010 allows you to deploy larger mailboxes, and the recommended maximum mailbox database size has been increased from 200 gigabytes (GB) in Exchange 2007 to 2 terabytes (when two or more highly available mailbox database copies are being used). Based on the larger mailboxes that most organizations are likely to deploy, what will your recovery point objective be if you have to replay a large number of log files when activating a database copy or a lagged database copy? How will you detect and prevent logical corruption in an active database copy from replicating to the passive copies of the database? What is your recovery plan for this situation? How frequently has this scenario occurred in the past? If logical corruption occurs frequently in your organization, we recommend that you factor that scenario into your design by using one or more lagged copies, with a sufficient replay lag window to allow you to detect and act on logical corruption when it occurs, but before that corruption is replicated to other database copies. date

39 Rencontre MVP Exchange Techdays
Remerciements Damien Caro (Microsoft) Anthony Costeseque (Apx) ( Thierry Lelan (Apx) David Pekmez (Exakis) Visiteurs UnifiedIt ( Rencontre MVP Exchange Techdays Ask The Experts (Stand ATE Exchange) David Pekmez (a survivor MVP Exchange guy !!) Mardi PM Mercredi PM date

40 Liens Importants QUESTIONS - REPONSES Génériques Native Protection
Native Protection QUESTIONS - REPONSES

41