Alain Clément Comité Régional SNIA France Les nouvelles technologies de stockage pour l’archivage Alain Clément Comité Régional SNIA France

Agenda A propos de la SNIA Nouvelles unités de stockage pour l’Archivage Le futur standard XAM Conclusion

Historique, Mission et Activités SNIA SNIA: Storage Networking Industry Association www.snia.org SNIA fondée en 1997, SNIA Europe en 2001 « Association de l’Industrie du Stockage Réseau » ~460 membres WW, ~100 Europe, ~7000 individus Mission Contribuer au développement et à l'adoption de solutions de stockage en réseau efficaces, complètes et fiables Activités Standardisation/Normalisation (SMI-S, XAM) Initiatives Technologiques (FSM, DMF, IPS, Sécurité) Education/Formation/Certification Conférence SNW, Website & Newsletter Technology Center & Workshops/benchmarks Comités Régionaux

Nouvelles unités de stockage pour l’Archivage

Fixed Content Objets digitalisés invariant sur une longue période Lettre Manuels Imagerie médicale Documents Archivage E-mails CAO Images de chèques Résultats cliniques Données sismiques Manuels de formation Données biométriques Blueprints Books Rapports mensuels clips transcription Voice-to-web White papers X-rays périodiques Données biologiques Photos satellite Document d’histoire photos Document légaux Most new content created is fixed content—content in its final form; unchanging data objects retained for active reference with long-term value. Write it once, read it many times, it never changes. The more that is put online to be used and shared, the greater value it has. Some examples are electronic statements, government records, photos, blueprints, and all the medical images just now coming online. Simple chest X-rays are about 40 MB apiece. Think of the storage requirements of multi-slice 3D MRIs. Movies like Gone with the Wind consume 5 GB each. Check images: Pictures of 20 checks, both sides each, total 1 MB. If you think about the lifecycle of information, it ultimately all leads to fixed content. Content—like e-mail, clinical-trial data, CAD/CAM drawings, or electronic documents—may begin as transactional or collaborative work, but ultimately becomes fixed content. As information becomes “fixed content,” its value comes from expansion of its use, not its ability to change. How fixed is fixed content? How much of the data you create will become static after one week? Here are some comments from EMC customers and prospects: Multi-national—“70% is always fixed.” Telco Billing Director—“Less than 1% changes after one week.” One U.S. customer has 200 TB of storage and manages 10–12 TB per full-time employee. IT believes 70% of its data is fixed; therefore, 12–14 people are managing something that never changes. Companies are under increasing pressure to retain business records for specific periods of time while assuring that it not be deleted and that it remain unmodified. This is especially true in Financial Services, Life Sciences, Healthcare, and Government industries. There is tremendous opportunity in keeping this content accessible—developing accessible reference archives can create new business opportunities and improved service levels. Traditionally, the majority of fixed content has been stored on tape or optical technologies. Customers seeking optimum solutions for fixed content have commented over and over that these solutions are simply inadequate—they are too slow, they have experienced too many in-technology changes that have resulted in lost or unusable content, and their reliability is questionable (especially that of tape), as is the industry’s commitment to the technologies (especially optical). While tape and optical can store fixed content, neither of them, nor traditional magnetic-disk solutions, were purpose-built to handle the very unique requirements for storing final form content. Only CAS can: Provide online access with assured content authenticity Guarantee set retention periods Efficiently store content by eliminating the storage of duplicate content Scale easily and seamlessly to hundreds of terabytes Provide low administration costs through self-configuring, self-healing, and self-managing functionality Données astronomiques Audio conférence sauvegardes Business records originaux CAD / CAM Record des vidéo conférences Données génétiques Rapports officiels journaux Examens cliniques scans contrats

Problème: L’explosion des données digitalisées La plus part des données digitalisées sont figées et invariantes La gestion du cycle de vie des données conduit à l’archivage La régulation émergeante oblige à l’archivage des données Les méthodes traditionnelles de stockage ne suffisent plus La majorité des données digitalisées est figée Source: Hal Varian, UC Berkeley

Données transactionnelles La classification de la donnée: Données transactionnelles vs. Fixed Content Données transactionnelles Mise à jour continue écritures/lectures de petits blocs fréquentes Faible latence, haute performances Exemples Base de données Solutions OLAP, OLTP, ERP Applications financières, RH Solutions mieux gérées par: DAS SAN NAS Fixed Content Des données qui ne sont plus modifiables après la création Des données de références Bloc physiques non structurés immuabilité, Authenticité, Exemples Audio, Vidéo, images Documents, Images Chèques X-rays Données d’archives Solution mieux gérées par Disques/bandes WORM Content Addressed|Aware Storage (CAS)

Disque et bande WORM WORM: Write Once, Read Multiple Dispositif matériel et/ou logiciel garantissant une écriture non modifiable dans le temps On écrit une fois, on relit autant de fois que l’on veut On ne peut plus effacer et/ou modifier le contenu Techno émergeante: « WORM Compliant » Permet un effacement d’un enregistrement sur support UDO. On écrit une fois, on lit autant de fois, on peut effacer l’enregistrement une seule fois

Disque et bande WORM Bande Disque Matériel LTO, SDLT, AIT, DAT160, STK CD-R, DVD-R, UDO Caractéristiques Dispositif mixte matériel/logiciel Déformation non réversible du support Usage Grosse capacité Faible coût Faible temps d’accès Faible capacité Bon temps d’accès format Dépend du logiciel d’écriture Standard UFS et/ou format propriétaire

Un CAS fournit le même service pour les objets d’archives Content Addressed|Aware Storage Analogie: voiturier pour les données d’archives Interface d’accès simple et sécurisé Donne les clés au voiturier Votre voiture est garée quelque parts Un reçu vous est donné Gain pour vous Pas de recherche d’emplacement libre Pas d’attente Récupération sur demande Présenter votre reçu Le voiturier vous rapporte votre voiture Un CAS fournit le même service pour les objets d’archives

Le CAS: comment ça marche? 10001010 Content Address Algorithm 4PJGVL39UEK7ReDN9JM0A2HR3U6 Content Address Algorithm 10111011 3C08JM40C8AMMe0N8ATEJHC2DQN Une signature électronique unique est fabriquée en fonction de l’objet, cette clé assure l’immuabilité et permet la localisation de l’objet

CAS: la valeur apportée fondamentaux CAS est un dépôt d’objets de données archivées. Des métadonnées descriptives sont associées à chaque objets CAS garantie l’immuabilité et l’authentification des objets stockés CAS apporte un moyen de stockage transparent et indépendant des solutions par une normalisation du nommage des objets administrés. Les différenciateurs évolutivité Suppression des doublons

Les métadonnées Elles permettent d’auto-documenter les objets administrés L’auto-documentation permet, en théorie, le portage des objets entre applications La Métadonnée et l’indépendance matérielle permet la création de règle de migration entre ressources CAS Des règles peuvent être crées pour l’allocation d’espace de stockage en fonction du type d’objet à archiver CAS Object Classe: X-Ray Patient: Jean Martin Date: 22/11/2006

Immuabilité et Authentification Le ticket de retrait est évalué À partir du contenu Globalement unique Utilisé pour garantir la fonction WORM et l’authentification du contenu Une modification est détectée immédiatement Protection contre Les modifications malveillantes Défaut physique du système de stockage 4PJGVL39UEK7ReDN9JM0A2HR3U6

Indépendance de la résidence (localisation) Le CAS isole la couche applicative du positionnement de la donnée Le CAS permet le déplacement de la donnée Entre espaces physiques Différentes localisation géographiques Entre organisations Ressource de stockage distinctes L’indépendance du stockage permet au CAS d’intégrer des règles d’ILM Les règles d’ILM portent sur les politiques, les données et les métadonnées Couche CAS Paris Marseille ILM Lyon

CAS: Le meilleur des mondes pour l’archive? + Online, comme un disque + WORM, comme les solutions optiques (UDO) + TCO optimisé, comme les bandes NEW + les bénéfices du CAS + Immuabilité et Authentification indépendance de la résidence matérielle indépendance à la technologie évolutivité suppression des doublons Nouveautés apportées par le CAS + + + + __________________________________________ = Solutions Intelligentes, à coût réduit, évolutives pour le stockage « long terme » des données d’archives

Le futur standard XAM

XAM, qu’est-ce que c’est? eXtensible Access Method (XAM) c’est: Une initiative SNIA pour l’archivage des données Dirigée par le groupe Fixed Content Aware Storage TWG Définit une interface standard (API) entre application et logiciel d’administration– (Consumers), et systèmes de stockage – (Providers) Pour la réalisation d’un service d’archivage (stockage à contenu fixe)

XAM: L’historique 15 Octobre 07 :ComputerWorld Dallas –présentation de la première intégration XAM par Vignette, HP, EMC, SUN Aujourd’hui – FCAS TWG travaille sur la spécification finale de l’API Q2 2006 – FCAS TWG regroupe plus de 30 membres participant au développement Q4 2005 – la version 1.2 de XAM Team est proposée et acceptée par le groupe FCAS TWG mi Q3 2005 – XAM V1.1 est présentée à plusieurs ISV encourageant l’équipe à continuer le développement début Q3 2005 – Spec v1.0 de XAM disponible, HP, HDS, Sun rejoignent l’équipe XAM après avoir adopté la proposition Q4 2004 – IBM et EMC définisse la vision et fournissent le point de départ de la proposition

Pourquoi XAM est-il important? XAM permet Le respect des règles légales Rétention et sécurité appliquée aux enregistrements De fixer des règles de gestion de la donnée (ILM) Des métadonnées ajoutées permettent la classification, l’annotation.. Les règles ILM sont enregistrées dans des champs prédéfinis Les règles ILM sont implémentées au niveau stockage et/ou par des solutions tierces ajoutées L’accès universel aux données d’archives Stockage et restitution des informations indépendant des applications Primitives de recherche indépendantes des applications Une interopérabilité basée sur les standards Une application compatible XAM fonctionne avec n’importe quel fournisseur de stockage compatible XAM Les métadonnées associées permettent l’interopérabilité Les informations peuvent-être migrées entre différents systèmes de stockage (pérennité) C’est ce que qu’attendent vendeurs, analystes et la plus part des clients !

XAM: Les bénéfices additionnels Facilite la migration inter-systèmes Entre plusieurs vendeurs, plusieurs technologies, pour assurer la pérennité long terme Permet la migration des informations sur divers type de matériels Pour une réduction des coûts sur le long terme Permet la migration des informations par les applications Permet l’évolutivité administration de milliards d’informations

XAM: Les Métadonnées Permettent l’auto-description des objets archivés L’auto-description des objets facilitent la migration entre différentes applications Les Métadonnées et l’indépendance du système de stockage permet l’application de règles de migration entre systèmes de stockage Le système peut décider du choix du support de stockage en fonction de règles préétablies OBJECT Date: 2006/09/15 Patient: John Doe Content Class: X-RAY

XAM: l’Architecture Application XSystem Connect() Une application utilise la librairie xam.dll pour se connecter à un système de stockage Une application peut-être connectée à plusieurs systèmes de stockage Plusieurs applications peuvent-être connectées à un système de stockage Chaque système présente un pool de stockage normalisé aux applications. La gestion du pool est invisible à l’application Une application doit-être authentifiée pour établir une connexion à un système quelconque L’application utilise la librairie xam.dll pour la manipulation des objets. Une structure de données Xset est accouplée à chaque objet. Cette structure contient les métadonnées Application Connect() xam.dll XSystem

XAM: Le « Software Development Kit » Exchange / Notes Documentum / FileNet Oracle, IBM DB2… Le SDK XAM est lié dynamiquement avec les applications désirant être connectées au système de stockage Le kit SDK XAM intègre les fonctions suivantes: xam.dll : implémente l’API ref.dll, décrit les fonctionnalités implémentées sur un système std.dll, implémente les protocoles réseau d’accès à un système Un framework d’intégration des ‘VIMs’ Une librairie « toolkit » (tools.dll) pour l’ajout de fonctions spécifiques Application Fonctions supplémentaires Interface avec le système de fichiers Catalogue des items etc Connect() tools.dll xam.dll xam.dll ref.dll std.dll emc.dll ibm.dll HP. dll VIMs (Vendor Interface Modules) XSystem

XAM: Le « Software Development Kit » XAM API Standardisées par le SNIA XAM SDK permet l’accès aux API XAM pour toutes les applications Géré indépendamment par les différents vendeurs VIM: Vendor Implementation Module Permet la connexion d’un système de stockage quelconque à travers le SDK VIM est provisionné par le vendeur de stockage SDK inclus La librairie XAM API et ses spécifications Les WIM référencés Les « best practices » Quelques exemples d’applicatifs XAM Ex App1 XAM App2 librairie XAM VIM 1 VIM 2 VIM x Système de stockage compatible XAM Fourni par le SNIA Fourni par le vendeur de stockage Fourni par le SNIA, le fournisseur d’application, ou le vendeur de stockage

DMF et LTACSI www.snia.org/dmf XAM, le standard du futur Conclusion DMF et LTACSI www.snia.org/dmf XAM, le standard du futur Un effort commun entre vendeur et utilisateur final L’archivage devient une commodité pour une adoption rapide, simple et long terme Pour une introduction à XAM http://www.snia.org/forums/xam/demo