DataGRAAL DataGRid pour Animation et Applications à Large échelle

Slides:



Advertisements
Présentations similaires
1. Résumé 2 Présentation du créateur 3 Présentation du projet 4.
Advertisements

Fabrice Lauri, François Charpillet, Daniel Szer
CGP2P, école des mines Sous-projet V La participation du LAL au projet CGP2P DataGRID CGP2P.
Karima Boudaoud, Charles McCathieNevile
Sous-projet IV Communications Placement/Ordonnancement.
Gabriel Antoniu IRISA / INRIA Rennes
Applications de GdX Coordinateur thématique : Christophe Cérin
Activités développées RTP 09 : Bases de données et d'informations hétérogènes et distribuées Actions spécifiques et équipes-projets associées Objectifs.
ACI GRID Projet JE RESAM Support Réseau et Intelligence pour la Grille Coordinateur C. Pham, Univ. Lyon 1, INRIA RESO.
Classe : …………… Nom : …………………………………… Date : ………………..
Est Ouest Sud 11 1 Nord 1 Laval Du Breuil, Adstock, Québec I-17-17ACBLScore S0417 Allez à 1 Est Allez à 4 Sud Allez à 3 Est Allez à 2 Ouest RndNE
Sud Ouest Est Nord Individuel 36 joueurs
Les routeurs actifs permettent d'exécuter du code à la volée. On peut ainsi optimiser fortement les protocoles de communication et ajouter plus rapidement.
Applications et Techniques
Formation au portail SIMBAD
M-Traces et Système à Base de M-Traces
Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon.
CPeyronnet | | Veille et recherche sur Internet : concepts, méthodologies, outils... 1 CvTic Veille et recherche sur Internet.
Encadrants: P. Ghodous et N. Lumineau
18 avril 2002réunion Datagrid France1 E-toile Plate-forme RNTL 2001 Environnement matériel et logiciel pour le développement et l expérimentation de grille.
Modèle de coût algorithmique intégrant des mécanismes de tolérance aux pannes Samir Jafar, Thierry Gautier, Jean Louis Roch Laboratoire ID-IMAG Equipe.
Jean-François Deverge, Sébastien Monnet
1 Efficient Data and Program Integration Using Binding Patterns Ioana Manolescu, Luc Bouganim, Francoise Fabret, Eric Simon INRIA.
BDA'02 1 Tolérance aux fautes (TaF) adaptable pour les systèmes à composants : application à un gestionnaire de données Phuong-Quynh Duong, Elizabeth Pérez-Cortés,
1 ACI DADDI - Réunion de lancement IRISA - Projet ADEPT Michel Hurfin Jean-Pierre Le Narzul Frédéric Tronel 23 mai 2005.
1 TICE 2000 / Troyes / octobre 2000 Des moteurs de recherche efficaces pour des systèmes hypertextes grâce aux contextes des nœuds Des moteurs de.
Sélection automatique d’index et de vues matérialisées
Gestion de la communication par établissement sur le site ville
Introduction aux Grilles de Calcul
1 Bienvenue! Ministère de lEmploi et de la Solidarité sociale Direction des ressources humaines La conduite dun projet de refonte dun intranet Pascale.
Interagir avec un objet mixte Propriétés physiques et numériques Céline Coutrix, Laurence Nigay Équipe Ingénierie de lInteraction Homme-Machine (IIHM)
Modèle d’interaction pour les systèmes mixtes
Vuibert Systèmes dinformation et management des organisations 6 e édition R. Reix – B. Fallery – M. Kalika – F. Rowe Chapitre 1 : La notion de système.
Rappel au Code de sécurité des travaux 1 Code de sécurité des travaux Rappel du personnel initié Chapitre Lignes de Transport (Aériennes)
1 SERVICE PUBLIC DE LEMPLOI REGION ILE DE France Tableau de bord Juillet- Août 2007.
Réunion DataGraal Janvier 2003 Grenoble
DEVELOPPEMENT DURABLE » « Penser global, agir local »
Le portail des MSH
Cairn.info Chercher : Repérer : Progresser 13/01/ { } Revues et diffusion des savoirs scientifiques : retour d’expérience de Cairn.info
Interprétation de séquences dimages pour des applications MédiaSpace Alberto AVANZI François BREMOND Monique THONNAT Projet ORION INRIA de Sophia Antipolis.
1 Grille de calcul et physique des particules Vincent Garonne CPPM, Marseille Novembre 2003 Contenu de la présentation Etat de lart : Grille de calcul.
Projet région Thématique prioritaire n°10 Calculs Scientifiques Logiciels Rhône-Alpes : Grille pour le Traitement dInformations Médicales (RAGTIME ?)
Tournoi de Flyball Bouin-Plumoison 2008 Tournoi de Flyball
Notre calendrier français MARS 2014
SYSTEMES MIXTES MOBILES ET COLLABORATIFS
Méthode de gestion de projet.
1 DataGRAAL DataGRid pour Animation et Applications à Large échelle Yves Denneulin IMAG-ID Pierre Sens LIP6 - INRIA.
Architecture des systèmes pair-à-pair de gestion de données Gabriel Antoniu Projet PARIS IRISA/INRIA.
LA GESTION COLLABORATIVE DE PROJETS Grâce aux outils du Web /03/2011 Académie de Créteil - Nadine DUDRAGNE 1.
LEGO – Rennes, 18 Septembre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de.
ECOLE DES HAUTES ETUDES COMMERCIALES MARKETING FONDAMENTAL
Page 1 © Jean Elias Recherche et veille. Page 2 © Jean Elias Les fournisseurs.
ECOLE DES HAUTES ETUDES COMMERCIALES MARKETING FONDAMENTAL
GDS – Paris, 13 Octobre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de M2RI.
CALENDRIER-PLAYBOY 2020.
Partage de mémoire à très grande échelle sur des réseaux pair-à-pair
1. Présentation générale du système
Les Chiffres Prêts?
Projet Implémentation du protocole MMT sous Linux
1 Détecteurs de défaillances adaptables Marin BERTIER Thèmes SRC Laboratoire d'Informatique de Paris 6 Université Pierre & Marie Curie.
La technologie en 6ème Quelles compétences à acquérir ?
Modèles et protocoles de cohérence des données en environnement volatil Grid Data Service IRISA (Rennes), LIP (Lyon) et LIP6 (Paris) Loïc Cudennec Superviseurs.
Étude d’un protocole de partage de travail entre systèmes Pair à Pair
GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003.
1 Détection et tolérance aux fautes dans JuxMem Sébastien Monnet IRISA / PARIS Lyon, 05/12/2003.
Gabriel Antoniu IRISA / INRIA Rennes
GDS : Grid Data Service Etat de l’avancement Gabriel Antoniu Réunion GDS, Lyon, 17 février 2006 IRISA, Rennes ACI Masses de Données.
Projet GDS de l’ACI MD Projet PARIS IRISA, Rennes.
Proposition de possibilité d’évolution de nos spécialités Deux projets (liés) : Projet 1 : Informatique Computationnelle – Etudiants 4 e et 5 e IR Projet.
Transcription de la présentation:

DataGRAAL DataGRid pour Animation et Applications à Large échelle Yves Denneulin IMAG-ID Pierre Sens LIP6 - INRIA

Pourquoi s’interesser aux données ? Préambule Pourquoi s’interesser aux données ? Croissance des capacité de stockage > croissance des processeurs Nécessité d’adapter les supports Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. ACI DataGraal – 10/01/03

Plan Partenaires Problèmatique Objectifs Complémentarité Axes de recherches Echéancier ACI DataGraal – 10/01/03

Partenaires Communauté bases de données : Communauté système : PRISM – SMIS (INRIA – Univ. Versailles St Quentin) LIRMM (Univ. Montpellier) LSR-IMAG (Grenoble) LISI – (INSA Lyon) Communauté système : PARIS (IRISA) LRI - Equipe Cluster (Université Paris 11) REMAP (LIP - ENS Lyon) LIP6 (Université Paris 6) Apache ID – IMAG HP Labs Applications : CERS IN2P3 ACI DataGraal – 10/01/03

Contexte Grands sites de calcul, Clusters <1000 Stables Problématique Contexte Caractéristiques des nœuds : Grands sites de calcul, Clusters <1000 Stables Identification individuelle Confiance Les Grilles de calcul ou « GRID » 2 types de grands systèmes distribués Les systèmes distribués à grande échelle ~100 000 Volatiles Pas d’ident individuelle Pas de confiance PC Les systèmes de Calcul Global Les systèmes Pair à Pair ACI DataGraal – 10/01/03

Impact de la très grande échelle Problématique Impact de la très grande échelle Nombre de ressources Dynamicité panne, déconnexion, charge Eloignement asynchronisme Hétérogénéité des architectures, des systèmes Comportement malveillant Pas de d’état global ACI DataGraal – 10/01/03

Les Grilles Plates-formes Stockage Problématique Les Grilles Plates-formes Globus, NetSolve (Univ. Tennessee), Ninf (Univ. Tsukuba), DIET (ENS-Lyon/INRIA) Stockage GridFTP(Argonne), OceanStore (Univ. Berkeley), IBP (Univ. Tennessee) ACI DataGraal – 10/01/03

Les systèmes Pair-à-Pair Problématique Les systèmes Pair-à-Pair Lié à des applications Napster, Kazaa, Edonkey, FreeNet… Plates-formes de routages (DHT) Chord (MIT), CAN, Pastry (Rice), Tapestry (Berkeley)... Stockage de données Non modifiables : PAST (Rice), CFS (MIT) Modifiables : FarSite (Microsoft), Ivy (MIT) Distribution de codes XtremWeb (LRI) Plate-forme générique JXTA (Sun) ACI DataGraal – 10/01/03

Problèmes ouverts dans la gestion des données Problématique Problèmes ouverts dans la gestion des données Qualité de service dans l’accès aux données Efficacité des accès Disponibilité Tolérance aux fautes Hétérogénéité des sources Persistance Modèles de partage Ecritures multiples Protocoles de cohérence ACI DataGraal – 10/01/03

DataGraal : Les objectifs Gestion des données à très large échelle => exploratoire Multi-communautaire : Profiter/confronter les expériences des BD, système, applications => animation Identification de thématiques/concepts communs Maquettes d’expérimentation ACI DataGraal – 10/01/03

DataGraal : les applications Objectifs DataGraal : les applications Stockage : Grande quantité Dispersion des données Hétérogénéité ACI DataGraal – 10/01/03

Coopération entre communautés Complémentarité Coopération entre communautés Communauté système Issus des expérience des systèmes répartis et pair-a-pair Protocole de localisation Placement, déploiement Protocole de cohérence Détection et gestion des fautes Communauté bases de données Gestion de grandes quantités de données Hétérogénéité Mobilité Médiation traditionnellement, architecture faiblement distribué ACI DataGraal – 10/01/03

Coopération (2) Applications Idée de la coopération : Complémentarité Coopération (2) Applications physique des particules physique des plasmas simulation de grands systèmes physiques Idée de la coopération : faire se rencontrer des communautés différentes contexte : stockage distribué de grandes quantités de données ACI DataGraal – 10/01/03

Atouts des partenaires Complémentarité Atouts des partenaires PRiSM/INRIA langage de requêtes, fouille de données exploitation de grandes quantités de données LSR Eclatement d ’un SGBD en un ensemble de services (persistance, duplication, …) Connaissance approfondie des architectures de SGBD LISI Systèmes d’information à large échelle LIRMM médiation, exploitation de résultats venant de nombreuses sources BD ACI DataGraal – 10/01/03

Atouts des partenaires (2) Complémentarité Atouts des partenaires (2) IRISA / PARIS Maîtrise des mémoires partagées Partage de mémoire pair-è-pair Expérimentations avec JXTA LRI Calcul haute performance sur P2P Tolérance aux fautes LIP6 Modèle de cohérence hiérarchiques Gestion des fautes dans environnement asynchrone Systèmes multi-agents LIP Remap Environnement de type grille Traitement de grande masses de données Redistribution dynamique des données et tolérance aux pertes Système ACI DataGraal – 10/01/03

Atouts des partenaires (3) Complémentarité Atouts des partenaires (3) HP labs environnement de grappe virtuelle forte volatilité Laboratoire ID expérience architecture grande grappes administration, gestion déploiement efficace d ’applications sur un grand nombre de nœuds Infrastructures ACI DataGraal – 10/01/03

Atouts des partenaires (4) Complémentarité Atouts des partenaires (4) IN2P3 expérience dans la gestion de grandes quantités de données élément central de Datagrid CESR fusion de plusieurs grandes bases en une seule requêtes hétérogènes à traiter, stockage réparti CEA expériences grandeur nature modélisation du climat, de la terre forte complexité des données grand nombre de sites Applications ACI DataGraal – 10/01/03

Atout du projet Complémentarité expériences diverses vaste domaine de compétences domaine des bases de données système distribué expériences acquises applications (CEA, IN2P3, CESR) système grande échelle ACI DataGraal – 10/01/03

Identification des tâches (provisoire) Axes Identification des tâches (provisoire) Tâche 1 : Besoins applicatifs (Tâche transversale) Moteurs : CEA / CESR / IN2P3 Tâche 2 : Déploiement de données Moteurs : LRI / LIP / LIP6 / LISI Tâche 3 : Accès efficace aux données Moteurs : PRISM, LIRMM, LIP Tâche 4 : Partage de données Moteurs : IRISA / LIP / LIP6 / PRISM Tâche 5 : Modèle de cohérence Moteurs : IRISA/ LIP6 / PRISM Tâche 6 : Tolérance aux fautes Moteurs : LIP6 / LRI / Tâche 7 : Apport des approches multi-agents Moteurs : LIP6 / IRISA ACI DataGraal – 10/01/03

Tâche 1 : Besoin applicatif Axes Tâche 1 : Besoin applicatif CEA , CESR , IN2P3 « Retour » d’expérience de DataGrid Capacité de stockage – 5-8 PetaOctect / année 10 PetaOctect de disque Puissance de calcul – 200 000 PC rapides Répartition du volume ? Grain. Quelles disponibilités, persistance ? Mode de partage ? ACI DataGraal – 10/01/03

Tâche 2 : Déploiement LRI : LISI : LIP6 : LIP : XtremWeb Axes Tâche 2 : Déploiement LRI : XtremWeb LISI : Technique de cache Web LIP6 : Algorithmes de placement de données / observation LIP : DIET+IBP - Redistribution, Placement ACI DataGraal – 10/01/03

Tâche 2 : déploiement (2) Constat : Placement de données très statique Axes Tâche 2 : déploiement (2) Constat : Placement de données très statique Exploration 1 : vers plus de dynamicité Nécessité de contrôler l’environnement Ressources disponibles Détection de fautes en environnement asynchrone (pb algorithmique) Transport d’information de contrôle à large échelle (filtrage, propagation épidemique) Accumulation de données pertinentes (vision partielle) Prise de décision Problème de validité des informations Exploration 2 : Lien avec le placement des tâches ACI DataGraal – 10/01/03

Tâche 3 : Accès PRISM : LIRMM : LIP : Accès efficace en fonction du profil LIRMM : Adaptation dynamique des vues LIP : Distribution de requêtes Co-ordonnancement ACI DataGraal – 10/01/03

Tâche 4 : Partage PRISM : IRISA / LIP6 / LISI LIP Axes Tâche 4 : Partage PRISM : Mode de partage transactionnelle IRISA / LIP6 / LISI Partage à grain fin (page / objet) LIP Gestion de versions de données immutables ACI DataGraal – 10/01/03

Tâche 4 : partage (2) Versionning vs. données modifiable Axes Tâche 4 : partage (2) Versionning vs. données modifiable Limite du partage en lecture dans P2P Approche de partage « volontaire » limitée Le partage avec de nombreux écrivains Augmenter la complexité - Quelles applications ? Des tendances récentes : Partage (en lecture) forcé (ex. Edonkey) Partage avec une nombre réduit d’écrivains (Ivy …) ACI DataGraal – 10/01/03

Axes Tâche 5 : Cohérence Modèle de cohérence sur mémoire partagée répartie (IRISA / LIP6 / LISI) LISI DosMos IRISA Cohérence au relachement Cohérence multi-thread (DSM-PM2) LIP6 Modèle hiérarchique (CLRC) ACI DataGraal – 10/01/03

Tâche 5 : Cohérence (2) Avenir des mémoires partagées réparties ? Axes Tâche 5 : Cohérence (2) Avenir des mémoires partagées réparties ? Application à large échelle Travail coopératif, couplage de code Hétérogénéité Tolérance aux fautes ACI DataGraal – 10/01/03

Tâche 6 : Tolérance aux fautes Axes Tâche 6 : Tolérance aux fautes PRISM : Redondance dynamique LIP6 : Détection de fautes hiérarchique (RTT-FD) Réplication dynamique (DARX) LRI : Journalisation de messages + mémoire de canal MPICH-V LIP : Code redondant Reconstruction dynamique ACI DataGraal – 10/01/03

Tâche 6 : Tolérance aux fautes (2) Axes Tâche 6 : Tolérance aux fautes (2) Gestion de l’incertitude des informations vers un système « indulgent » ? Choisir la bonne stratégies (types de réplication, point de reprise, journalisation) en fonction de plusieurs critères : Applicatif (type de fautes, nombre de fautes, temps de recouvrement) Environnemental : surcoût, charge des machine et du réseau, MTBF …. ACI DataGraal – 10/01/03

Tâche 7 : Approche multi-agent Axes Tâche 7 : Approche multi-agent LIP6 : Plate-forme DARX : http://www-src.lip6.fr/darx Fiabilité des agents, réplication Dynamicité IRISA/LIP6 Service de partage de mémoire sur DARX ACI DataGraal – 10/01/03

Tâche 7 : Approche multi-agent (2) Axes Tâche 7 : Approche multi-agent (2) Un agent est une entité physique ou virtuelle : capable d’agir sur elle-même et sur son environnement, capable de percevoir son environnement, mais ne dispose que d’une représentation partielle de cet environnement (et parfois aucune), peut communiquer avec d’autres agents, poursuit un objectif individuel, qui possède des compétences et peut offrir des services, … Propriétés d’un agent = autonomie, proactivité, adaptabilité, sociabilité, mobilité, … Agent une alternative pour le large échelle ? ACI DataGraal – 10/01/03

Support d’expérimentation Axes Support d’expérimentation Plate-forme GDX : GriD eXplorer F. Cappello, O. Richard , P. Sens 1000 noeuds Objectif : Emulation d’internet Nombre de sites, Éloignement Différent type d’expériences : réseau, calcul, système Intégré dans projet GRID 5000 ACI DataGraal – 10/01/03

Axes GDX INRIA VTHD CEA IMAG LRI ACI DataGraal – 10/01/03

Organisation Réunions régulières Site Web : datagraal.lip6.fr Plénières (2 par an) Par tâche (~5 par an) Site Web : datagraal.lip6.fr Suivi des réunions (transparents) Lien vers les projets du domaine Mailing list : datagraal@imag.fr ACI DataGraal – 10/01/03

Déroulement Première réunion plénière (15/11/02 - IMAG) Organisation Déroulement Première réunion plénière (15/11/02 - IMAG) Présentation des travaux des différentes équipes Transparents disponibles sur le site Réunion d’avancement (4/12/02 – Aussois) Ebauche des groupes de travail Séminaire de deux jours (30-31/01/03) séminaire technique définition de topiques de travail + responsables Rencontres trimestrielles une rencontre = un topique ACI DataGraal – 10/01/03

Déroulement Fin de l ’action Ecriture d ’un document commun Organisation Déroulement Fin de l ’action Ecriture d ’un document commun Ecole DGRID sur la gestion de données à grande échelle Bretagne (Port aux Rocs) ACI DataGraal – 10/01/03