18 Bases de données parallèles et réparties

Slides:

Advertisements

Présentations similaires

Chap 4 Les bases de données et le modèle relationnel

Advertisements

22/04/2015© Robert Godin. Tous droits réservés.1 10 Évaluation des requêtes relationnelles n SQL – QUOI n Évaluateur de requêtes du SGBD – COMMENT – en.

18 Bases de données parallèles et réparties

Le projet MUST Méso infrastructure de calcul et de stockage ouverte sur la grille européenne LCG/EGEE Colloque Grille Rhône-Alpes 10 janvier 2008.

Composants Matériels de l'Ordinateur Plan du cours : Ordinateurs et applications Types d'ordinateurs Représentation binaires des données Composants et.

Logiciel Assistant Gestion d’Événement Rémi Papillié (Chef d’équipe) Maxime Brodeur Xavier Pajani Gabriel Rolland David St-Jean.

Marid 5 décembre 2006Présentation du code parallèle – PEGASE – INRIA Sophia-Antipolis 1 Code Parallèle pour la Simulation Numérique en Mécanique des Fluides.

Cloud computing Présenté par Robert Ogryzek, Teddy Frontin, Kevin Lambert et Matthew Cronne.

LES FONCTIONS D'UN SYSTEME D'EXPLOITATION ● Le système d'exploitation contrôle entièrement les ressources matérielles locales. ● Il est responsable de.

Messagerie Open Source à la DGCP Implémentation réalisée par IBM et Pilot Systems Sylvain Viollon.

Le système Raid 5 Table des matières Qu'est ce que le RAID ? Les objectifs Le raid 5 Les avantages et les inconvénients Les composants d’un Raid.

- Formation ActiveMQ 1 1.

Introduction Bases de Données NoSQL Principe de base Avantages/Inconvénients L’évolution du Web 2.0 et actuellement Web 3.0, a montrée l’insuffisance des.

ANNEE ACADEMIQUE Institut Supérieur Emmanuelle D’Alzon de Butembo COURS: THEORIE DE BASE DE DONNEES : 45H PROMOTION: G2 Gestion Informatique.

Système d’annotation et de détection de modèle de véhicule Université de Sfax *** Institut Supérieur d’Informatique et de Multimédia de Sfax Réalisé par.

Les Bases de données Définition Architecture d’un SGBD

Construire des requêtes

Environnement du développement de BD ORACLE REPORTS 10g

Microsoft SQL Server La Base de Données des plates formes Windows NT

E.R.P. ou Progiciels de Gestion Intégrés

Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne

Les P G I Les Progiciels de Gestion Intégrés

6GEN720 Réseaux d’ordinateurs

de la productivité individuelle au travail collaboratif

Utilisation de PostgreSQL

SOMMAIRE 1: ORALE 2: Les 3 systèmes de gestion de base de donnés 3:ORACLE DATA BASE 4:MY SQL 5:Oppen Office.org Base 6:Concurrence Conclusion.

Marc Cousin Meetup PostgreSQL Nantes 8 mars 2017

Base de données: Généralité IFT6800 Jian-Yun Nie.

Algorithmes distribués

Journée Analyse D0, 19 janvier 2004

Les Bases de données Définition Architecture d’un SGBD

Routage S 3 - Questionnaire N°1

Les bases de données et le modèle relationnel

Chapitre 12 Surveillance des ressources et des performances

Introduction Bases de données Accès Internet (Web)

Classification des archtecutres paralleles

Architecture matérielle et logicielle des systèmes embarqués de moyenne complexité Elle est composée :  d’une unité de traitement centrale,  de.

Programmation système

Présentation du Service Informatique

1 La gestion par activités (ABM) pour mieux gérer les coûts et les processus dans l’organisation. S o l u t i o n s `

Architecture de machines Le microprocesseur Cours

13 Conception dans un contexte relationnel

Dépendances entre les chapitre du Volume I et II

Le contenu est basé aux transparents du 7 ème édition de «Software Engineering» de Ian Sommerville«Software Engineering» de Ian Sommerville B.Shishedjiev.

I Copyright © 2004, Oracle. Tous droits réservés. Introduction.

Bases de données sous Access. Initiation aux bases de données  Structure d’une base de données.

Architecture BD Récif.

Mise en place d’une gestion de type ERP

MPR - Le concept de réseau - 06

© Robert Godin. Tous droits réservés.

4 Méthodes multidimentionnelles et représentation d'associations

20 Données semi-structurées et XML

Licence Fondamentale en Informatique 3ieme Année ISIMM Cours Systèmes Répartis 1 Année Universitaire:

Info Bases de données avancées

PRESENTATION ACCESS Editeur : Microsoft Environnement Windows (SE)

Moteurs de recherches Data mining Nizar Jegham.

Système d’exploitation: Principe IFT6800 – E 2008 Pierre Poulin.

© Robert Godin. Tous droits réservés.

SyncBackFree : des données en sécurité!

LIVE MIGRATION Windows Server 2012 & Hyper-V3

Notions d'architecture client-serveur. Présentation de l'architecture d'un système client/serveur Des machines clientes contactent un serveur qui leur.

Conception de sites web marchands: TD 2

Test de performances. Test de performances:  Un test de performance est un test dont l'objectif est de déterminer la performance d'un système informatique.

© Robert Godin. Tous droits réservés.

1 O ffice De La F ormation P rofessionnelle Et De La P romotion De T ravail I nstitut S pécialiste en T echnologie A ppliquée -ASSA Prof. : Omar BOUNHAS.

1 DEPLOIEMENT D’UN SYSTEME DE REPARTITION DE CHARCHE (LOAD BALANCING) Abasse KPEGOUNI, Ingénieur Systèmes et Réseaux.

Transcription de la présentation:

18 Bases de données parallèles et réparties 27/11/2018 © Robert Godin. Tous droits réservés.

18.1 Bases de données réparties 27/11/2018 © Robert Godin. Tous droits réservés.

18.1 Bases de données réparties Bénéfices potentiels Performance Fiabilité et disponibilité Expansion graduelle (scalabilité) Inconvénients Complexité accrue Coût important conception, administration,... 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Problèmes techniques Transparence de la répartition Transactions réparties Évaluation de requêtes réparties Interface uniforme à différents modèles extracteurs, médiateurs,... Répartition du dictionnaire de données 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.1 Classification des architectures de BD répartie BD répartie homogène même SGBD LMD compatible e.g. SQL Modèle de données compatible e.g. relationnel BD répartie hétérogène relationnel, fichiers, objet,... 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Autonomie Multi-SGBD autonomie totale SGBD fédéré fonctions de coordination intégrées au SGBD e.g. support de protocole XA SGBD réparti 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.2 Architecture des schémas 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. 18.1.3.1 DUPLICATION RÉPARTIE Duplication synchrone (synchronous replication) sérialisabilité globale Duplication asynchrone (asynchronous replication) copie primaire mise-à-jour en différé des autres 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.3.2 FRAGMENTATION RÉPARTIE Fragmentation horizontale e.g. compte des clients de Montréal sur le site de Montréal Fragmentation verticale e.g. la colonne des salaires sur le site de la comptabilité 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.4 Transactions réparties 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.5 Contrôle de concurrence réparti Verrouillage Site primaire contrôle centralisé des verrous Contrôle réparti verrouiller toutes les copies en écriture Copie primaire Verrouillage majoritaire 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.6 Protocole de confirmation en deux phases 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.7 Optimisation de requête répartie Coût en communication Peut dominer le coût E/S ! Potentiel de parallélisme intersite et intrarequête surtout interopération 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. 18.1.7.1 ETAPES D'OPTIMISATION 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. 18.1.7.2 OPTIMISATION GLOBALE 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.7.3 STRATÉGIE PAR SEMI-JOINTURE 27/11/2018 © Robert Godin. Tous droits réservés.

Parallélisme interopération et intersite T1  T2  T3  T4 Transférer T2 au site 1 T1  T2 = R au site 1 En parallèle, transférer T4 au site 3 T3  T4 = S au site 3 Transférer S au site 1 Ensuite, R  S = Résultat final au site 1 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.8 Conception d'une BD répartie Rapprocher les données des traitements Nouvelles opportunités duplication synchrone ou asynchrone ? fragmentation 27/11/2018 © Robert Godin. Tous droits réservés.

18.1.9 BD répartie avec Oracle Au site 1 : 27/11/2018 © Robert Godin. Tous droits réservés.

Transparence de localisation par SYNONYM 27/11/2018 © Robert Godin. Tous droits réservés.

Duplication répartie (REPLICATION) MATERIALIZED VIEW (remplace SNAPSHOT) Paramètres de contrôle du rafraîchissement 27/11/2018 © Robert Godin. Tous droits réservés.

18.2 Base de données parallèle Exploitation du parallélisme intrasite Parallélisme de disques 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. 18.2.1 Disques parallèles Duplication disques mirroirs Code détecteur/correcteur d ’erreur Parité Hamming … Répartition cyclique (striping) par bloc par bit (moins populaire) 27/11/2018 © Robert Godin. Tous droits réservés.

18.2.2 Architecture RAID (Redundant Array of Independent Disks ) répartition par bloc RAID 1 disques miroirs RAID 2 codes correcteurs (e.g. type Hamming) moins de disque que 1 RAID 3 répartition par bit (ou octet) un disque de parité (détection) récupération d ’une faute d ’un disque RAID 4 disque de parité RAID 5 blocs de parité répartis permet les écritures parallèles RAID 6 codes correcteurs répartis 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Suite Implémentation dans couche basse transparent au SGBD logiciel pilote RAID matériel Choix dépend des contraintes de l ’application performance : 0 fiabilité : 1 performance + fiabilité (RAID10) coût élevé amène à considérer d’autres alternatives 2 et 4 supplantés par 3 et 5 27/11/2018 © Robert Godin. Tous droits réservés.

Comparaison des niveaux RAID Répartition Redondance Espace Fiabilité Lecture Écriture bloc aucune - ++ (inter-bloc) ++ 1 miroir --- +++ + 0+1 2 CCE -- 3 bit parité bit + (une faute) ++ (un bloc à la fois) 4 parité bloc 5 parité bloc répartie 6 CCE réparti 27/11/2018 © Robert Godin. Tous droits réservés.

18.2.3 Parallélisme d’entrée-sortie au niveau du SGBD Fragmentation de table Aléatoire requêtes difficilement prévisibles e.g. entrepôt de données Partition par intervalles de valeurs clé de partition Partition par hachage sélection par égalité 27/11/2018 © Robert Godin. Tous droits réservés.

18.2.4 Autres formes de parallélisme Plusieurs processeurs Plusieurs unités de mémoire Duplication des processus SGBD processus miroirs pour fiabilité 27/11/2018 © Robert Godin. Tous droits réservés.

Architecture à mémoire partagée (Symmetric MultiProcessor – SMP) 27/11/2018 © Robert Godin. Tous droits réservés.

Architecture à disques partagés 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Sans partage 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Architecture cluster Hybride parallèle/réparti Interconnexion par LAN rapide couche de clusterware Architecture en lames (blades) 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Oracle 10g Métaphore du « grid computing » Ressource de calcul virtuelle Transparence de l’architecture matérielle Supporte plusieurs combinaisons d’architectures parallèles et réparties Oracle Real Application Clusters (RAC) Un seul SGBD virtuel Architecture cluster à disque partagé Tire profit du coût décroissant des architectures à lames (machines peu coûteuses, Linux, réseaux très rapides, clusterware pour partage des disques, …) Paramétrage de haut niveau Fiabilité Performance Automatismes sophistiqués Mécanismes de surveillance et de mise au point intégrés Basculement transparent d’application suite à une faute Répartition automatique des services sur un bassin de ressources 27/11/2018 © Robert Godin. Tous droits réservés.

Parallélisme intraopération Parallélisme à l’intérieur d’une opération Balayage Tri Sélection Jointure Agrégats … 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Sélection parallèle 27/11/2018 © Robert Godin. Tous droits réservés.

© Robert Godin. Tous droits réservés. Jointure parallèle Fragmentation symétrique Fragmentation et duplication 27/11/2018 © Robert Godin. Tous droits réservés.