EDA 07 H. Hachim et N. Novelli Structure Réutilisable pour le Calcul et la Manipulation des Cubes de Données Hassani Hachim et Noël Novelli Laboratoire d’Informatique Fondamentale de Marseille (LIF) 01/04/2017 EDA 07 H. Hachim et N. Novelli

EDA 07 H. Hachim et N. Novelli Structure Réutilisable pour le Calcul et la Manipulation des Cubes de Données Cube de données Problématique Etat de l’art Pré-calcul de cubes de données : DVCube Caractérisation Applications d’un DVCube EXPERIMENTATIONS CONCLUSION et PERSPECTIVES 01/04/2017 EDA 07 H. Hachim et N. Novelli

Cube de données Un cube de données est l'union des toutes les combinaisons possibles de Group-by sur une relation (Jim Gray et al. [ICDE 96]) SELECT A, B, C, SUM( M ) FROM Table CUBE BY A, B, C  SELECT All, All, All SUM( M ) FROM Table UNION SELECT A, All, All SUM( M ) FROM Table Group By A UNION SELECT All, B, All SUM( M ) FROM Table Group By B UNION SELECT All, All, C SUM( M ) FROM Table Group By C UNION SELECT A, B, All SUM( M ) FROM Table Group By A, B UNION SELECT A, All, C SUM( M ) FROM Table Group By A, C UNION SELECT All, B, C SUM( M ) FROM Table Group By B, C UNION SELECT A, B, C SUM( M ) FROM Table Group By A, B, C 2k Group By (cuboïdes) 01/04/2017 EDA 07 H. Hachim et N. Novelli

EDA 07 H. Hachim et N. Novelli Problématique Treillis de parties de A, B, C, D et E Espace de recherche exponentielle : 2k Group By (cuboïdes) 01/04/2017 EDA 07 H. Hachim et N. Novelli

EDA 07 H. Hachim et N. Novelli Etat de l’art Calculer de cube de données pipeHash, pipeSort (S. Sarawagi 96) Overlap (S. Agrawal, R. Ramakrishnan 96) ArrayCube (Y. Zhao 97) PartitionedCube and MemoryCube (K. A. Ross, D. Srivastava 97) Améliorer le temps de calcul BUC (K. Beyer, R. Ramakrishnan 99) : Approche Bottom-Up, Cube incomplet APIC (R. Cicchetti, N. Novelli, L. Lakhal 2001) Réduire les besoins mémoire Quotient Cube (L. V. S. Lakshmanan 2002) Cube Lattice (A. Casali, R. Cicchetti, L. Lakhal 2003) Approches diverses Cube eparpillé Sélection de vues Calcul parallèle ... 01/04/2017 EDA 07 H. Hachim et N. Novelli

Pré-calcul de cubes de données : DVCube 1> La fonction agrégative IdRows dans notre context, associe à chaque combinaisons (tuple) du cube, la liste d'identifiant des tuples auxquels cette combinaison apparaît dans la relation de base r. 2>On peut lire par exemple que la combinaisons ??hm apparaît aux lignes 1 et 3, la combinaison x??n n'apparaît qu'à ligne 2. 01/04/2017 EDA 07 H. Hachim et N. Novelli

EDA 07 H. Hachim et N. Novelli Caractérisation DV-Classe Intersection de 2 DV-Classe DV-Partition Produit de 2 DV-Partitions DV-Cube Algorithme RSCube A défaut de mémoire, on peut garde en ram tous les cubes de données. 01/04/2017 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube (1/5) - Calcul de plusieurs cubes de données - Calcul de cube à la volée - Calcul de cubes partiels - Recalcul de cubes de données (données téléphoniques, bancaires, météorologiques...) - Calcul de cubes de données en réseau 01/04/2017 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube (2/5) - Calcul de plusieurs cubes de données - Calcul de cube à la volée - Calcul de cubes partiels - Recalcul de cubes de données (données téléphoniques, bancaires, météorologiques...) - Calcul de cubes de données en réseau 01/04/2017 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube (3/5) - Calcul de plusieurs cubes de données - Calcul de cube à la volée - Calcul de cubes partiels - Recalcul de cubes de données (données téléphoniques, bancaires, météorologiques...) - Calcul de cubes de données en réseau 01/04/2017 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube x 15 65 - Calcul de plusieurs cubes de données - Calcul de cube à la volée - Calcul de cubes partiels - Recalcul de cubes de données (données téléphoniques, bancaires, météorologiques...) - Calcul de cubes de données en réseau 45 35 15 01/04/2017 EDA 07 H. Hachim et N. Novelli

Applications d’un DVCube - Calcul de plusieurs cubes de données - Calcul de cube à la volée - Calcul de cubes partiels - Recalcul de cubes de données (données téléphoniques, bancaires, météorologiques...) - Calcul de cubes de données en réseau 01/04/2017 EDA 07 H. Hachim et N. Novelli

EDA 07 H. Hachim et N. Novelli EXPERIMENTATIONS (1/2) (Casali et al. (2006)) 01/04/2017 EDA 07 H. Hachim et N. Novelli

EDA 07 H. Hachim et N. Novelli EXPERIMENTATIONS (2/2) 01/04/2017 EDA 07 H. Hachim et N. Novelli

CONCLUSION et PERSPECTIVES > Notion de pré-calcul de cubes : DVCube > Algorithme parallèle de calcul de cubes de données. > Recalcul de cubes de données > Calcul de plusieurs cubes de données > Calcul de Cubes de Données partiels > Calcul de cubes de données à la volée > Calcul de cubes de données en réseau + Cubes incomplets + Résumé de DVCube + Cubes incrémentale A défaut de mémoire, on peut garde en ram tous les cubes de données. 01/04/2017 EDA 07 H. Hachim et N. Novelli