SQLSaturday 323 – Paris 2014 HDInsight Cas d'usages, Hive, Sqoop, Pig,...

Présentation au sujet: "SQLSaturday 323 – Paris 2014 HDInsight Cas d'usages, Hive, Sqoop, Pig,..."— Transcription de la présentation:

1 SQLSaturday 323 – Paris 2014 HDInsight Cas d'usages, Hive, Sqoop, Pig,...

2 SQLSaturday 323 – Paris 2014 Sponsors Gold

3 SQLSaturday 323 – Paris 2014 Sponsors Silver et Bronze

4 SQLSaturday 323 – Paris 2014 Speakers Romain Casteres Consultant BI & Big Data @PulsWeb www.PulsWeb.fr David Joubert Consultant Data & Analytics @Dj_Uber www.djuber.net

5 SQLSaturday 323 – Paris 2014 Big Data

6 SQLSaturday 323 – Paris 2014 Hadoop Map & ReduceHDFS

7 SQLSaturday 323 – Paris 2014 HDInsight

8 SQLSaturday 323 – Paris 2014 Une nouvelle brique du SI ?

9 SQLSaturday 323 – Paris 2014 Besoins Report environmental crime and issues easily to your local authority and have them resolved worldwide !

10 SQLSaturday 323 – Paris 2014 Architecture cible Query Export Experiment

11 SQLSaturday 323 – Paris 2014 Explorer et transformer la données Pig est une plateforme de traitement et d’analyse de données dans Hadoop Avantage :  Alternative à écrire du code MR directement Utilisation (non exhaustive) :  Trouver des données pertinentes dans un dataset  Requêter plusieurs datasets  Faire des calculs sur un dataset (COUNT,SUM,…)

12 SQLSaturday 323 – Paris 2014 Analyse de la données Hive est un système d'entrepôt de données dans Hadoop  Hive n'est pas une base de données relationnelle, il ne conserve que les métadonnées de vos données stockées sur le HDFS.  Hive convertit les requêtes HiveQL en commande Map Reduce. L’un des principaux avantages de HiveQL est sa ressemblance avec le langage SQL.

13 SQLSaturday 323 – Paris 2014 Exportation de la données sqoop import --connect jdbc:mysql://host/nyse --table StockPrices --target-dir /data/stockprice/ --as-textfile sqoop export --connect jdbc:mysql://host/mylogs --table LogData --export-dir /data/logfiles/ --input-fields-terminated-by "\t"

14 SQLSaturday 323 – Paris 2014 Industrialisation Azure AutomationSSIS Hive ODBC

15 SQLSaturday 323 – Paris 2014 Et demain ?  ORC  Vectorization  Tez

16 SQLSaturday 323 – Paris 2014 Question ? Merci !