Les Big Data en météorologie: RA-I Regional Technical Conference (RECO) Les Big Data en météorologie: Une opportunités pour les services météorologiques nationaux en Afrique Omar Chafki, Pr Of Morocco Cairo, Egypt. 18 - 20 February 2019

Plan Définition Le contexte mondial L’Afrique Digitale La Chaine de la Valeur Les Big Data en Météorologie Les solutions Big Data Les Recommandations

Les Big Data Mégadonnées, grosses données ou encore données massives. Ils désignent un ensemble très volumineux de données qu’aucun outil classique de gestion de base de données ou de gestion de l’information ne peut vraiment travailler.  Par définition , les Big Data sont des Mégadonnées ….. En général, on ne peut traiter des Big data sans parler des ces nouveaux concepts qui y sont étroitement liés à savoir:……… Internet of Things Le Cloud Crowd Sourcing Machine-Learning

Les solutions Big Data : Dans chaque solution Big Data, les 5 V suivants devront être étudiés. Big Data Volume Vélocité Variété Véracité Valeur

Le Contexte Mondial Connecter toute la population mondiale à Internet à l’horizon 2050 Connecter progressivement et massivement les biens physiques (objet) à Internet Internet accessible et à des débits importants répondant aux besoins des applications nouvelles Par définition , les Big Data sont des Mégadonnées ….. En général, on ne peut traiter des Big data sans parler des ces nouveaux concepts qui y sont étroitement liés à savoir:………

Le Contexte Mondial (suite) Le recours aux nanosatellites et aux microsatellites pour des besoins de recherche et de communication, Croissance rapide prévue du nombres d’abonnés aux services mobiles fournis par ses satellites, lancement prévu de plus de 2500 nano/micro satellites dans les 5 prochaines années.

Qu’en est il de l’Afrique? Le continent Africain est en pleine transformation digitale; Croissance rapide prévue du nombre d’utilisateurs d’Internet (600 à 900 Millions d’utilisateurs); Le Marché Internet et mobile est très prometteur en Afrique avec une nette contribution au PIB; Afrique subsaharienne: 420 millions d'abonnés à l'internet mobile en 2025; Malgré les scénarios optimistes de l’expansion de l’Internet et du mobile en Afrique, le taux d’accés à Internet restera toujours inférieur à la moyenne mondiale. Source: Rapport Mc Kinsey Global Institute et World Bank

Prévision & Modélisation Numérique Observations Environnementales Les Big Data en Météorologie Prévision & Modélisation Numérique Observations Environnementales Données climatiques

Extraction de l’information Utile et valorisante : La Pyramide DIKW Selon cette pyramide, le Big data est une opportunité les Big data sont à la base d’une nouvelle Intelligence plus globaliste Mesures environnementales: en Surface, en altitude, de l’espace, dans l’atmosphère et dans les océans…. Données climatologiques, analyses, prévisions, modélisation, alertes… Recherche scientifique, développement numérique, politiques nationales Mesures d’adaptation, Orientations globales… Valeur To Know What To Know How To Know Why Decision Risk Capitaliser sur l’ensemble des données/observations disponibles, Adopter les traitements d’information adaptés Enrichir le savoir Atteindre un niveau de sagesse à travers les conclusions atteintes et les leçons apprises Extraction de l’information Utile et valorisante :

Ce qu’on doit apprendre à faire! Les Big Data : Observation Environnementale Ce qu’on doit apprendre à faire! Ce qu’on sait faire depuis toujours!

Fruit d’une collaboration Privé/Public Les Big Data : Observation météorologique Continental Météo-France Down Stream Interface Utilisateur Up Stream Capteurs du Véhicule Température extérieure Pression Essuies glace Feu de brouillard Système de braquage ABS Prévisions Géo- localisées Prévisions et alertes reçues sur l’écran du véhicule Fruit d’une collaboration Privé/Public  M. Dellaqua, 2016 Très bon accord entre les températures spatialisées et celles transmises par les véhicules (incertitudes < 1°C) Bonne détection des températures négatives associées aux risques de glace

Les Big Data : Observation Environnementale réseau de stations automatiques peu couteuses relevant des: Observateurs bénévoles Recherche universitaire Concept de SMART CITIES Caméra de surveillance avec détection de l’occurrence pluie/brouillard Températures issues des smartphones Drones équipés pour l’observation météorologique Cartes de précipitation issues des signaux des antennes cellulaires Profils GNSS et données établis par les nano-satellites

Les Big Data : Observation Environnementale

Les Big Data : Observation Environnementale L’observation Participative (contribution du grand public) peut service à valider les produits d’observation et/ou de prévision

Les Big Data : Observation Environnementale L’observation Participative (contribution du grand public) peut service à valider les produits d’observation et/ou de prévision

Les Big Data : Prévision & Modélisation Numérique Un nombre important de modèles numériques en exploitation par les prévisionnistes (modèles globaux, modèles à aires limitées, modèles à haute résolution, modèles ensemblistes…), Des résolutions spatiales de plus en plus meilleures; Des échéances temporelles de plus en plus importantes; Des centaines de produits à analyser; Volume important de données (Sat, radar, foudre, observation en surface, radiosondage, profils inversés, GPS, sorties des différents modèles….) Exemple: Avec le modèle AROME à 2,5 km sur le Maroc, la quantité d’information mise au profit des prévisionnistes pour chaque Run est passée d’environ 3 Gbits à 100 Gbits.

Les Big Data : Prévision & Modélisation Numérique Evolution des systèmes de calcul de la Direction de la Météorologie Nationale 1995 2001 2009 2010 2016 2019 CRAY J916 IBM RS6000/SP IBM TS3310 + DS4700 IBM HPC IBM TS4500 + Storwize V5000 HPC LENOVO : 120 nodesSR850 + 8 nodes SR630 + IBM V7000 Gen3 + Infiniband Mellanox SB7700 Puissance de calcul 1.2 Gflops 54 Gflops 8.3 Tflops 1069 Tflops Mémoire Centrale 2 GB 19 GB 1.95 TB 48.384 TB Mémoire de masse 44 GB 1 TB 52 TB 205 TB disques All Flash + 315 TB disques NL SAS Stockage 2.64 TB 14 TB (bandes LTO1) 170 TB (bandes LTO4) + 16 TB (disques) 700 TB (bandes LTO6) + 200 TB (disques)

La réussite des solutions Big Data : 1 Collaboration entre le secteur Privé et public 2 Disponibilité des données (fréquence, mode de collecte…), 3 Standardisation et interopérabilité (format, calcul de l’incertitude, procédures communes …) 4 Moyens de Télécommunication et d’échange des données 5 La sécurités des SI 6 Moyens et Capacités de traitement et d’archivage 7 Outils d’extraction de l’information (assimilation des données, modèles décisionnels…) Et pour chaque solution, les aspects suivants devront être étudiés

Conclusions & Recommandations: Les Big data constituent une opportunité pour les services météorologiques nationaux en Afrique néanmoins la chaine de la valeur devra être appliquée. Les SMHN devront montrer plus d’agilité et de souplesse pour accepter des observations non conventionnelles mais adaptées au besoin de certains utilisateurs finaux. Les risques liés au manque de ressources humaines qualifiées, de ressources informatiques dédiées et de moyens de télécommunication devront être adressés; Les expériences menées par certains pays membres devront être partagées et les leçons apprises publiées. Les études permettant de qualifier les exactitudes et la véracités des nouvelles données issues du Big Data sont à encourager; Une priorité est à accorder à la standardisation et à la mise en place de procédures et d’orientations communes pour l’exploitation de ces données . La collaboration entre le secteur Privé et Public pour la définition, l’étude et l’évaluation de nouvelles sources de données est à promouvoir. Et pour chaque solution, les aspects suivants devront être étudiés