Gestion des événements métiers avec StreamInsight et BizTalk Server 8 février 2010 RB BG Benjamin Guinebertière Architecte Microsoft France blogs.msdn.com/benjguin Roch Baduel Directeur du pôle BizTalk MCNext date

MCNEXT Stand C28 .Net BI BizTalk SharePoint Filiale du groupe MOZZAIK, MCNEXT est une société de conseil et services informatiques dédiée aux technologies MICROSOFT. Savoir–faire autour de 4 pôles, tous pilotés par des experts reconnus 90 collaborateurs Présent à Paris et Genève Accompagnement global de nos clients : Conseil fonctionnel, Architecture technique, Accompagnement méthodologique, Graphisme/ergonomie (Web Agency), Réalisation (forfait/régie), TMA, Formation. date

Plan Introduction BizTalk Server Business Activity Monitoring (BAM) Nouveautés SQL Server 2008 R2 Traitement d’événements complexes (CEP) avec StreamInsight Complémentarité BizTalk et StreamInsight BG CEP = Complex Event Processing date

Introduction Différentes sortes d’événements Vue fonctionnelle d’événements techniques récupérés à partir de sondes réparties Observation, surveillance fonctionnelle BizTalk Server 2009 Business Activity Monitoring (BAM) processus BizTalk Server 2009 orchestration Grand nombre d’événements (mesures, …) SQL Server 2008 R2 StreamInsight Détection d’événements métier Evénement métier (alerte, …) BG date

BizTalk Vos Processus sont-ils Intégrés ? Processus Métier J2EE B2B BG Mobilité .NET Legacy Base de données Dymamics Système d’information rigide, Evolutions couteuses, Manque de visibilité…

BizTalk Des Processus Intégrés ! Processus Métier J2EE B2B BG « BizTalk automatise et optimise les processus métiers, en orchestrant les échanges d’information et en intégrant les applications et les partenaires ». Mobilité .NET Legacy Base de données Dymamics Couplage lâche, Orienté service (SOA), Automatisation et suivi métier en temps réel

Fonctionnalités BizTalk Management Business Rule Engine B2B/EDI Orchestration Activity Monitoring RFID Messaging & Integration Tools BG date

BAM (Business Activity Monitoring) Comment ça Marche ? BAM (Business Activity Monitoring) Visibilité métier de bout en bout en temps réel .NET Orchestration Business Rule Engine Réception   Emission  Règle Emission Réception Emission Filtrage, Validation Transformation Transformation Validation, Routage xml xml Filtrage, Validation Transformation Message Box BG Connecteur SQL Server Connecteur Connecteur data data data CRM iSeries SAP date

Exemple d’orchestration Démo Exemple d’orchestration Processus BizTalk Planification DI RI retards RB DI = Demande d’intervention RI = Rapport d’intervention date

Business Activity Monitoring (BAM) Objectif BAM  suivre, analyser les processus Agrège des événements en activité Commande BZ Corp Préparée par JDP Expedition RB Reception 09/02 16:30 Validation 09/02 17:15 Facturation 28/02 10:33 Paiement 15/03 14:10 Client Total Expedition Région Preparateur BZ Corp 1230,25 € UPS Express Ile de France JDP date

SQL Reporting Services BAM - Fonctionnement Définition de l’activité  Struture de stockage dynamique RDB, SSIS, OLAP Definition (Excel)  Déploiement Client Total Expedition Région Preparateur Reception Validation Restitution Portail BAM Office Excel SQL Reporting Services Office Performance Point Spécifique (Web Services) RB Dimensions Infrastructure BAM Progression Processus Temps date

BAM - Alimentation Intercepteurs API BAM Dynamic Infrastructure ... Direct Event Stream (Managed class) Buffered Event Stream Intercepteur BAM (Managed Class) BE3 BE5 ... Events Payload Filters Event Stream NT Service Event Buffering RB .NET BizTalk Server Intercepteurs WCF & WF Document Orchestration Orchestrations Vos Applications date

Interception et BAM API Démo Interception et BAM API Activité BAM Processus BizTalk Planification DI RI retards RB DI = Demande d’intervention RI = Rapport d’intervention date

Nouveautés de SQL Server 2008 R2 StreamInsight est une de ces nouveautés parmi d’autres … BG date

Plateforme de données complète et intégrée Plateforme fiable et montée en charge Efficacité IT & Developpeurs BI en libre service Sécurité d’entreprise, montée en charge Complex Event Processing Support des dernières innovations hardware Gestion Multi-Serveur enrichie Virtualisation & Live Migration Deploiement accéléré de la couche d’accès aux données PowerPivot Report Builder 3.0 Master Data Services BG Jusqu’à 256 processeurs logiques (32*8) Microsoft SQL Server 2008 R2 Parallel Data Warehouse (previously code named project "Madison") is a highly scalable appliance that delivers performance at low cost through a massively parallel processing (MPP). Plateforme de données complète et intégrée Parallel DataWareHouse Support MPP pour les DWH de plus de 100To Appliances hautement scalable Integré avec Microsoft BI SGBDR dans le cloud Programmation & Outil similaire à SQL Server Auto-Administration, hautement disponible

CEP - Problématique Analyse de (plusieurs) flux d’évènements continus dans le but d’en extraire une information pertinente Exemple : Calcul d’agrégation et détection de seuil en continu Corrélation de flux Détection de pattern Particularités : Débit potentiellement élevé Latence de détection faible Flux potentiellement infini Détection basée sur des fenêtres temporelle RB Temps date

CEP : Exemples Capteurs, prédiction de pannes Industrie, Télémetrie (ex : ascenseur) … Web : profiling dynamique (Click Stream) Détection de fraude Trading algorithmique RB date

CEP : StreamInsight CEP Engine Développeur Evts sources .NET C# LINQ Développeur IDE Evts sources CEP Application at Runtime Evts cibles Matériel, Capteurs CEP Engine SMS, station de surveillance Event Standing Queries Event Event Serveurs Web Input Adapters Event Event Output Adapters Event Tableaux de bord, SharePoint Event Event BG Event BD, stockage d’événements Application de pilotage C_ID C_NAME C_ZIP Bourse, flux RSS BD, stockage d’événements Données de référence statique date

Comparaison avec les bases de données relationnelles Base de Données relationnelle StreamInsight Requêtes dynamiques SELECT… Données dynamiques BG Données statiques Requête statique from … date

StreamInsight : Mise en œuvre Déclaration de la structures des events Classes, Structures .NET Création des adapteurs Entrée / Sortie Ecritures des requêtes (LINQ) sur les flux CEP Projection Join Union Agregation (Fenêtre temporelle) Group RB date

Filtrage et détection avec StreamInsight Démo Filtrage et détection avec StreamInsight ° C Moteurs StreamInsight kW RB date

Complémentarités BAM et CEP (*) prennent tous deux des événements en entrée BAM StreamInsight Unité de traitement principal Activité = processus fonctionnel Fenêtre de temps Fréquence typique des événements Des centaines d’événements par heure Des dizaines de milliers d’événements par seconde Génère typiquement Structure et données dans base de données relationnelle et cubes appels d’API Flux plus fonctionnel Positionnement par rapport aux processus métier plutôt en aval plutôt en amont Latence De la seconde au ¼ h (cubes) Quelques millisecondes BG (*) BAM = Business Activity Monitoring (BizTalk), CEP = Complex Event Processing (StreamInsight) date

Interception et BAM API Démo Interception et BAM API Activité BAM Processus BizTalk Planification DI ° C Moteurs StreamInsight alerte Filtre maintenance kW RI retards RB StreamInsight alerte DI = Demande d’intervention RI = Rapport d’intervention Processus de demande de sous-traitance date

Conclusion Gestion des événements métiers Avec SQL Server 2008 R2 StreamInsight Nouveau composant de SQL Server Recherche de patterns (requête fixe) dans des flux de données Avec BizTalk Server Business Activity Monitoring Unification de plusieurs événements techniques venant d’un ou plusieurs processus en une activité (~processus métier) Ce sont deux briques complémentaires BG date