Année universitaire 2017 / 2018 Data Mining realiser par: Mohamed karim haffar Ahmed Zouaghi Mohamed Stambouli Mahdi Hammami

Plan du projet Introduction Règles d’association Classification et prédiction Regroupement Extraction de types complexes Applications du Datamining et tendances actuelles

Introduction Motivation: Le besoin crée l’invention Ce qu’est le Data mining? Data Mining: Sur quels types de données? Fonctionnalités du Data mining Intérêt des motifs (patterns) Classification des systèmes de Data mining Problèmes rencontrés

Motivation: Le besoin crée l’invention Problème de l’explosion de données Les outils automatiques de collecte de données font que les Bases de Données (BD’s) contiennent énormément de données (Ex: La base de données des transactions d’un super marché) Beaucoup de données mais peu de connaissances ! Solution: Data warehousing et data mining Data warehousing et OLAP (On Line Analytical Processing) Extraction de connaissances intéressantes (règles, régularités, patterns, contraintes) à partir de données

Evolution des Bases de Données 1960: Collecte des données, création des BD’s, IMS et le modèle réseau 1970: Modèle et SGBD’s relationnels, transactions 1980: Modèles de données et SGBD’s avancés (relationnel étendu, déductifs, etc.) et SGBD’s dédiés (spatial, génomique, engineering, etc.) 1990—2000: Data mining et data warehousing, BD’s multimédia, BD’s sur le WEB

Qu'est ce que le Data Mining Extraction d’informations à partir de grandes bases de données. Autres appellations: ECD (Extraction de Connaissances à partir de Données) KDD (Knowledge Discovery from Databases) Analyse de données/patterns, business intelligence,, etc … fouille de données

Pourquoi faire ? Applications potentielles Analyse de données et aide à la décision Analyse de marché Marketing ciblé, gestion des relations client, analyse des achats des clients, ventes croisées, segmentation du marché Analyse de risque Détection de fraudes Autres Applications Text mining : news groups, emails, documents Web. Optimisation des requêtes

Analyse de marché et management Les sources de données à analyser ? Transactions avec carte de crédit, carte de fidélité, sondages Marketing ciblé Trouver un « modèle » pour regrouper les clients partageant les mêmes caractéristiques. Pour chaque groupe, adopter une démarche marketing particulière Analyse croisée Associations/co-relations entre ventes de produits Prédiction basée sur ces associations

Applications L’analyse d’une BD de transactions d’un supermarché permet d’étudier le comportement des clients : réorganiser les rayons Ajuster les promotions En VPC, regrouper les clients selon certains critères : Cibler les « mailings » L’analyse de données médicales L’analyse de données financières : Prédire l’évolution des actions Organismes de crédit (dresser des profils de clients)

Applications Détection de fraudes Approche Exemples en santé, services de cartes de crédit, télécommunications, etc. Approche Utiliser les données historiques pour construire des modèles de comportements frauduleux puis utiliser les techniques de datamining pour retrouver des instances similaires Exemples Assurances auto: détecter les personnes qui collectionnent les accidents et les remboursements Blanchiment d’argent: détecter les transactions suspectes (US Treasury's Financial Crimes Enforcement Network)

Applications Astronomie Web Le laboratoire JPL a découvert 22 quasars en utilisant les techniques de datamining Web IBM a appliqué des algorithmes de data mining pour réorganiser leurs sites WEB afin de faciliter la navigation. Améliorer le WEB marketing

Datamining: Un processus dans l’ECD Connaissance Evaluation de patterns Data mining: étape clé dans l’extraction de connaissances Data Mining Données intéressantes Data Warehouse Sélection Nettoyage de données Intégration Bases de données ou fichiers

Etapes du processus d’ECD Comprendre le domaine d’application Création d’un ensemble de données (sélection) Nettoyage et pré-traitement des données Choix des fonctionnalités du data mining classification, consolidation, régression, association, clustering. Choix de(s) l’algorithme(s) d’extraction Datamining: Recherche des motifs (patterns) intéressants Evaluation des Patterns et présentation visualisation, transformation, suppression des patterns redondants, etc. Utilisation de la connaissance extraite

Fonctionnalités du Data Mining On distingue deux grandes familles de tâches réalisées en datamining Description : consiste à trouver les caractéristiques générales relatives aux données fouillées Prédiction : consiste à faire de l’inférence à partir des données actuelles pour prédire des évolutions futures

Quels types de motifs extraire ? Description de concepts: Caractérisation et discrimination Caractérisation : Il s’agit de trouver des descriptions concises et précises de certains concepts. Ex: On a une table décrivant les clients d’une entreprise.

Quels types de motifs extraire ? Classification et Prédiction Trouver des modèles (fonctions) qui décrivent et distinguent des concepts pour de futures prédictions Ex : classifier les pays en se basant sur leurs climats, les voitures selon leurs carburants Présentation: Arbres de décision, règles de classification, réseaux neuronaux Prédiction: Prédire des valeurs inconnues Démarche: On prend un échantillon (jeu d’essai) dans lequel chaque objet est associé à une classe Analyser chaque classe (son contenu) pour pouvoir ensuite affecter chaque objet nouveau à une classe particulière

Quels types de motifs extraire ? Analyse de groupes (clusters) Appelée aussi classification non supervisée Le regroupement est basé sur le principe: maximiser la similarité intra-groupe et la minimiser entre groupes distincts Le nom de chaque groupe est inconnu

Quels types de motifs extraire ? Analyse d’exceptions Les objets non conformes à la tendance générale Une exception peut être considérée comme du bruit mais aussi comme indice de fraude Analyse de tendances Tendance et déviation: analyse de régression Extraction de séquences séquentiels, analyse de périodicités

Est-ce que tous les motifs découverts sont utiles? Un système de data mining peut générer des milliers de motifs pas tous intéressants. C’est quoi un motif intéressant ? Mesure d’intérêt : Un motif est intéressant s’il est facilement compréhensible, a un degré de certitude, nouveau, peut servir à valider (ou invalider) une hypothèse utilisateur Mesure Objective vs. Subjective : Objective: basée sur des mesures statistiques : support, confiance, etc. Subjective: basée sur le point de vue de l’utilisateur sur les données, ex: le fait que cela soit inattendu, nouveauté, actionnabilité, etc.

Peut-on trouver tous et que les motifs intéressants? Trouver tous les patterns intéressants: Complétude Association vs. classification vs. regroupement Trouver que les patterns intéressants: Optimisation Approches D’abord les trouver tous puis filtrer Ne générer que les motifs intéressants

Data Mining: Confluence de plusieurs Disciplines Statistique Technologie BD Data Mining Apprentissage Visualisation Théorie de l’information Autres Disciplines

Classification des systèmes Fonctionnalité générale Data mining descriptif Data mining prédictif Différentes vues, différentes classifications Types de BD’s à fouiller Types de connaissances à découvrir Types de techniques utilisées Application ciblée

Classification des systèmes BD fouillée Relationnelle, transactionnelle, active, spatiale, séries temporelles, texte, multi-media, hétérogènes, etc. Connaissance recherchée Association, classification, tendance, analyse de déviation, etc. Multiples fonctions aux différents niveaux Techniques utilisées BD, data warehouse (OLAP), apprentissage, statistiques, visualisation, réseaux de neurones, etc. Applications télécommunication, banque, analyse de fraude, finance, Web, …

Problématiques Méthodologie et interaction Différents types de connaissances à extraire Prise en compte des connaissances des experts Expression et visualisation des résultats Prise en compte des données incomplètes ou avec bruit Évaluation des motifs: notion d’intérêt Performance et mise en échelle Efficacité des algorithmes Méthodes Parallèles, distribuées et incrémentales Diversité des types de données Relationnels, objets complexes, texte, …

Data mining ultime arme du marketing

Exemples concrets de l’utilisation du Data Mining À titre d’exemple, une chaîne d’épiceries du Midwest s’est servie des logiciels de Data Mining d’Oracle pour analyser les modèles d’achats locaux. L’enseigne à découvert que, lorsque les hommes achètent des couches le jeudi et le samedi, ils ont également tendance à s’acheter.

Une analyse approfondie a également démontré que ces clients font habituellement leurs courses hebdomadaires le samedi. Le jeudi, ils se contentent d’acheter quelques articles seulement. La chaîne en a conclu que les clients achètent pour qu’elles soient prêtes pour le weekend.

Résumé Data mining: Découverte de motifs intéressants à partir de grandes quantités de données Une évolution naturelle de la technologie des SGBD, très demandée par diverses applications Un processus d’ECD inclut les étapes: nettoyage, intégration, sélection, transformation, data mining, évaluation des patterns, présentation de la connaissance La fouille peut se faire sur différents types d’entrepôts de données Fonctionnalités: discrimination, association, classification, analyse de tendances, etc.

Merci Fin