Abdoulaye Baniré Diallo 6 mai 2009 Réseaux de neurones Abdoulaye Baniré Diallo 6 mai 2009

Réseau de neurones (le principe)

Le neurone artificiel: perceptron tj = seuil de l’unité j yi = signal d’entrée i wij = poids du signal yi dans le neuron j fj = fonction de transfert du neurone j Frank Rosenblatt (1958)

Fonctions d’activation Christine Decaestecker, ULB et Marco Saerens, UCL

Pourquoi un réseau de neurones Capacité de déduction d’informations dans des données imprécises et bruitées Capacité de déduire des relations qui sont complèxes pour l’humain et d’autres techniques informatiques Un expert des données avec lesquelles il a été entraîné Utile pour faire des projections et des suppositions

Pourquoi un réseau de neurones (Caractéristiques) Apprentissage adaptative Auto-organisation Opération en temps réel Tolérance aux fautes

Réseau de neurones vs programmation habituelle Le réseau de neurones peut prendre différentes approches pour résoudre un problème Si les étapes spécifiques de résolution du problème ne sont pas connus alors on ne peut utiliser la programmation classique Le réseau de neurones peut résoudre un problème que l’humain ne sait pas comment le faire Les deux approches doivent être complémentaires

Réseau de neurones (applications) Reconnaissance de la parole Reconnaissance des formes Prévision météo Prédiction des marchés financiers Évaluation de crédits En médecine et bioinformatique Modélisation et diagnostic des systèmes cardiovasculaires Médecin instantanné Prédiction des structures protéiques Classification des expressions de gènes …..

Modélisation de la structure protéique PROF - Secondary Structure Prediction System http://www.aber.ac.uk/~phiwww/prof/ COUDES: Prédiction de beta-turns dans la séquence http://bioserv.rpbs.jussieu.fr/Coudes/COUDES.html http://www.netasa.org/ GANN :Genetic Algorithm Neural Networks for Regulatory Region Identification http://bioinformatics.org.au/gann/ Oxford Protein Analysis Linker (OPAL) http://www.oppf.ox.ac.uk/bioinformatics.php

Questions Quelles données fournir au réseau? Quel résultat attendre? Comment coder? Les entrées Les sorties Structure du réseau Connexions (graphe) Calculs des paramètres Design initial et apprentissage

Comportement diverses Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses Fabrice Rossi : http://apiacoa.org/contact.html

Comportement diverses Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification Fabrice Rossi : http://apiacoa.org/contact.html

Problème classique: classification Fabrice Rossi : http://apiacoa.org/contact.html

Problème de la classification non linéaire (XOR) Exercice: Trouver la sortie pour (X1 = 1 et X2 = 1) et (X1 = 1 et X2 = 0)

Classification des réseaux Fabrice Rossi : http://apiacoa.org/contact.html

Réseau de neurones (Architecture)

Réseau de neurones (Architecture) FeedForward Retro propagation Christine Decaestecker, ULB et Marco Saerens, UCL

Architecture FeedForward Graphe biparti complet Le nombre de couches cachées et leurs tailles sont fonction de la complexité du problème Une des architectures les plus utilisées Multilayer perceptron

Apprentissage: Retropropagation Apprentissage supervisé Initialiser tous les poids entre -1.0 et +1.0 Initialiser l’ensemble d’entrée par des valeurs binaires Multiplier les poids qui conduisent à chaque neurone par les valeurs de sortie des neurones précédents Sommer les valeurs Donner le résultat à la fonction d’activation Répéter jusqu’au perceptron de sortie Comparer le patron de sortie et le comparer au patron désiré et calculer l’erreur associé Changer tous les poids pour tenir compte de l’erreur Répéter (2) jusqu’à ce que l’erreur soit 0 pour tous les patrons de sortie

Critères d’apprentissage Ensemble de données (training/learning set) Sorties désirées dans les problèmes supervisés Critère de performance Minimiser les moindres carrés (supervisé) Maximiser un critère de vraisemblance (supervisé) Méthodes d’optimisation basées sur la descente du gradient

Processus d’apprentissage Recouvrement associatif : apprendre à produire un patron particulier sur les entrées auto-association: association entre un patron d’entrée et un ensemble d’états hetero-association: association avec d’autres patrons d’entrée nearest-neighbour Rappel interpolé Détection de régularité: apprendre à distinguer les propriétés particulières Réseau fixe vs Réseau adaptatif

Remarques Bootstrap, validation croisée !! Overfitting Gros et couvrant l’ensemble des résultats attendus Équilibrée (non biaisée) Représentatif de la base de données considérée !! Overfitting Même validation que les HMM Architectures complexes Réseaux Radial Basis Functions Réseaux de prototypes Évaluation : spécificité, sensibilité …

Wisconsin Prognostic Breast Cancer (WPBC) Number of instances: 198 Number of attributes: 34 ID, outcome, 32 real-valued input features 1) ID number 2) Outcome (R = recur, N = nonrecur) 3) Time (recurrence time if field 2 = R, disease-free time if field 2 = N) 4-33) Ten real-valued features are computed for each cell nucleus: a) radius (mean of distances from center to points on the perimeter) b) texture (standard deviation of gray-scale values) c) perimeter d) area e) smoothness (local variation in radius lengths) f) compactness (perimeter^2 / area - 1.0) g) concavity (severity of concave portions of the contour) h) concave points (number of concave portions of the contour) i) symmetry j) fractal dimension ("coastline approximation" - 1) 34) Tumor size - diameter of the excised tumor in centimeters 35) Lymph node status - number of positive axillary lymph nodes observed at time of surgery Missing attribute values: Lymph node status is missing in 4 cases. 9. Class distribution: 151 nonrecur, 47 recur

Sites de liaison pour des facteurs de transcription Étude de cas Sites de liaison pour des facteurs de transcription

Problème Étant donnée la région instigatrice (promoter) d’un gène (~1000bp) Trouver: Quels sons les facteurs de transcription qui sont liés dans cette région?