Christelle Scharff IFI 2004

Présentation au sujet: "Christelle Scharff IFI 2004"— Transcription de la présentation:

1 Christelle Scharff IFI 2004
Réseaux neuronaux Christelle Scharff IFI 2004

2 Inspiration de la biologie
Structure du système nerveux: Un grand nombre de neurones connectés qui traitent l’information La réponse du neurone dépend de son état et de la force de la connexion Les forces sont développées par expérience Comportement du neurone

3 Neurone real et artificiel
Simulation du cerveau humain

4 Réseaux neuronaux

5 Neurone Un nœud (neurone) est l’unité basique du traitement de l’information. Un nœud est construit sur: Des entrées numériques (l’entrée par défaut est appelée biais) Des poids Une fonction d’addition qui calcule la somme pondérée des entrées Une fonction d’activation qui limite l’amplitude de la sortie du nœud. 

6 Exemples de fonction d’activation (1)

7 Exemples de fonction d’activation (2)
Fonction sigmoïde (logistique) Fonction tangente-hyperbolique (Tanh)

8 Structure (1)

9 Structure (2)

10 Algorithme (1) Entrée: Un ensemble S de m données classées. Les classes sont dans [0,1] ou {0,1}. C(X) est la classe d’un exemple X. Les données sont normalisées dans [0,1] ou {0,1} On choisit une fonction d’activation On choisit une architecte: Nombre d’entrées Nombre de sorties Nombre de couches internes Nombre de neurones de chacune des couches internes Pour une entrée X, O(X)=Y est la sortie calculée

11 Algorithme (2) L’algorithme minimise l’erreur suivante:

12 Algorithme (3) On initialise aléatoirement les poids de tous les neurones du réseau De façon itérative, on présente un élément X de S en entrée du réseau, le réseau calcule une sortie O(X), la sortie attendue est C(X). On peut mesurer l'écart entre la sortie calculée et la sortie attendue et on modifie les poids de la couche de sortie (pour minimiser l’erreur sur cet exemple) Rétropropagation du gradient pour le calcul des poids Un critère d'arrêt doit être défini

13 Réseau de neurones Différente méthodes existent pour déterminer la qualité d’un réseau de neurone: Le paramètre nombre d’exemples Le paramètre taux d’apprentissage La tolérance L’inertie

14 Entrées Il est souvent nécessaire de normaliser les entrées sur [0,1] ou {0,1} Exemple: A est un attribut prenant les valeurs {1,2,3,4,5} 3 entrées 3 est codé en binaire par 011 5 entrées 5 est code en 00100 1 entrée réelle 1 est code en 0, 2 en 0.25, 3 en 0.5, 4 en 0.75 et 5 en 1

15 Choix de l’architecture
Une architecture riche mais pas trop!

16 Discussion Le modèle n’est pas très lisible
Traitement des données numériques après normalisation Calcul de classification simple Temps d’apprentissage Apprentissage non incrémental Pas pour un grand nombre d’entrées

17 Références Cours de modélisation et de fouilles de données de Prof. Ravi Mantena, New York University. J. Han, and M. Kamber. Data Mining Concepts and Techniques. Morgan Kaufmann. Data Mining: A Tutorial-Based Primer. Richard J. Roiger & Michael W. Geatz. Addison Wesley. N. R. Nitin, and P. C. Bruce. Data Mining in Excel : Lecture notes and Cases.