Christelle Scharff IFI 2004 Réseaux neuronaux Christelle Scharff IFI 2004

Inspiration de la biologie Structure du système nerveux: Un grand nombre de neurones connectés qui traitent l’information La réponse du neurone dépend de son état et de la force de la connexion Les forces sont développées par expérience Comportement du neurone

Neurone real et artificiel Simulation du cerveau humain

Réseaux neuronaux

Neurone Un nœud (neurone) est l’unité basique du traitement de l’information. Un nœud est construit sur: Des entrées numériques (l’entrée par défaut est appelée biais) Des poids Une fonction d’addition qui calcule la somme pondérée des entrées Une fonction d’activation qui limite l’amplitude de la sortie du nœud. 

Exemples de fonction d’activation (1)

Exemples de fonction d’activation (2) Fonction sigmoïde (logistique) Fonction tangente-hyperbolique (Tanh)

Structure (1)

Structure (2)

Algorithme (1) Entrée: Un ensemble S de m données classées. Les classes sont dans [0,1] ou {0,1}. C(X) est la classe d’un exemple X. Les données sont normalisées dans [0,1] ou {0,1} On choisit une fonction d’activation On choisit une architecte: Nombre d’entrées Nombre de sorties Nombre de couches internes Nombre de neurones de chacune des couches internes Pour une entrée X, O(X)=Y est la sortie calculée

Algorithme (2) L’algorithme minimise l’erreur suivante:

Algorithme (3) On initialise aléatoirement les poids de tous les neurones du réseau De façon itérative, on présente un élément X de S en entrée du réseau, le réseau calcule une sortie O(X), la sortie attendue est C(X). On peut mesurer l'écart entre la sortie calculée et la sortie attendue et on modifie les poids de la couche de sortie (pour minimiser l’erreur sur cet exemple) Rétropropagation du gradient pour le calcul des poids Un critère d'arrêt doit être défini

Réseau de neurones Différente méthodes existent pour déterminer la qualité d’un réseau de neurone: Le paramètre nombre d’exemples Le paramètre taux d’apprentissage La tolérance L’inertie

Entrées Il est souvent nécessaire de normaliser les entrées sur [0,1] ou {0,1} Exemple: A est un attribut prenant les valeurs {1,2,3,4,5} 3 entrées 3 est codé en binaire par 011 5 entrées 5 est code en 00100 1 entrée réelle 1 est code en 0, 2 en 0.25, 3 en 0.5, 4 en 0.75 et 5 en 1

Choix de l’architecture Une architecture riche mais pas trop!

Discussion Le modèle n’est pas très lisible Traitement des données numériques après normalisation Calcul de classification simple Temps d’apprentissage Apprentissage non incrémental Pas pour un grand nombre d’entrées

Références Cours de modélisation et de fouilles de données de Prof. Ravi Mantena, New York University. J. Han, and M. Kamber. Data Mining Concepts and Techniques. Morgan Kaufmann. Data Mining: A Tutorial-Based Primer. Richard J. Roiger & Michael W. Geatz. Addison Wesley. N. R. Nitin, and P. C. Bruce. Data Mining in Excel : Lecture notes and Cases.