Les réseaux de neurones

Plan de l’exposé Réseaux de neurones Techniques d’apprentissage Reconnaissance optique de caractères (OCR)

Le réseau de neurones Définition Un réseau de neurones est un outil d’analyse permettant de construire un modèle à partir de données, d’exemples. Un réseau de neurones est constitué d’un graphe dont les nœuds sont les neurones.

Le réseau de neurones Ghjjkgjkg Vue simplifiée d'un réseau de neurones artificiel

Le neurone Neurone biologique Neurone artificiel

Motivation, utilité Reconnaissance de caractères (OCR) Classification Approximation d’une fonction inconnue Prédiction Transitions de phase

Perceptron Architecture xi = entrées (i = 1…n) wi = poids (i = 1…n) w0 = biais y = sortie Le neurone est un dispositif « feedforward »

Perceptron Règle d’activation Activité a = 2. Sortie y = f(a) = activation Fonctions d’activation f: Sigmoïde (Fermi) Seuil (Heaviside)

Perceptron Séparabilité linéaire -w0 = 0 Cette équation définit un hyperplan dans l’espace des entrées.

Perceptron Limitation Le perceptron peut uniquement résoudre les problèmes linéairement séparable. Le problème XOR

Perceptron Le problème XOR Solution

Perceptron multi-couches Architecture

Perceptron multi-couches Problème linéairement non séparable

Réseaux de neurones Discussion Le réseau est une « boîte noire ». Il fournit uniquement une réponse (sortie) lorsqu’on lui présente des données (entrées). Il n’y a pas de justification sur la manière dont le réseau a donné sa réponse!

Exemples Carte auto-organisatrice Réseau multi-couche Réseau de Hopfield

Apprentissage Observations Généralisations 1. Méthode supervisée Convergence fixée 2. Méthode non supervisée Convergence libre

Algorithme d’apprentissage 1. Entraînement Apprentissage du réseau 2. Validation Vérification de l’entraînement 3. Test Mesure de la performance du réseau

Mode supervisé Motivation On aimerait une machine qui classe différents échantillons dans différentes classes. Par exemple, une machine qui puisse reconnaître des caractères. Celle-ci donnerait la valeur 1 à la sortie s’il s’agit d’un « A » et 0 sinon. Des erreurs sont permises.

Mode supervisé Motivation On possède une base de données. On a P couples entrées-sorties x est la valeur d’entrée t est la valeur désirée (target value)

Mode supervisé Vue générale

Perceptron Algorithme du perceptron Initialisation aléatoire des poids du perceptron Comparaison de la sortie du perceptron avec la valeur désirée Ajustement des poids (apprentissage) Convergence

Perceptron Descente de gradient Erreur quadratique Ajustement des poids

Perceptron Descente de gradient

Perceptron Algorithme du perceptron

Perceptron multi-couches Algorithme de backpropagation Généralisation de la descente du gradient Rendre le problème linéairement séparable

Surapprentissage Spécialisation Tester plusieurs architectures de réseau avec différents nombres de neurones Méthode du « early stopping »

Reconnaissance optique de caractères Perceptron multi-couches Backpropagation Surapprentissage Test

Reconnaissance optique de caractères Déroulement Déterminer une base de données Preprocessing des données Séparer en base d’apprentissage (entraînement et validation) et en base de test Entraîner le réseau (à l’aide de l’algorithme de backpropagation) Optimiser l’erreur (validation) Mesurer la performance du réseau (à l’aide de la base de test)

Reconnaissance optique de caractères

Reconnaissance optique de caractères

Reconnaissance optique de caractères Entraînement

Reconnaissance optique de caractères Test

Reconnaissance optique de caractères Test

Fin