Les réseaux de neurones

Présentation au sujet: "Les réseaux de neurones"— Transcription de la présentation:

1 Les réseaux de neurones

2 Plan de l’exposé Réseaux de neurones Techniques d’apprentissage
Reconnaissance optique de caractères (OCR)

3 Le réseau de neurones Définition
Un réseau de neurones est un outil d’analyse permettant de construire un modèle à partir de données, d’exemples. Un réseau de neurones est constitué d’un graphe dont les nœuds sont les neurones.

4 Le réseau de neurones Ghjjkgjkg Vue simplifiée d'un réseau de neurones artificiel

5 Le neurone Neurone biologique Neurone artificiel

6 Motivation, utilité Reconnaissance de caractères (OCR) Classification
Approximation d’une fonction inconnue Prédiction Transitions de phase

7 Perceptron Architecture xi = entrées (i = 1…n) wi = poids (i = 1…n)
w0 = biais y = sortie Le neurone est un dispositif « feedforward »

8 Perceptron Règle d’activation Activité a =
2. Sortie y = f(a) = activation Fonctions d’activation f: Sigmoïde (Fermi) Seuil (Heaviside)

9 Perceptron Séparabilité linéaire -w0 = 0
Cette équation définit un hyperplan dans l’espace des entrées.

10 Perceptron Limitation
Le perceptron peut uniquement résoudre les problèmes linéairement séparable. Le problème XOR

11 Perceptron Le problème XOR Solution

12 Perceptron multi-couches
Architecture

13 Perceptron multi-couches
Problème linéairement non séparable

14 Réseaux de neurones Discussion
Le réseau est une « boîte noire ». Il fournit uniquement une réponse (sortie) lorsqu’on lui présente des données (entrées). Il n’y a pas de justification sur la manière dont le réseau a donné sa réponse!

15 Exemples Carte auto-organisatrice Réseau multi-couche
Réseau de Hopfield

16 Apprentissage Observations Généralisations 1. Méthode supervisée
Convergence fixée 2. Méthode non supervisée Convergence libre

17 Algorithme d’apprentissage
1. Entraînement Apprentissage du réseau 2. Validation Vérification de l’entraînement 3. Test Mesure de la performance du réseau

18 Mode supervisé Motivation
On aimerait une machine qui classe différents échantillons dans différentes classes. Par exemple, une machine qui puisse reconnaître des caractères. Celle-ci donnerait la valeur 1 à la sortie s’il s’agit d’un « A » et 0 sinon. Des erreurs sont permises.

19 Mode supervisé Motivation On possède une base de données.
On a P couples entrées-sorties x est la valeur d’entrée t est la valeur désirée (target value)

20 Mode supervisé Vue générale

21 Perceptron Algorithme du perceptron
Initialisation aléatoire des poids du perceptron Comparaison de la sortie du perceptron avec la valeur désirée Ajustement des poids (apprentissage) Convergence

22 Perceptron Descente de gradient Erreur quadratique
Ajustement des poids

23 Perceptron Descente de gradient

24 Perceptron Algorithme du perceptron

25 Perceptron multi-couches
Algorithme de backpropagation Généralisation de la descente du gradient Rendre le problème linéairement séparable

26 Surapprentissage Spécialisation Tester plusieurs architectures
de réseau avec différents nombres de neurones Méthode du « early stopping »

27 Reconnaissance optique de caractères
Perceptron multi-couches Backpropagation Surapprentissage Test

28 Reconnaissance optique de caractères
Déroulement Déterminer une base de données Preprocessing des données Séparer en base d’apprentissage (entraînement et validation) et en base de test Entraîner le réseau (à l’aide de l’algorithme de backpropagation) Optimiser l’erreur (validation) Mesurer la performance du réseau (à l’aide de la base de test)

29 Reconnaissance optique de caractères

30 Reconnaissance optique de caractères

31 Reconnaissance optique de caractères
Entraînement

32 Reconnaissance optique de caractères
Test

33 Reconnaissance optique de caractères
Test

34 Fin