Un neurone élémentaire

Présentation au sujet: "Un neurone élémentaire"— Transcription de la présentation:

1 Un neurone élémentaire
Fauconnier Cécile Informatique de Gestion Université de Liège

2 Introduction Un réseau de neurones est un outil d'analyse statistique
Définitions: Un neurone est une fonction algébrique non linéaire, paramétrée, à valeurs bornées Un réseau de neurones est un ensemble fini de neurones, c’est-à-dire un ensemble fini de fonctions algébriques non linéaires, paramétrées, à valeurs bornées.

3 Un neurone poids f sortie entrées

4 Mise en oeuvre Mise en œuvre d'un réseau de neurones:
Définition de la structure du réseau Détermination des paramètres qui définissent le réseau Phase de validation

5 Plan de l'exposé Problème posé et définitions conceptuelles
Résolution pratique du problème et résultats

6 Le problème Données: Questionnaires éventuellement mal remplis et décisions pour chaque questionnaire Problème: extraire la prise de décision à l’aide de ces questionnaires pour pouvoir traiter tous les questionnaires de même type qui pourraient être remplis

7 Représentation Abstraction du problème g' A X D g

8 Les données D: matrice de bits n X c
nb de questionnaires X nb de bits par questionnaire A chaque ligne de D correspond le bit donné par la valeur de g. Ces bits forment un vecteur colonne de bits, à n lignes: le vecteur R

9 Un neurone Un neurone réalise une fonction non linéaire bornée appelée fonction d’activation y=f(e1,…eJ,w1,…,wJ) où les ej sont les variables et les wj les paramètres Sortie du neurone: Les poids wj renforcent les liaisons, les annulent ou les diminuent.

10 Fonction d’activation
Choix: la fonction signe

11 Résolution du problème
Résoudre le problème posé à l’aide d’un neurone dont la structure est définie, c’est déterminer les paramètres wj qui définissent ce neurone de telle manière que les valeurs de ce neurone approchent au mieux les valeurs de la fonction g de départ pour les différents questionnaires donnés.  Phase d’apprentissage

12 Résolution du problème
Lorsque les paramètres wj seront déterminés, la fonction g’ cherchée sera définie par

13 Défaut du neurone Soit di un questionnaire caractérisé par les bits e1,…,ec. Le défaut pour ce questionnaire est donné par

14 Défaut d’un neurone Défaut du neurone

15 Apprentissage Définition:
Procédure qui consiste à estimer les paramètres des neurones du réseau, afin que celui-ci remplisse au mieux la tâche qui lui est affectée.

16 Méthode d’ajustement Choix de la méthode : Calcul Poids aléatoires
w1,…,wc Calcul du défaut Changement de poids On garde les poids Si le défaut a diminué

17 Valeur de la méthode d’ajustement
Le concept d’apprentissage n’est intéressant que si le réseau possède la capacité de généralisation. Deux méthodes: Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification Comparaison au modèle aléatoire théorique

18 Elaboration pratique Problème concret:
11 notes sur 20 pour 99 étudiants Grade obtenu pour chaque étudiant Question: un étudiant donné a-t-il une distinction ou non?

19 Transformation des données
Notes ramenées sur 15 Notes codées sur 4 bits Grade1 bit : présence d’une distinction  1 absence d’une distinction  -1 pas de décision 0  Au total, 45 bits par étudiant

20 Phase d’ajustement Procédé : Modification d’un poids à la fois
tant que le défaut diminue D, R, Poids aléatoires w1,…,wc w1,…wc modifiés Modification de 2 poids à la fois tant que le défaut diminue Modification de 3 poids à la fois tant que le défaut diminue

21 Résultats Valeur du neurone pour un étudiant i donné
Erreur initiale: 226 Erreur après modification de 1 poids à la fois : 56 Erreur après modification de 2 poids à la fois : 44 Erreur après modification de 3 poids à la fois : 36

22 Influence des poids initiaux aléatoires
Grande influence des poids initiaux. Défaut compris entre 20 et 56 Moyenne: Ecart-type : 8.1

23 Validité de la méthode Deux méthodes:
Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification Comparaison au modèle aléatoire théorique

24 Méthode 1 On enlève un étudiant de l’ensemble d’apprentissage.
On effectue l’ajustement On compare la valeur du neurone pour l’étudiant retiré et la valeur réel  On réalise ces différentes étapes pour chaque étudiant de l’ensemble de départ et on peut constater le pourcentage d’erreur obtenu …34%

25 Déduction La méthode n’est pas sans faille Hypothèse:
Influence des poids initiaux aléatoires Résolution : Effectuer différents apprentissages pour ne pas être soumis aux choix initiaux …28% (5 ajustements)

26 Méthode 2 Comparaison au cas théorique aléatoire Cas aléatoire
Matrice aléatoire D de bits (-1,0,1) (dim 99 x 45) Apprentissage

27 Résultats Erreur initiale: 184
Erreur après modification de 1 poids à la fois: 106 Erreur après modification de 2 poids à la fois: 80 Erreur après modification de 3 poids à la fois: 60

28 Résultats (suite) Erreur jamais inférieur à 50
Moyenne:65.5 Ecart-type: 8.3

29 Construction d’un intervalle de confiance
Test d’hypothèse: l’erreur obtenue reflète-t-elle le cas aléatoire? n : nombre de questionnaires c : nombre de questions par questionnaire D: matrice aléatoire de bits (dim. n x (c+1))  apprentissage, erreur finale

30 Test (suite) X: v.a. définie par le défaut obtenu à partir d’une matrice donnée Moyenne : m Ecart-type: σ  Grand nombre de réalisations

31 Test (suite) Thm central-limite
Intervalle de confiance unilatéral de la moyenne de la variable X, au niveau de confiance 1-α:

32 Neurones concurrents Solution apportée à l’influence des valeurs initiales des poids : mettre des neurones en concurrence 40 ajustements + vote majoritaire  Taux d’erreur: %

33 Autres tests sur les données
Variance des tests: Un étudiant est ajourné ou non Un étudiant obtient une satisfaction ou non Un étudiant obtient une grande distinction ou non Un étudiant obtient une plus grande distinction ou non

34 Résultats finaux Les pourcentages d’erreur sont équivalents peut importe le test considéré. Les grades de différents étudiants sont mal prédits. Certains sont difficiles à placer dans une classe ou l’autre

35 Conclusion Citons notamment que l'absence de justification pour le choix des paramètres et de la structure du réseau nous a conduit à travailler par essais et erreurs. Ceci ne remet pas en cause la validité de nos résultats mais nous ne pouvons affirmer avoir obtenu le plus haut degré de précision. Nous avons, dans cette étude empirique, mis en œuvre une technique relative aux réseaux de neurones. Seules quelques pistes ont été exploitées et nous n'excluons pas qu'il soit possible d'obtenir de meilleurs résultats. De plus, le caractère singulier et ponctuel de l'étude empirique ne nous autorise pas à tirer des conclusions générales.