La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.

Présentations similaires


Présentation au sujet: "Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège."— Transcription de la présentation:

1 Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège

2 Introduction Un réseau de neurones est un outil d'analyse statistique Définitions: -Un neurone est une fonction algébrique non linéaire, paramétrée, à valeurs bornées -Un réseau de neurones est un ensemble fini de neurones, cest-à-dire un ensemble fini de fonctions algébriques non linéaires, paramétrées, à valeurs bornées.

3 Un neurone f sortie entrées poids

4 Mise en oeuvre Mise en œuvre d'un réseau de neurones: –Définition de la structure du réseau –Détermination des paramètres qui définissent le réseau –Phase de validation

5 Plan de l'exposé Problème posé et définitions conceptuelles Résolution pratique du problème et résultats

6 Le problème Données: Questionnaires éventuellement mal remplis et décisions pour chaque questionnaire Problème: extraire la prise de décision à laide de ces questionnaires pour pouvoir traiter tous les questionnaires de même type qui pourraient être remplis

7 Représentation Abstraction du problème A X D g' g

8 Les données D: matrice de bits n X c nb de questionnaires X nb de bits par questionnaire A chaque ligne de D correspond le bit donné par la valeur de g. Ces bits forment un vecteur colonne de bits, à n lignes: le vecteur R

9 Un neurone Un neurone réalise une fonction non linéaire bornée appelée fonction dactivation y=f(e1,…eJ,w1,…,wJ) où les ej sont les variables et les wj les paramètres Sortie du neurone: Les poids wj renforcent les liaisons, les annulent ou les diminuent.

10 Fonction dactivation Choix: la fonction signe

11 Résolution du problème Résoudre le problème posé à laide dun neurone dont la structure est définie, cest déterminer les paramètres wj qui définissent ce neurone de telle manière que les valeurs de ce neurone approchent au mieux les valeurs de la fonction g de départ pour les différents questionnaires donnés. Phase dapprentissage

12 Résolution du problème Lorsque les paramètres wj seront déterminés, la fonction g cherchée sera définie par

13 Défaut du neurone Soit di un questionnaire caractérisé par les bits e1,…,ec. Le défaut pour ce questionnaire est donné par

14 Défaut dun neurone Défaut du neurone

15 Apprentissage Définition: Procédure qui consiste à estimer les paramètres des neurones du réseau, afin que celui-ci remplisse au mieux la tâche qui lui est affectée.

16 Méthode dajustement Choix de la méthode : Poids aléatoires w1,…,wc Calcul du défaut Changement de poids On garde les poids Si le défaut a diminué

17 Valeur de la méthode dajustement Le concept dapprentissage nest intéressant que si le réseau possède la capacité de généralisation. Deux méthodes: -Ensemble dapprentissage restreint afin davoir des exemples de vérification -Comparaison au modèle aléatoire théorique

18 Elaboration pratique Problème concret: -11 notes sur 20 pour 99 étudiants -Grade obtenu pour chaque étudiant Question: un étudiant donné a-t-il une distinction ou non?

19 Transformation des données Notes ramenées sur 15 Notes codées sur 4 bits Grade 1 bit : présence dune distinction 1 absence dune distinction -1 pas de décision 0 Au total, 45 bits par étudiant

20 Phase dajustement Procédé : D, R, Poids aléatoires w1,…,wc Modification dun poids à la fois tant que le défaut diminue Modification de 2 poids à la fois tant que le défaut diminue Modification de 3 poids à la fois tant que le défaut diminue w1,…wc modifiés

21 Résultats Valeur du neurone pour un étudiant i donné Erreur initiale: 226 Erreur après modification de 1 poids à la fois : 56 Erreur après modification de 2 poids à la fois : 44 Erreur après modification de 3 poids à la fois : 36

22 Influence des poids initiaux aléatoires Grande influence des poids initiaux. Défaut compris entre 20 et 56 Moyenne: 33.5 Ecart-type : 8.1

23 Validité de la méthode Deux méthodes: -Ensemble dapprentissage restreint afin davoir des exemples de vérification -Comparaison au modèle aléatoire théorique

24 Méthode 1 On enlève un étudiant de lensemble dapprentissage. On effectue lajustement On compare la valeur du neurone pour létudiant retiré et la valeur réel On réalise ces différentes étapes pour chaque étudiant de lensemble de départ et on peut constater le pourcentage derreur obtenu …34%

25 Déduction La méthode nest pas sans faille Hypothèse: -Influence des poids initiaux aléatoires Résolution : Effectuer différents apprentissages pour ne pas être soumis aux choix initiaux …28% (5 ajustements)

26 Méthode 2 Comparaison au cas théorique aléatoire Cas aléatoire -Matrice aléatoire D de bits (-1,0,1) (dim 99 x 45) -Apprentissage

27 Résultats Erreur initiale: 184 Erreur après modification de 1 poids à la fois: 106 Erreur après modification de 2 poids à la fois: 80 Erreur après modification de 3 poids à la fois: 60

28 Résultats (suite) Erreur jamais inférieur à 50 Moyenne:65.5 Ecart-type: 8.3

29 Construction dun intervalle de confiance Test dhypothèse: lerreur obtenue reflète-t- elle le cas aléatoire? n : nombre de questionnaires c : nombre de questions par questionnaire D: matrice aléatoire de bits (dim. n x (c+1)) apprentissage, erreur finale

30 Test (suite) X: v.a. définie par le défaut obtenu à partir dune matrice donnée Moyenne : m Ecart-type: σ Grand nombre de réalisations

31 Test (suite) Thm central-limite Intervalle de confiance unilatéral de la moyenne de la variable X, au niveau de confiance 1-α:

32 Neurones concurrents Solution apportée à linfluence des valeurs initiales des poids : mettre des neurones en concurrence 40 ajustements + vote majoritaire Taux derreur: 23.23%

33 Autres tests sur les données Variance des tests: -Un étudiant est ajourné ou non -Un étudiant obtient une satisfaction ou non -Un étudiant obtient une grande distinction ou non -Un étudiant obtient une plus grande distinction ou non

34 Résultats finaux Les pourcentages derreur sont équivalents peut importe le test considéré. Les grades de différents étudiants sont mal prédits. Certains sont difficiles à placer dans une classe ou lautre

35 Conclusion Citons notamment que l'absence de justification pour le choix des paramètres et de la structure du réseau nous a conduit à travailler par essais et erreurs. Ceci ne remet pas en cause la validité de nos résultats mais nous ne pouvons affirmer avoir obtenu le plus haut degré de précision. Nous avons, dans cette étude empirique, mis en œuvre une technique relative aux réseaux de neurones. Seules quelques pistes ont été exploitées et nous n'excluons pas qu'il soit possible d'obtenir de meilleurs résultats. De plus, le caractère singulier et ponctuel de l'étude empirique ne nous autorise pas à tirer des conclusions générales.


Télécharger ppt "Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège."

Présentations similaires


Annonces Google