Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège

Introduction Un réseau de neurones est un outil d'analyse statistique Définitions: Un neurone est une fonction algébrique non linéaire, paramétrée, à valeurs bornées Un réseau de neurones est un ensemble fini de neurones, c’est-à-dire un ensemble fini de fonctions algébriques non linéaires, paramétrées, à valeurs bornées.

Un neurone poids f sortie entrées

Mise en oeuvre Mise en œuvre d'un réseau de neurones: Définition de la structure du réseau Détermination des paramètres qui définissent le réseau Phase de validation

Plan de l'exposé Problème posé et définitions conceptuelles Résolution pratique du problème et résultats

Le problème Données: Questionnaires éventuellement mal remplis et décisions pour chaque questionnaire Problème: extraire la prise de décision à l’aide de ces questionnaires pour pouvoir traiter tous les questionnaires de même type qui pourraient être remplis

Représentation Abstraction du problème g' A X D g

Les données D: matrice de bits n X c nb de questionnaires X nb de bits par questionnaire A chaque ligne de D correspond le bit donné par la valeur de g. Ces bits forment un vecteur colonne de bits, à n lignes: le vecteur R

Un neurone Un neurone réalise une fonction non linéaire bornée appelée fonction d’activation y=f(e1,…eJ,w1,…,wJ) où les ej sont les variables et les wj les paramètres Sortie du neurone: Les poids wj renforcent les liaisons, les annulent ou les diminuent.

Fonction d’activation Choix: la fonction signe

Résolution du problème Résoudre le problème posé à l’aide d’un neurone dont la structure est définie, c’est déterminer les paramètres wj qui définissent ce neurone de telle manière que les valeurs de ce neurone approchent au mieux les valeurs de la fonction g de départ pour les différents questionnaires donnés.  Phase d’apprentissage

Résolution du problème Lorsque les paramètres wj seront déterminés, la fonction g’ cherchée sera définie par

Défaut du neurone Soit di un questionnaire caractérisé par les bits e1,…,ec. Le défaut pour ce questionnaire est donné par

Défaut d’un neurone Défaut du neurone

Apprentissage Définition: Procédure qui consiste à estimer les paramètres des neurones du réseau, afin que celui-ci remplisse au mieux la tâche qui lui est affectée.

Méthode d’ajustement Choix de la méthode : Calcul Poids aléatoires w1,…,wc Calcul du défaut Changement de poids On garde les poids Si le défaut a diminué

Valeur de la méthode d’ajustement Le concept d’apprentissage n’est intéressant que si le réseau possède la capacité de généralisation. Deux méthodes: Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification Comparaison au modèle aléatoire théorique

Elaboration pratique Problème concret: 11 notes sur 20 pour 99 étudiants Grade obtenu pour chaque étudiant Question: un étudiant donné a-t-il une distinction ou non?

Transformation des données Notes ramenées sur 15 Notes codées sur 4 bits Grade1 bit : présence d’une distinction  1 absence d’une distinction  -1 pas de décision 0  Au total, 45 bits par étudiant

Phase d’ajustement Procédé : Modification d’un poids à la fois tant que le défaut diminue D, R, Poids aléatoires w1,…,wc w1,…wc modifiés Modification de 2 poids à la fois tant que le défaut diminue Modification de 3 poids à la fois tant que le défaut diminue

Résultats Valeur du neurone pour un étudiant i donné Erreur initiale: 226 Erreur après modification de 1 poids à la fois : 56 Erreur après modification de 2 poids à la fois : 44 Erreur après modification de 3 poids à la fois : 36

Influence des poids initiaux aléatoires Grande influence des poids initiaux. Défaut compris entre 20 et 56 Moyenne: 33.5 Ecart-type : 8.1

Validité de la méthode Deux méthodes: Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification Comparaison au modèle aléatoire théorique

Méthode 1 On enlève un étudiant de l’ensemble d’apprentissage. On effectue l’ajustement On compare la valeur du neurone pour l’étudiant retiré et la valeur réel  On réalise ces différentes étapes pour chaque étudiant de l’ensemble de départ et on peut constater le pourcentage d’erreur obtenu …34%

Déduction La méthode n’est pas sans faille Hypothèse: Influence des poids initiaux aléatoires Résolution : Effectuer différents apprentissages pour ne pas être soumis aux choix initiaux …28% (5 ajustements)

Méthode 2 Comparaison au cas théorique aléatoire Cas aléatoire Matrice aléatoire D de bits (-1,0,1) (dim 99 x 45) Apprentissage

Résultats Erreur initiale: 184 Erreur après modification de 1 poids à la fois: 106 Erreur après modification de 2 poids à la fois: 80 Erreur après modification de 3 poids à la fois: 60

Résultats (suite) Erreur jamais inférieur à 50 Moyenne:65.5 Ecart-type: 8.3

Construction d’un intervalle de confiance Test d’hypothèse: l’erreur obtenue reflète-t-elle le cas aléatoire? n : nombre de questionnaires c : nombre de questions par questionnaire D: matrice aléatoire de bits (dim. n x (c+1))  apprentissage, erreur finale

Test (suite) X: v.a. définie par le défaut obtenu à partir d’une matrice donnée Moyenne : m Ecart-type: σ  Grand nombre de réalisations

Test (suite) Thm central-limite Intervalle de confiance unilatéral de la moyenne de la variable X, au niveau de confiance 1-α:

Neurones concurrents Solution apportée à l’influence des valeurs initiales des poids : mettre des neurones en concurrence 40 ajustements + vote majoritaire  Taux d’erreur: 23.23%

Autres tests sur les données Variance des tests: Un étudiant est ajourné ou non Un étudiant obtient une satisfaction ou non Un étudiant obtient une grande distinction ou non Un étudiant obtient une plus grande distinction ou non

Résultats finaux Les pourcentages d’erreur sont équivalents peut importe le test considéré. Les grades de différents étudiants sont mal prédits. Certains sont difficiles à placer dans une classe ou l’autre

Conclusion Citons notamment que l'absence de justification pour le choix des paramètres et de la structure du réseau nous a conduit à travailler par essais et erreurs. Ceci ne remet pas en cause la validité de nos résultats mais nous ne pouvons affirmer avoir obtenu le plus haut degré de précision. Nous avons, dans cette étude empirique, mis en œuvre une technique relative aux réseaux de neurones. Seules quelques pistes ont été exploitées et nous n'excluons pas qu'il soit possible d'obtenir de meilleurs résultats. De plus, le caractère singulier et ponctuel de l'étude empirique ne nous autorise pas à tirer des conclusions générales.