Apprentissage avec un réseau de neurones artificiels Projet Tutoré 2013/2014

Présentation de l’équipe Alaeddine HAJJEM Manon MAILLARD Baptiste MONTANGÉ Abdurahman ZULLU Tuteur : Sylvain CHEVALLIER 2 2

Plan Présentation de l’application et du projet Les réseaux de neurones artificiels Solution du projet Influence des paramètres Qualité de la solution Bilan du projet 3 3

Présentation de l’application Une application de reconnaissance de lettres Qu’est ce qu’une lettre? Repose sur l’apprentissage avec un réseau de neurone artificiel 01110 ### 10001 # # 11111 ##### 4 4

Fonctionnement de l’application Fichier texte des lettres à apprendre Apprentissage des lettres Fichier texte des lettres à reconnaitre Reconnaissance des lettres 5 5

Patrons des lettres ### #### #### #### ##### ##### #### # # ### ### # # # # # # # # # # # # # # # # # # # # ##### #### # # # ### ### # ##### # # ### # # # # # # # # # # # ## # # # # # # # # # # #### #### #### ##### # #### # # ### ## # # ##### # # # # ### #### ### #### #### ##### # # # # # # # # ## ## ## # # # # # # # # # # # # # # # # # # # # # # # # # # # #### # # #### ### # # # # # # # # # # # # ## # # # # ## # # # # # # # # ### # # # # # # ### # #### # # #### # ### # # # # # # # ##### # # # # # # ##### 6 6

Objectif de ce projet Comprendre le fonctionnement des réseaux de neurones artificiels Apprendre un maximum de lettres Avoir un logiciel robuste Comprendre l’influence des paramètres du réseau 7 7

Plan Les réseaux de neurones artificiels Présentation de l’application et du projet Les réseaux de neurones artificiels Solution du projet Influence des paramètres Qualité de la solution Bilan du projet 8 8

Réseau de neurone artificiel : Késako? Une méthode d’apprentissage artificiel A quoi cela sert-il? Comment cela fonctionne? 9 9

Réseau de neurone Hopfield Une solution pour les problèmes non linéaires Tous les neurones sont reliés entre eux 10 10

Et dans l’application? Les lettres déterminent l’activation des neurones ### # # ##### # # # # 11 11

Plan Solution du projet Présentation de l’application et du projet Les réseaux de neurones artificiels Solution du projet Influence des paramètres Qualité de la solution Bilan du projet 12 12

Et la solution? Apprentissage d’une lettre Apprentissage de plusieurs lettres Au bout d’un moment, boucle infinie? 13 13

L’ordre des lettres? Apprentissage des lettres par ordre alphabétique Seulement 11 lettres apprises A la 12ème lettre : oubli catastrophique L’application ne reconnaît plus les lettres apprises. 14 14

L’ordre des lettres? Apprentissage d’une séquence de lettres différentes Nombre de pixels différents significatif Apprentissage de 15 lettres A la 16ème lettre : oubli catastrophique. 15 15

L’ordre des lettres? Apprentissage d’une séquence de lettres similaires Nombre de pixels similaire supérieur à 20 Apprentissage de 16 lettres A la 17ème lettre : oubli catastrophique. 16 16

Changement des patrons Changement des différents patrons de lettres différentes Au final apprentissage de 24 lettres Importance de la similitude des lettres |# | | # | |#####| | ### | |# | | # | | # | | # | |# | | # | | # | | # | |# | | # | | # | | # | |#####| | ###| | # | | # | 17 17

Plan Influence des paramètres Présentation de l’application et du projet Les réseaux de neurones artificiels Solution du projet Influence des paramètres Qualité de la solution Bilan du projet 18 18

Influence des paramètres Plusieurs paramètres composent l’application : ALPHA Seuils initiaux Poids initiaux ALPHA détermine le recalcul des seuils et des poids: Si ALPHA=0.1  rapide mais seulement 16 lettres apprises Si ALPHA=0.05  plus de calculs mais encore 16 lettres apprises Si ALPHA=0.005 plus de calculs mais 24 lettres apprises Si ALPHA=0.00005  trop de calculs, et seulement 5 seule lettre apprise! 19 19

Influence des paramètres Détermination poids initiaux Tester des poids initiaux de 0,00 à 0,20 avec un pas de 0,01 Regarde la moyenne des poids de chaque neurone, puis moyenne générale Au final, moyenne des 21 valeurs précédentes  poids initial à 0,06 Remarque: si poids initiaux trop grand (>0,4), trop de calculs, pas de résultat Seuils initiaux: Tester des seuils initiaux de 1 à 10 Différence entre seuil minimal et seuil maximal du réseau + seuil initial grand, + la différence est grande, + de calculs, pas plus de résultats 20 20

Plan Qualité de la solution Présentation de l’application et du projet Les réseaux de neurones artificiels Solution du projet Influence des paramètres Qualité de la solution Bilan du projet 21 21

Qualité de la solution Au final: 24 lettres apprises sur 26 Peu robuste dans la reconnaissance de lettres bruitées Pourquoi cette priorité ? 22 22

Plan Bilan du projet Présentation de l’application et du projet Les réseaux de neurones artificiels Solution du projet Influence des paramètres Qualité de la solution Bilan du projet 23 23

Bilan du projet Les évolutions possibles Qui a fait quoi ? Les difficultés du projet Les acquis du projet 24 24

Merci de votre écoute Présentation réalisée par : Alaeddine HAJJEM Manon MAILLARD Baptiste MONTANGÉ Abdurahman ZULLU 25