Résumé Domaine des réseaux de neurones

Chapitre 7 Réseau ART

Structure du ART 1 RAZ F2 Catégories G1 G2 + - + - F1 Caractéristiques j G1 G2 + - + - RAZ F1 Caractéristiques i La couche F1 est aussi appelée la mémoire à court terme du réseau Les connexions W représentent la mémoire à long terme du réseau Les neurones G1 et G2 ont été ajoutés au modèle ART pour la plausibilité biologique: un neurone ne peut avoir un comportement différent dans le temps par lui-même.

Exemple - ART1 Pour un facteur de vigilance de l ’ordre de 0,9, 2 classes seulement sont formées: le C et le E-F Les poids sont renforcés pour I•Exemple emmagasiné précédent

ART1: convergence et robustesse

Améliorations ART1: Entrées binaires ART2: Entrées analogiques Normalisation + Contraste ARTMAP: ART1s ou ART2s couplés avec apprentissage supervisé ( augmenté pour certains exemples)

ART2

ARTMAP

Les réseaux de neurones compétitifs Chapitre 8 Les réseaux de neurones compétitifs

Reconnaissance de Formes Problématique de Reconnaissance de Formes Extraction Système X des Y de D primitives décision Espace d'entrée Espace des primitives Espace des décisions

Composantes principales 3.4.2 Les réseaux de neurones extracteurs de primitives Composantes principales y . . . . . . y1 . . z . . . . . . . . . . . z . Système de décision . . . . V2 j v u x1 i j V1 x i Espace d’objets Espace des primitives Espace des décisions

{Xk, k = 1, 2, …, K} une base d’apprentissage Réseaux Compétitifs Linéaires Implémentation mathématiques {Xk, k = 1, 2, …, K} une base d’apprentissage 1 Initialisation aléatoire des poids synaptiques 2 Apprentissage a Présentation de la forme Xk à la couche d’entrée Calcul de l’activation des neurones de la couche de sortie yj(k), j = 1, 2, .. b c Détermination du neurone gagnant j*  Ajustement des poids synaptiques du neurone gagnant : d pour n = 1, …, N

synaptiques du neurone gagnant Réseaux Compétitifs Linéaires Explication graphique wk(j1) wk(j2) wk(jm) wk(j*) Xk Neurone gagnant vecteur des poids synaptiques du neurone gagnant wk(j1) wk(j2) wk(jm) Dwk(j*) Xk Nouveau vecteur des poids synaptiques Compétition Adaptation

1 -e -e -e -e -e -e Le réseau Maxnet Fonction d’activation : Étape 0 : Initialiser les activations et les poids A2 A3 A1 A4 1 -e -e -e -e Étape 1 (tant que 4 vrai faire 2-4) : Étape 2 : Mise à jour des activations Étape 3 : Sauvegarder activations Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt -e -e

1 -e -e -e -e -e -e Le réseau Maxnet : Exemple 4.1 (Fausett p. 160) Étape 0 : Initialiser les activations et les poids A2 A3 A1 A4 1 -e -e -e -e Étape 1 (tant que 4 vrai faire 2-4) : Étape 2 : Mise à jour des activations Étape 3 : Sauvegarder activations Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt -e -e

Cartes topologiques de Kohonen 1ère constatation L’organisation linéaire n’a pour intérêt que l’aspect pédagogique. 2ème constatation Les réseaux compétitifs linéaires s’éloignent de la réalité Neurobiologique « les zones d’activité ».

Architecture proposée : Cartes topologiques de Kohonen Architecture proposée : une couche linéaire mono ou multi dimensionnel. Voisins ordonnés du neurone m 1 2 3 i 1 2 m 3 j Un neurone est caractérisé par ses poids synaptiques et par sa position ( notion de voisinage topologique)

Formes de voisinage (2D) Cartes topologiques de Kohonen Formes de voisinage (2D)

Pour l’entrée (0.5, 0.2) et un taux d’apprentissage de 0.2 C4 C2 C3 C1 C5 0.3 0.7 0.6 0.9 0.1 0.5 0.4 0.8 0.2 Ex. 4.2 : Carte de Kohonen Pour l’entrée (0.5, 0.2) et un taux d’apprentissage de 0.2 a) Soit Dm la distance entre l’entrée et le poids du vecteur Cm on a : D1 = (0.3 - 0.5)2 + (0.7 – 0.2)2 = 0.29 D2 = (0.6 – 0.5)2 + (0.9 – 0.2)2 = 0.50 D3 = (0.1 –0.5)2 + (0.5 – 0.2)2 = 0.25 D4 = (0.4 – 0.5)2 + (0.3 – 0.2)2 = 0.02 D5 = (0.8 – 0.5)2 + (0.2 – 0.2)2 = 0.09 Le neurone le plus proche de l’entrée est donc C4, il gagne ainsi la compétition.

b) Mise à jour des poids pour le neurone gagnant J C4 C2 C3 C1 C5 0.3 0.7 0.6 0.9 0.1 0.5 0.42 0.28 0.8 0.2 b) Mise à jour des poids pour le neurone gagnant J w14(nouveau) = w14(vieux) + 0.2 (x1 – w14(vieux)) = 0.4 + 0.2(0.5 – 0.4) = 0.4 + 0.02 = 0.42 w24(nouveau) = w24(vieux) + 0.2 (x2 – w24(vieux)) = 0.3 + 0.2(0.2 – 0.3) = 0.3 - 0.02 = 0.28

c) Si on permet à J-1 et à J+1 d’apprendre alors U2 U1 C4 C2 C3 C1 C5 0.3 0.7 0.6 0.9 0.18 0.44 0.4 0.74 0.2 c) Si on permet à J-1 et à J+1 d’apprendre alors w13(nouveau) = w13(vieux) + 0.2 (x1 – w13(vieux)) = 0.1 + 0.2(0.5 – 0.1) = 0.1 + 0.08 = 0.18 w23(nouveau) = 0.5 + 0.2(0.2 – 0.5) = 0.5 - 0.06 = 0.44 w15(nouveau) = 0.8 + 0.2(0.2 – 0.8) = 0.8 - 0.06 = 0.74 w25(nouveau) = 0.2 + 0.2(0.2 – 0.2) = 0.2 + 0.0 = 0.2

Réseaux de quantification vectorielle Quantification vectorielle non supervisée . . Quantification vectorielle supervisée . .

synaptiques du neurone gagnant Réseaux de quantification vectorielle Explication graphique wk(j1) wk(j2) wk(jm) wk(j*) Xk Neurone gagnant vecteur des poids synaptiques du neurone gagnant Dwk(j*) wk(j2) Xk wk(jm) wk(j1) Nouveau vecteur des poids synaptiques Compétition Adaptation

Réseaux de quantification vectorielle Il s’agit d ’un apprentissage non supervisé Adaptation des poids plus sévère que celle de Hebb Règle de Hebb Algorithme LVQ Convergence non garantie

Classe(Xk) = Classe(w(j*)) Réseaux de quantification vectorielle L’algorithme d’apprentissage LVQ1 Retour au principe de Récompense/Punition D w(j*) D w(j*) Xk Xk w(j) w(j) w(j*) w(j*) w(2) w(2) w(1) w(1) Punition Classe(Xk)  Classe(w(j*)) Récompense Classe(Xk) = Classe(w(j*)) Dw(j*) = + h(t) [Xk - w (j*)] Si Classe(Xk) = Classe(w(j*)) Dw(j*) = - h(t) [Xk - w (j*)] Si Classe(Xk)  Classe(w(j*))

L’algorithme d’apprentissage LVQ2 Réseaux de quantification vectorielle L’algorithme d’apprentissage LVQ2 La course aux performances ……... Maintenir le principe de Récompense/Punition La compétition fournie deux neurones gagnants : le premier j0 et le second i0 gagnants. L’esprit de l ’algorithme de Rosenblatt : L'adaptation des vecteurs de référence correspondant w(j0) et w(i0) est réalisée si et seulement si les trois conditions suivantes sont vérifiées :

Ex. 4.5 : Réseau LVQ C3 C4 C1 C2 0.8 C1 C2 C3 C4 0.6 C3 C4 C1 C2 0.4 C1 C2 C3 C4 0.2 0.2 0.4 0.6 0.8

C3 C4 C1 C2 0.8 C1 C2 C3 C4 0.6 (0.25, 0.25) C3 C4 C1 C2 0.4 C1 0.225 C2 C3 C4 0.2 0.2 0.225 0.4 0.6 0.8 Si on présente une entrée de valeur (0.25, 0.25) étiqueté classe 1, le neurone C1 (0.2, 0.2) est le plus proche, il est bien étiqueté et ses poids sont ajustés par (0.2, 0.2) + 0.5(0.25 – 0.2, 0.25 – 0.2) = (0.225, 0.225)

C3 C4 C1 C2 0.8 C1 C2 C3 C4 0.6 0.425 C4 C3 C1 C2 0.4 C1 (0.4, 0.35) C2 C3 C4 0.2 0.2 0.4 0.6 0.8 b) Si on présente une entrée de valeur (0.4, 0.35) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est mal étiqueté et ses poids sont ajustés par (0.4, 0.4) - 0.5(0.4 – 0.4, 0.35 – 0.4) = (0.4, 0.425)

C3 C4 C1 C2 0.8 C1 C2 C3 C4 0.6 (0.4, 0.45) C3 C1 C2 0.4 C4 0.375 C1 C2 C3 C4 0.2 0.2 0.4 0.6 0.8 c) Si on présente une entrée de valeur (0.4, 0.45) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est encore mal étiqueté et ses poids sont ajustés par (0.4, 0.4) - 0.5(0.4 – 0.4, 0.45 – 0.4) = (0.4, 0.375)

Classe 4 Classe 1 C3 C4 C1 C2 0.8 C1 C2 C3 C4 0.6 C3 C1 C2 0.4 C4 C1 (0.4, 0.45) C3 C1 C2 0.4 C4 0.375 C1 C2 C3 C4 0.2 0.2 0.4 0.6 0.8 Classe 1 d) Présenter (0.4, 0.35) tend à éloigner C4 de la zone où les entrées d’apprentissage représentent la classe 1, alors que (0.4, 0.45) tend à rapprocher C4 de la zone où les entrées d’apprentissage représentent la classe 1. La première alternative est la plus efficace.

Chapitre 9 Systèmes experts

9- Systèmes experts Plan Vue d ’ensemble Architecture Représentation des connaissances Moteur de déduction

9.1 Vue d ’ensemble Un système expert est un logiciel qui a pour but de simuler le comportement d’un spécialiste humain dans un domaine bien précis lorsqu’il accomplit une tâche de résolution de problèmes pour lesquels il n’existe pas de solution évidente ou algorithmique.

Programmation de l ’expertise : Insuffisamment structurée pour être transcrite sous forme d ’algorithmes Sujette à de nombreuses révisions Incomplète parce qu’en continuelle évolution Sinon : Problème mieux résolu par algos classiques Problème hors de portée (expertise difficilement formalisable)

Domaines d ’utilisation des SEs Configuration Diagnostic Enseignement interprétation Surveillance Planification Prédiction Diagnostic médical Commande de processus Configuration Assembler les composantes d ’un système dans le bon ordre Diagnostic Inférer les problèmes sous-jacents en se basant sur les évidences observées Enseignement Enseignement intelligent de sorte que l ’étudiant peut poser des questions de type Pourquoi, Comment et Quoi tout comme si un professeur lui enseignait Interprétation Expliquer les données observées Surveillance Comparer les données observées à celles prévues pour évaluer les performances Planification Planifier des actions pour obtenir un résultat désiré Prédiction Prédire le résultat d ’une situation donnée Diagnostic médical Prescrire un traitement pour un problème Commande Régulariser un processus. Peut requérir interprétation, diagnostic, surveillance, planification, prédiction et diagnostic médical

Quelques SEs célèbres DENDRAL (le premier, 1965) chimie interprétation de la structure moléculaire CADHELP électronique instructions pour la CAO MYCIN (beaucoup d ’influence) médecine diagnostic pour infections bactériennes PROSPECTOR géologie interprétation données géol. Minerais XCON (beaucoup de succès) informatique configuration mini ordi. VAX de DEC

Composantes de base d’un SE Connaissances Mécanisme de raisonnement Expertise = Savoir - Faire Connaissances correspondent à ce que nous savons du domaine considéré Mécanismes de raisonnement correspondent à ce que nous faisons pour obtenir une solution

9.2 Architecture Connais- Faits sances Base de connaissance Module Module d’inférence d’explica- tion Moteur de déduction Connais- Faits sances consultation acquisition Expert Interface Utilisateur

Systèmes de production Architecture de SE la plus répandue Connaissances : règles de production Mécanisme d ’inférence

Moteurs d’inférence Cycle de base Stratégies de recherche Sélection des règles Filtrage Résolution des conflits Exécution Stratégies de recherche Largeur d’abord Profondeur d’abord Stratégie irrévocable Stratégie par tentatives Profondeur limité Recherche heuristique Mode d’invocation des règles Chaînage avant Chaînage arrière

9.3 Représentation des connaissances Règles de production Si (proposition logique) Alors (actions) prémisse conclusions

Moteur d’inférence Cycles de base 1- Phase de restriction Choix du sous-ensemble de connaissances 2- Phase de filtrage Choix des règles applicables phase de restriction: a pour objet de trier et de rassembler en un sous-ensemble les faits et les règles de la base de connaissances qui méritent plus d’attention que d’autres. Cette étape de restriction permet une économie de temps au profit de la phase suivante de filtrage. phase de filtrage: le moteur d’inférence compare la partie prémisse des règles sélectionnées avec les faits de la base de faits pour déterminer l’ensemble des règles applicables.

3- Phase de sélection Stratégies de recherche Largeur d’abord Profondeur d’abord Stratégie irrévocable Stratégie par tentatives Profondeur limité Recherche heuristique Résout conflits lorsque plusieurs règles s’appliquent Sélection simple (1ère de la liste, la + utilisée, etc.) Sélection selon contexte (chaînage avant, arrière, la plus prometteuse, la plus fiable, etc.) phase de sélection: c’est la phase de résolution de conflits qui se concrétise par le choix de la règle à appliquer. Cette phase, de loin la plus importante, manifeste également une stratégie qui peut être très simple et sans rapport avec le contexte (e.g. la première règle de la liste, la moins complexe, la moins utilisée, etc.) ou plus complexe en tenant compte du contexte (la plus prometteuse, la plus fiable, etc.). De la qualité de ce choix dépendent les performances du moteur d’inférence qui va déduire plus ou moins rapidement la solution finale.

4- Phase d’exécution Appliquer la règle sélectionnée Modification de l’ensemble de faits (générer des états intermédiaires) Questionner l’usager Exécuter les actions externe L’application de la règle sélectionnée permet en général d’ajouter un ou plusieurs faits à la base de faits de la mémoire de travail. Le SE peut questionner l’usager afin d’apporter des faits nouveaux pour continuer la recherche.

Stratégies de recherche La recherche en largeur d’abord La recherche en profondeur d’abord La recherche en profondeur limitée La recherche heuristique

Illustration: labyrinthe