LES RESEAUX DE NEURONES

SOMMAIRE Introduction Différents types de réseaux Pourquoi les réseaux de neurones? Différents types de réseaux Réseaux bouclés et réseaux non bouclés Notion d’apprentissage Apprentissage supervisé et non supervisé Règles d’apprentissages Intelligence Artificielle sur Silicium Conclusion

Pourquoi les réseaux de neurones? Caractéristiques de l’architecture du cerveau humain: une architecture massivement parallèle une capacité d'apprentissage une capacité de généralisation une capacité d'adaptation une faible consommation énergétique

Qu’est ce qu’un processus d’Intelligence Artificielle ? C’est un processus qui « imite » le mode de fonctionnement parallèle du cerveau humain. Un cerveau humain contient environ 1012 cellules de décision. Le meilleur processeur en intègre actuellement 1024. Un circuit logique programmable peut en coder ~ 50.

Le neurone biologique Dendrites : Signaux d’entrée Axone : Signal de sortie

Neurone formel: le modèle Mc Culloch et Pitts Un "neurone formel" (ou simplement "neurone") est une fonction algébrique non linéaire et bornée, dont la valeur dépend de paramètres appelés coefficients ou poids. Les variables de cette fonction sont habituellement appelées "entrées" du neurone, et la valeur de la fonction est appelée sa "sortie".

Fonctions de transfert (ou fonctions d’activation) sigmoïde g(x) = (1 + e – βx) - 1

Différents types d’architecture de réseaux de neurones

Réseaux bouclés Un réseau de neurones bouclé à temps discret est régi par une (ou plusieurs) équations aux différences non linéaires, résultant de la composition des fonctions réalisées par chacun des neurones et des retards associés à chacune des connexions. Les réseaux de neurones bouclés sont utilisés pour effectuer des tâches de modélisation de systèmes dynamiques, de commande de processus, ou de filtrage.

Réseaux « non bouclés » ou réseaux à couches Un réseau de neurones non bouclé réalise une (ou plusieurs) fonctions algébriques de ses entrées, par composition des fonctions réalisées par chacun de ses neurones. Les réseaux de neurones non bouclés sont des objets statiques si les entrées sont indépendantes du temps, les sorties le sont également. Ils sont utilisés principalement pour effectuer des tâches d'approximation de fonction non linéaire, de classification ou de modélisation de processus statiques non linéaires.

Notion d’apprentissage

Définition L ’apprentissage est une phase du développement d’un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu’à l’obtention du comportement désiré. On distingue deux grandes classes d’algorithmes d’apprentissage : L’apprentissage supervisé L’apprentissage non supervisé

Apprentissage supervisé superviseur sortie désirée ENTREES erreur réseau sortie obtenue

Apprentissage non supervisé réseau sortie obtenue ENTREES

Règles d’apprentissage L’apprentissage consiste à modifier le poids des connections entre les neurones. Il existe plusieurs règles de modification : Loi de Hebb Règle de Widrow-Hoff (delta rule) Règle de Grossberg i j Wij

Règles d’apprentissage Loi de Hebb : Quand 2 neurones sont excités en même temps, le lien entre les 2 doit être renforcé.  Comment cette loi va t'elle s'exprimer formellement ? L'apprentissage se fait au moyen d'un ensemble de couples (x, d). wi,j’ = wi,j + µ * (yj * yi)  Algorithme: .On initialise µ positif et les poids wi,j (souvent à 0) .Pour chaque (e,c) de la Base d’apprentissage .Calculer la sortie s du réseau .Si s≠c alors . wi,j’ = wi,j + µ * (yj * yi)  .Fin Si .Fin Pour

Règles d’apprentissage Exemple Réseau Fonction d’activation Echantillon 1: a= 0*1+0*1=0 <=0  y3=-1≠ 1 (=Yv3) Donc W13’=W13+µ*(Y1*Yv3)=1 W23’= W23+µ*(Y2*Yv3)=1 Echantillon 2: a= 1*1+1*(-1)=0 <=0 y3=-1≠ 1 (=Yv3) W13’’=W13’+µ*(Y1*Yv3)=2 W23’’= W23’+µ*(Y2*Yv3)=0 Ainsi de suite Y1 Y2 Yv3 1 -1 Initialisation: µ=1 w12=w23=0

Règles d’apprentissage Loi de Widrow-Hoff :   wi,j‘ = wi,j + µ * (dj - yj) * yi = wi,j + dwi,j               wi,j(t + 1) = poids de la liaison i -> j au temps t + 1               wi,j(t) = poids de la liaison i -> j au temps t               yi = sortie de la cellule i              dj = réponse désirée              µ = constante positive (entre 0.0 et 1.0) La règle de Widrow-Hoff  ou règle du delta est locale, c´est à dire que chaque cellule de sortie apprend indépendamment des autres.  Une cellule ne modifie les poids des liaisons qui aboutissent à elle que si elle se trompe.

Règles d’apprentissage Loi de Grossberg : La méthode d’apprentissage de ce réseau est dite “compétitive", le processus d’apprentissage est calculé, en fonction du vecteur présenté et seul un “gagnant” pourra modifier le poids de ses connexions avec les cellules environnantes. Ce gagnant est élu selon la formule suivante :  où Wr’ et Wr représentent le poids des connexions au sein du réseau et v le vecteur d’input.

L’Intelligence Artificielle sur Silicium CogniBlox CM1K: 1024 neurones V1KU: Caméra intelligente équipée d’un moteur d’intelligence artificielle CM1K

Les principaux objectifs de l’IAC La machine doit acquérir de la connaissance et ainsi évoluer en s’adaptant à son environnement: Apprendre, Reconnaitre, Généraliser Mettre en évidence des relations entre des données hétérogènes, de généraliser et de proposer une décision. Dispositif d’accès sécurisé multi-experts virtuels

Un nouveau concept machine Le traitement massivement parallèle de l’information Le temps de réponse ne doit plus dépendre de la taille de la base de données. 1024 processeurs travaillent en parallèle

IA sur silicium un nouvel outil à réaction contextuelle Quand le feu est rouge, on stoppe Quand le feu est orange ?......!!! ça dépend : Situation impossible à programmer simplement Quand le feu est vert, on passe L’I.A.  une nouvelle façon de penser les problèmes non-linéaires !! L’I.A. est l’outil pour la perception globale de l’environnement.

La perception globale de l’environnement est un défi Un grand nombre de capteurs Un seul superviseur Une anticipation rapide des évènements critiques est essentielle et nécessite un traitement local de l’information. Pour des raisons économiques, techniques et de sécurité il faut déployer des experts virtuels dupliquant l’expertise humaine au niveau capteur. Surcharge!  Le capteur doit devenir autonome, intelligent et évolutif 24

l’I.A. est une réalité industrielle Elle est amenée à se développer Hier : Une caméra avec IP, un média à haute B.P., un ordinateur puissant, un programme, un ingénieur développeur  Un client captif Aujourd’hui : une caméra intelligente, autonome capable d’apprendre, de reconnaitre et de généraliser  Un client expert

 Analyse qualité de surfaces:  Nouvelle Génération d’ordinateurs:

L’information utile n’est pas toujours là où on l’attend! L’IA associe des caractéristiques à des concepts Segmentation – Classification - Reconnaissance Pour extraire l’information du « bruit » il faut effectuer une segmentation. Mais est-ce suffisant? Illustrating the defects tolerance (even to noisy input) and application capabilities of biological neural networks. Intuitively, principle is to map “features” (e.g., presence of letters, at certain positions) to high-level concepts, such as words. L’information utile n’est pas toujours là où on l’attend!

Quel est l’apport de l’I.A. ? Gâcreàdesrchecrehesàl'uinevsertiedeCmabrdige,l'odrredesltetersdansunmotn'aquepeud'ipmrotnace,lasuelecohseipmrotnateestquelapermeireetladreneireltteresionetbeinpalcseé.Driequenuospssaonspulsdelamiotéiedentorevieàarppenrdeàepepellrlesmtos.Etnnoantnon? Segmentation – Classification - Reconnaissance

L’IA associe des caractéristiques à des concepts: des mots … Gâcre à des rchecrehes à l'uinevsertié de Cmabrdige, l'odrre des lteters dans un mot n'a que peu d'ipmrotnace, la suele cohse ipmrotnate est que la pèrmeire et la drèneire lttere sionet bein palcseé. Drie que nuos pssaons puls de la miotéie de ntore vie à arppenrde à epepellr les mtos. Etnnoant non? Segmentation – Classification - Reconnaissance Illustrating the defects tolerance (even to noisy input) and application capabilities of biological neural networks. Intuitively, principle is to map “features” (e.g., presence of letters, at certain positions) to high-level concepts, such as words.

L’extraction de caractéristiques est une étape essentielle L’I.A. nécessite de répondre à deux questions - Quels sont les caractères discriminants? (identification d’événements) - Quelles sont les différentes catégories? (classification des événements)

Conclusion Traitement nativement parallèle de l'information, Les points fondamentaux à toujours garder à l'esprit : • les réseaux de neurones sont des outils statistiques, qui permettent d'ajuster des fonctions non linéaires très générales à des ensembles de points l'utilisation de réseaux de neurones nécessite que l'on dispose de données suffisamment nombreuses et représentatives • les réseaux de neurones permettent de modéliser des phénomènes statiques (réseaux non bouclés) et dynamiques (réseaux bouclés) • il faut utiliser, pour la conception du réseau, les connaissances mathématiques dont on dispose sur le phénomène à modéliser. Traitement nativement parallèle de l'information, Fusion de données hétérogènes, Capacité d’apprendre, de reconnaître et de généraliser, Système évolutif, Simple d’usage, Réponse rapide Faible consommation, Faible coût.

Toute idée qui ne parait pas stupide au départ est vouée à l’échec. A. Einstein

Une nouvelle approche … Apports de l’IA Une nouvelle approche … C’est à la machine de s’adapter à l’homme et non à l’homme de s’adapter à la machine (K. Höök) Traitement nativement parallèle de l'information, Fusion de données hétérogènes, Capacité d’apprendre, de reconnaître et de généraliser, Système évolutif, Simple d’usage, Réponse rapide, Faible consommation, Faible coût.