RESEAUX DE NEURONES

PLAN INTRODUCTION: définition, contexte scientifique, historique, domaines d’application. PERCEPTRON: modèle mathématique, fonctions de transfert, architecture de réseau. DONNEES CLIMATIQUES: activité solaire, taux de CO2, couche optique stratosphérique RESULTATS ET INTERPRETATIONS CONCLUSION

DEFINITION Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle. Chaque processeur élémentaire (neurone artificiel) calcule une sortie unique sur la base des informations qu’il reçoit. Parallel Distributed Processing : Calculs élémentaires et parallèles Données/informations distribuées dans le réseau Inspiration naturelle : analogie avec le cerveau

Contexte Scientifique Neuromimétisme et sciences de la cognition : comprendre et simuler le fonctionnement du cerveau reproduire les phénomènes cognitifs (I.A.) Connexionisme : outils d’ingénierie performants Intelligence computationnelle : une intelligence basée sur le calcul numérique opposée à l ’intelligence artificielle (calcul symbolique) réseau de neurones; logique floue; algorithmes génétiques; ...

Historique (la préhistoire) James [1890] : mémoire associative McCulloch & Pitts [1943] A logical calculus of the ideas immanent in nervous activities neurone formel Les ordinateurs à codage binaire (Von Neumann) L ’intelligence artificielle (calcul symbolique) Les réseaux de neurones Hebb [1949] Organisation of behavior le conditionnement est une propriété des neurones loi d’apprentissage

Historique(les premiers succès) Rosenblatt [1957] : le perceptron, premier modèle opérationnel reconnaissance d ’une configuration apprise tolérance aux bruits Widrow [1960] : adaline, adaptive linear element Minsky & Papert [1969] : impossibilité de classer des configurations non linéairement séparables abandon (financier) des recherches sur les RNA

Historique (le renouveau) [1967 - 1982] : Mise en sommeil des recherches sur les RNA. Elles continuent sous le couvert de domaines divers. Grossberg, Kohonen, Anderson, ... Hopfield [1982] : modèle des verres de spins Boltzmann [1983] : première réponse à Minsky et Papert [1985] : la rétro-propagation du gradient et le perceptron multicouche Rumelhart, McClelland, … [1985] : le groupe Parallel Distributed Processing

Domaines d’application Classification : répartir en plusieurs classes des objets données quantitatives  informations qualitatives reconnaissance des formes Recherche Opérationnelle résoudre des problèmes dont on ne connaît pas la solution Mémoire Associative restituer une donnée à partir d’informations incomplètes et/ou bruitées.

Le modèle mathématique d'un neurone artificiel Entrées du neurone Poids du neurone Un neurone est essentiellement constitué d'un intégrateur qui effectue la somme pondérée de ses entrées (comme l'espérance statistique !). Le résultat de cette somme est ensuite transformée par une fonction de transfert f qui produit la sortie a du neurone. Les R entrées du neurone correspondent au vecteur P noté traditionnellement en ligne, mais en fait on prend la transposée pour des raisons pratiques, nous utiliserons dans les notations sa transposé. W représente le vecteur des poids du neurone.

Fonctionnement Sortie n de l’intégrateur : Sous forme matricielle : b = biais du neurone La sortie n de l'intégrateur est alors définie par l'équation suivante : que nous pouvons aussi écrire sous forme matricielle : Où b désigne le « biais du neurone », c’est-a-dire un facteur correctif décidé par tâtonnement. On obteine alors comme sortie du neurone a=f(WTP-b) Sortie a du neurone :

Nouveau Schéma Cette équation nous amène à introduire un nouveau schéma plus formel de notre perception des choses : Où W correspond à WT pour des raisons de simplification de notation.

Les fonctions de transfert Les plus courantes Les plus utilisées Parlons maintenant de la fonction d'activation a=f(n) de notre modèle. Il se trouve que plusieurs possibilités existent et celles-ci sont quasiment empiriques et à adapter en fonction des situations. Voici un tableau non exostif des fonctions les plus courantes et les plus citées dans la littérature On remarquera principalement les 3 fonctions suivvantes : la fonction "seuil" (ou "hard limit" en anglais), la fonction "linéaire", et la fonction"sigmoïde" fonction seuil (ou "hard limit") fonction linéaire fonction sigmoïde

Architecture de réseau Par définition, un réseau de neurones est un maillage de plusieurs neurones, généralement organisés en couches. Pour construire une couche de S neurones, il s'agit simplement des les assembler comme dans cette figure. Ici, wi,j désigne le poids de la connexion qui relie le neurone i à sont entrée j. On obtient alors une matrice des poids de connexion W de dimention SxR. Si nous considérons que les S neurones forment un vecteur de neurones, alors nous pouvons créer les vecteurs b, n et a comme décrit ici.

Représentation simplifiée Ceci nous amène à la représentation simplifiée illustrée comme ici. Finalement, pour construire un réseau de neurones (ou PMC pour "Perceptron Multi-Couches"), il ne suffit plus que de combiner des couches comme ici. les réseaux multicouches sont beaucoup plus puissants que les réseaux simples à une seule couche. En utilisant deux couches, à condition d'employer une fonction d'activation sigmoïde sur la couche cachée, nous pouvons "entraîner" un réseau à produire une approximation de la plupart des fonctions, avec une précision arbitraire. Sauf dans de rares cas, les réseaux de neurones formels exploitent deux ou trois couches.

Activité solaire Rayonnement solaire (énergie solaire provient de la fusion) = énergie fondamentale du système climatique de la Terre toute variation de la production d’énergie solaire  facteur déterminant dans l’étude du climat terrestre. La mesure de l’activité solaire est : l’irradiance en Watt par mètre carré. On trace un graphe de l’activité solaire grâce aux données qui nous ont été fournies.

Activité solaire Cycle de Schwabe  11ans

Activité solaire Les taches solaires Premiere observation: Galilée vers 1610 Dimension : diamètre peut atteindre plusieurs dizaines de milliers de kilomètres. Les premières taches d’un cycle : 30° et le 35° de latitude la zone d’apparition des taches migre vers l’équateur solaire au fil des années. début du cycle suivant avant la fin du cycle en cour car ré-apparition de tache en haute latitude

Le taux de CO2 Y=1.3884x + 2409 y=0.3001 x - 283.72 Année de référence 1960

Le taux de CO2 augmentation du taux de CO2  révolution industrielle (de + en + de pays) deforestation anthropique  moins d’absoption CO2 de par photosynthese

Rappel de vulcanologie quatre types, selon la nature et la fluidité de la lave qui s'écoule. VOLCAN TYPE HAWAÏEN: des éruptions dites effusives. lave est très fluide pas d’explosion. VOLCAN TYPE STROMBOLIEN : éruptions diffusives et explosives, des coulées de lave fluide et des projections de cendres et der roches brûlantes, les bombes. VOLCAN TYPE VULCANIEN : éruptions explosives, avec des coulées de lave très visqueuse, projection très haut d'énormes quantités de cendres et de blocs incandescents. VOLCAN TYPE PELÉEN :rares et très violentes. explosion fait sauter le bouchon de lave solidifiée, coulée rapide de cendres et de fragments de lave solidifiée. C'est la nuée ardente.

Variation de l’épaisseur optique stratosphérique L’activité volcanique  grandes éruptions à caractère explosif  injecter dans la stratosphère de grandes quantités de gaz soufré qui se transforment par la suite en aérosols sulfatés  réduction de l’irradiance (estimé à −3,5 Wm² en moyenne globale lors de l’éruption du Pinatubo par ex), ! Hétérogénéité

Cas n°=1: istep=20 nstep = 20 Nombre de neurones = 3 IV. Résultats obtenus Cas n°=1: istep=20 nstep = 20 Nombre de neurones = 3

Cas n°=1

Cas n°=1

Avec un nombre de neurones = 5

Avec un nombre de neurones = 5

Même situation avec un nombre de neurones = 10

Même situation avec un nombre de neurones = 10

Avec 100 neurones cachés:

Avec 100 neurones cachés:

Cas n°=2 : nombre de neurones=3. istep = 30 nstep = 30

Cas n°=2 : nombre de neurones=3.

Pour nstep = istep = 50 :

Pour nstep = istep = 100 :

istep = nstep = 100

CONCLUSION Autres Algorithmes de résolution: _ Méthode de descente _ Gradient simple ou conjugué _ retropopagation du gradient _ Quasi Newton _ …