Intelligence Artificielle et plagiarisme constructif Mounir Boukadoum UQAM 4/5/2017

Aujourd’hui… On peut-on réaliser des computations hors de portée de la plupart des adultes avec un ordinateur : e.g., calculs arithmétiques, jouer aux échecs, brasser de grandes quantités de données, etc. Mais pas des fonctions cognitives à la portée d’un bébé ! e.g., reconnaissance des visages et des objets, autonomie d’apprentissage, coordination sensori-motrice Le cerveau humain fonctionnerait-il suivant des principes différents des ordinateurs actuels ?

Un système c’est quoi ? Bonne question ! Une définition pragmatique : Ensemble d’éléments physiques ou conceptuels liés par des relations causales Relation(s) d’entrée-sortie Effets (sorties) Causes (entrées) Paramètres 2017-04-05

Et un modèle? Définition pas plus évidente... autre définition pragmatique: Construction physique ou schématique permettant d’expliquer la nature ou comportement d’un système à partir de postulats élémentaires. 4/5/2017

Identification des éléments Hmm…

La modélisation classique Part d’hypothèses intuitivement acceptables : Le tout est la somme des parties (principe de linéarité) Des perturbations minimes sur un nombre fini de parties auront un effet minime sur le tout (principe de continuité locale) Les lois régissant le fonctionnement sont immuables à court ou moyen terme (principe de stationnarité) ; en particulier, deux effets différents pour la même cause sont le fait de paramètres différents Un système qui ne répond pas aux hypothèses demande seulement l’ajout de termes de correction 4/5/2017

Conséquences... Les systèmes peuvent être décrits par un approche formelle Équations différentielles/intégrales linéaires et stationnaires dans le temps Raisonnement logique Les « récalcitrants » peuvent être corrigés en changeant leurs paramètres ou en ajoutant des termes de correction : Un système non linéaire est un système linéaire, plus… Un système non stationnaire est un système invariant dans le temps, plus… 4/5/2017

Et que faire si… Les valeurs des variables sont imprévisibles, (variables bruitées ou trop complexes) ? Remplacer les équations d’entrée-sortie par des versions probabilistes Les nature des variables est vague ou leurs valeurs imprécises, ou on tombe sur des contradictions? Étudier le sujet avec plus de détail Les équations n’ont pas de solutions analytiques Et l’analyse numérique, vous y avez pensé ? 4/5/2017

Mais alors, pourquoi… Peut-on réaliser des prouesses computationnelles hors de portée de la plupart des gens avec un ordinateur : e.g. calculs arithmétiques, jouer aux échecs, brasser de grandes quantités de données précisément, etc. mais pas réaliser des fonctions à la portée d’un bébé : e.g. reconnaissance des visages et des objets, autonomie d’apprentissage, coordination sensori-motrice Réponse possible : le cerveau humain fonctionne suivant des principes différents des ordinateurs Séquentiel vs. parallèle; « intelligence ».

IA classique Descartes : Cogito, ergo sum (c.à.d. c’est l’esprit qui compte, pas le corps) Le calcul analytique est un bon début, mais il faut aller plus loin reproduire les facultés cognitives humaines de haut niveau : langage, raisonnement discursif, abs tractation des idées, etc. La logique et les graphes indiquent le chemin

Représentation formelle des connaissances Spot is a dog Spot is brown Every dog has four legs Every dog has a tail Every dog is a mammal Every mammal is warm-blooded dog(Spot) brown(Spot) (x)(dog(x)  four-legged(x)) (x)(dog(x)  tail(x)) (x)(dog(x)  mammal(x)) (x)(mammal(x)  warm-blooded(x))

Graphe (Réseau sémantique) mammal warm- blooded four-legs Exemple d`inférence dog tail Spot brown

Exemple d’utilisation IF the infection is primary-bacteremia, and the site of the culture is one of the sterile sites, and the suspected portal of entry of the organism is the gastrointestinal tract, THEN the identity of the organism is bacteroides with suggestive evidence 0.7 MYCIN: advise on diagnosis & therapy for infectious diseases.

Pourquoi cela ne marche pas toujours… Difficulté de trouver un ordre (les règles) Explosion combinatoire des règles Sensibilité au contexte Symboles sans ancrage sémantique Sens-commun difficile à modeler Cognition non verbale non modelée Les paradoxes ne sont pas exclus Paradoxes de Russel, Théorèmes de Gödel

L’implication logique est-elle naturelle (chez l’humain) ? Modus ponens: ((PQ)  P)  Q Wason Task (1996, 1993): Si voyelle, alors chiffre pair au verso Carte(s) à tourner pour vérifier la règle? <10% de bonnes réponses (1 & 2)! Si enveloppe sellée, alors timbre de 2.80$ au verso Enveloppe(s) à tourner pour vérifier la règle? 90% de bonnes réponses! Même règle, mais utilisation inconsistante! A 3 B 2 Adapted from Ripoll and Tricot, 1995

Le cycle de la compétence chez l’humain Novice : apprentissage de faits et règles pour application sans discernement Débutant avancé : identification de situations similaires par expérience Compétence émergente : sens de la pertinence pour grouper des volumes de faits Compétent : pensée analytique enrichie par l’organisation et la compréhension intuitives Expert : comportement est intuitif, automatique et efficace.

Qu’en est-il de formalismes… Résilients à l’incertitude, la complexité ou le manque de précision ? Capables de s’adapter automatiquement à des changements de contexte Plus proches de la manière dont l’être humain lambda et la nature en général résolvent les problèmes ? 4/5/2017 Adapté de Léonard Studer

La « nouvelle » IA Apparue dans les années 80 Convergence de développements en plusieurs disciplines : La représentation propositionnelle émerge des connaissances et n’est plus un postulat de base Utilisation d’approches non traditionnelles connexionnisme (savoir implicite vs. explicite) métaphores LOast item: performance vs competence.

Traitement intelligent ? Propriété d’un système capable : d’apprentissage autonome d’auto-adaptation à des contextes différents de traitement de données incomplètes, vagues ou imprécises Défi de taille pour les outils de modélisation traditionnels, mais pour la nature ! Pourquoi ne pas la copier? Processus biologiques, évolutionnaires, cognitifs, etc. (intelligence mimétique), quelquefois matés avec des outils statistiques non linéaires. 4/5/2017

Computation naturelle (mimétique) Caractéristiques: Tolérance au bruit, à l’erreur, aux fautes, aux défauts Algorithmes génériques Adaptabilité Réponse en temps réel Optimalité et boîte blanche non essentiels

Quand utiliser TII ? Modèles inconnus, vagues ou incomplets Modèles connus, mais pas les outils (modèles non linéaires, variant dans le temps, etc.) Données bruitées, fragmentaires ou soumises à l’influence environnementale Performance des outils formels faible (temps, précision) Dimension de l’espace de travail trop grande 4/5/2017

Quelques fois on sait, mais… Modèle en haute fréquence d’un transistor S21= { [-2 G0 Gg Gd gm Gi Gs] p**0 + 2 G0 Gg Gd Gi [Cg (Gs+gm+G1)+Cs G1] p**1 + [Cg Cs G0 Gg Gd (Gi+Gs+G1)+ G0 Gg Gd Gi Cd (Cg+Cs)+G0 Gg Gd Gi Gs (Cg Ls (gm+G1)+G1 Cs Ls)] p**2 + 2 G0 Gg Gd [Cg Cs Cd+Gs Cg Cs Ls (Gi+G1)+Gi Gs Cd Ls (Cg+Cs)] p**3 + 2 G0 Gg Gd Gs Cg Cs Cd Ls p**4 } / { G0 Gg Gi (Gd GL (gm + G1 + Gs)+ G1 Gs (Gd + GL)) p**0 + [Cg Gi (G0 (Gg Gd gm + Gg GL gm + Gd GL gm + Gg Gd G1 + Gg GL G1 + Gd GL G1 + Gg Gd Gs+ Gg GL Gs+ Gd GL Gs + Gd gm Gs + GL gm Gs + Gd G1 Gs + GL G1 Gs) + Gg (Gd GL gm + Gd GL G1 + Gd GL Gs + Gd gm Gs + GL gm Gs +Gd G1 Gs + GL G1 Gs)) + Cs (G0 (GL (Gg Gd G1+ Gg Gd Gi + Gg G1 Gi + Gd G1 Gi + Gg Gd Gs + Gg G1 Gs + Gd Gi Gs + G1 Gi Gs) + Gg Gd G1 Gi + Gg Gd G1 Gs + Gd G1 Gi Gs) + Gg Gi (Gd GL G1 + Gd GL Gs + Gd G1 Gs + GL G1 Gs)) + Cd G0 Gg Gi (Gd GL + Gd Gs+ GL Gs)+ (Ld G1+ Ls (G1 + gm)) G0 Gg Gd GL Gi Gs] p**1 + [Cg Cs (G0 (GL (Gg G1+Gd G1+Gg Gi+Gd Gi+Gg Gs+Gd Gs+G1 Gs+Gi Gs) + Gg Gd G1+Gg Gd Gi+Gg Gd Gs+Gd G1 Gs+Gd Gi Gs) +Gg (Gd GL G1+Gd GL Gi+Gd GL Gs+Gd G1 Gs+GL G1 Gs+Gd Gi Gs+GL Gi Gs)) + Cg Cd Gi (G0 (Gg Gd +Gg GL + Gd GL + Gd Gs + GL Gs) + Gg (Gd GL + Gd Gs + GL Gs)) + Cs Cd (G0 (Gg Gd GL+Gg Gd Gi+Gg GL Gi + Gd GL Gi + Gg Gd Gs + Gg GL Gs + Gd Gi Gs + GL Gi Gs) + Gg Gi (Gd GL + Gd Gs + GL Gs)) + Cg Lg G0 Gg Gi (Gd GL gm + Gd GL G1 + Gd GL Gs + Gd gm Gs + GL gm Gs + GL G1 Gs + Gd G1 Gs ) + Cs Lg G0 Gg Gi (Gd GL G1 + Gd GL Gs + Gd G1 Gs + GL G1 Gs)+ Cg Ld Gd Gi (G0 (Gg GL gm + Gg GL G1 + Gg GL Gs + GL gm Gs + GL G1 Gs) + Gg GL Gs (gm + G1))+ Cs Ld Gd G1 GL (G0 Gg Gi + G0 Gg Gs + G0 Gi Gs + Gg Gi Gs) + Cd (Ld + Ls) G0 Gg Gd GL Gi Gs + Cs Ls Gs (G0 (Gg Gd (GL G1 + GL Gi + G1 Gi ) + GL G1 Gi (Gg + Gd)) + Gg Gd GL G1 Gi)+ Cg Ls Gi Gs (G0 (Gg Gd gm + Gg GL gm + Gd GL gm + Gg Gd G1 + Gg GL G1 + Gd GL G1) + Gg Gd GL gm + Gg Gd GL G1)] p**2 + [Cg Cs Cd (G0 Gg Gd + G0 (Gg GL + Gd GL + Gd Gs + GL Gs) + Gg (Gd (GL + Gs) + GL Gs)) + Cg Cs Lg G0 Gg (Gd (GL G1 + GL Gi + GL Gs + G1 Gs + Gi Gs) + GL G1 Gs + GL Gi Gs)+ Cg Cd Lg G0 Gg Gi (Gd (GL + Gs) + GL Gs) + Cs Cd Lg G0 Gg Gi (Gd (GL + Gs) + GL Gs)+ Cg Lg Ld G0 Gg Gd GL Gi Gs (gm + G1)+ Cg Lg Ls G0 Gg Gd GL Gi Gs ( gm + G1) + Cs Lg (Ld + Ls) G0 Gg Gd GL G1 Gi Gs + Cg Cs Ld GL (G0 Gd (Gg G1 + Gg Gi + G1 Gs + Gi Gs + Gg Gs) +Gg Gd Gs (G1 + Gi))+ Cg Cd Ld Gd Gi GL (G0 Gg + G0 Gs + Gg Gs)+ Cs Cd Ld Gd GL (G0 Gg Gi + G0 Gg Gs + G0 Gi Gs + Gg Gi Gs) + Cg Ld Ls G0 Gg Gd GL Gi Gs (gm + G1) + Cs Ld Ls G0 Gg Gd GL G1 Gi Gs + Cg Cs Ls Gs (G0 (Gg Gd G1+Gg GL G1+Gd GL G1+Gg Gd Gi+Gg GL Gi+Gd GL Gi )+Gg Gd GL (G1 + Gi)) + Cg Cd Ls Gi Gs (G0 (Gg Gd +Gg GL+Gd GL) +Gg Gd GL) + Cs Cd Ls Gs (G0 (Gg Gd GL +Gg Gd Gi +Gg GL Gi +Gd GL Gi) +Gg Gd GL Gi)] p**3 + [Cg Cs Cd Ld Gd GL Gs ( G0 + Gg) + Cg Cs Cd Ls Gs (G0 Gg Gd +G0 Gg GL +G0 Gd GL + Gg Gd GL)+ Cg Cd Lg G0 Gg GL Gs (Cs + Ld Gd Gi)+ Cg Cs Lg Ld G0 Gg Gd GL Gs (G1 + Gi) + Cs Cd Lg (Ld+Ls) G0 Gg Gd GL Gi Gs + Cg Cs Lg Ls G0 Gg Gd GL Gs (G1 + Gi) + Cg Cd Lg Ls G0 Gg Gd GL Gi Gs + Cg Cs Ld Ls G0 Gg Gd GL Gs (G1+ Gi) + (Cg + Cs) Cd Ld Ls G0 Gg Gd GL Gi Gs] p**4 + [Cg Cs Cd Lg (Ld + Ls) G0 Gg Gd GL Gs + Cg Cs Cd Ld Ls G0 Gg Gd GL Gs] p**5 } Lg Gg Ld Gd Gs Ls D G S Gi G1 Cs Cd Cg gm Vc Vc Et on a supposé un modèle linéaire à paramètres distribués ! 4/5/2017

L’intelligence mimétique « raisonne »-t’elle ? TI Proposition Type de raisonnement (a) Les hommes sont mortels (b) Socrate est un homme (c) Socrate est mortel (a) et (b) donne (c) par déduction (b) et (c) donne (a) par induction (a) et (c) donne (b) par abduction 4/5/2017

La boîte à outils présente Réseaux de neurones artificiels (RN) Logique floue (LF) Algorithmes évolutionnaires (AE) Les systèmes immunitaires artificiels (AIS) Concepts associés (à des fins d’hybridation) Machines à vecteurs supports Optimiseurs algorithmiques Graphes et treillis probabilistes (Modèles markoviens, réseaux bayésiens, etc.) Raisonnement à base de cas Et autres … 4/5/2017

Lequel, pourquoi ? AIS RN Détecter Classer/ Apprendre Optimiser L’hybridation est possible et desirable : Le but est un système de traitement avec plus intelligence AE LF Expliquer/Décider 4/5/2017

Adapté de Piero Bonissone Lequel, quand ? Tactique [ ns- hres-jours] Opérationnel [ Jours-Sems] Strategique [ Mois-Années] Meta [ Vie] Fonctions clés - Diagnostique - Évaluation Pronostique Contrôle Technologies Classifieurs (SVM, BBN, NN, FS, RF,…) Prédicteurs (NN, RBF, FS, RF, basés instance, …) Fonctions clés Génération de cédules Planif. logistique Évaluation d’état & allocation de ressources Gestion d’actifs Technologies Optimiseurs (EA, Tabou …) Simulateurs (Discrets, Stochastiques, …) Experts (Temporels, basés règles, cas, instances, …) Fonctions clés Gestion de ressources Multi-Objectifs Détermination de politique Optimisation simple/Multi-objectif Prise de décision Technologies Optimiseurs (EA Multi-Objectifs, Tabou, …) Simulateurs (Discrets, Stochastiques, …) Experts en compromis (basés flou, règles, cas, instances, …) Visualisation (Interactifs, basés règles, cas, instances, …) Fonctions clés Support de cycle de vie Surveillance de l’usage Adaptabilité aux changements Évolutilivité des modèle Technologies Optimiseurs pour le réglage & l’adaptation (EA, Gradients, Tabou, …) Simulateurs pour la validation (Discrets, Stochastiques, …) 4/5/2017 Adapté de Piero Bonissone

Les propriétés générales : Des théorèmes existent pour plusieurs techniques, prouvant les propriétés : Approximateur universel de toute fonction bornée et suffisemment régulière. Parsimonieux en paramètres en comparaison avec un algorithme linéaire. Convergence vers une solution : Appoches heuristiques : pas de critères formels pour régler les paramètres ! 4/5/2017

Les RNA « Inspirés » du système nerveux central Groupements d’éléments simples Fonctionnalité répartie dans l’espace et le temps Se distinguent par la topologie, la/les fonctions de sortie et la règle d’adaptation des poids Entrées Sorties : Neurone : lien pondéré 4/5/2017

RN un bon choix si : Le problème est riche en données et pauvre en modèles (Modélisation classique inapplicable) Relation d’e/s non linéaire, à variables multiples ou volatile (approximation par méthodes linéaires souvent inappropriées, les essayer d’abord !) On a du temps (et de la créativité) pour arriver au RNA final La détermination des paramètres est un art ! 4/5/2017

RN en action Classification/catégorisation/approximation Détection/identification de signaux, d’objets et d’organismes biologiques Synthèse de fonctions complexes Modélisation non linéaire Visualisation de structures sous-jacentes Analyse d’image (cellules malignes, défauts de soudure ou d’assemblage, aussi cibles de missiles malheureusement ) Codeurs/décodeurs 4/5/2017

Logique floue 101 Remplace des intervalles de valeurs numériques par des étiquettes qualitatives (valeurs linguistiques). On raisonne sur les valeurs linguistiques : Y=f(x) s’applique sur des intervalles et non des singletons L’appartenance multiple est permise: une valeur numérique peut correspondre à plusieurs valeurs linguistiques y y b b y = fct de points y = fct d’intervalles a a x x 4/5/2017

LF un bon choix si : L’expérience ou l’intuition peut compléter/remplacer la connaissance formelle Le savoir du domaine est de nature heuristique Les objectifs sont clairs, mais pas la démarche ! Les données se prêtent à l’agrégation L’environnement d’opération est bruité La performance temporelle est un critère 4/5/2017

LF en action Décision/analyse/classification Régulateurs non-linéaires Algorithmes de décision à base d’heuristiques Modélisation en boîte blanche Systèmes experts intuitifs Systèmes embarqués à réaction rapide Recherche de plus courts chemins Classifieurs rapides 4/5/2017

Algorithmes évolutionnaires 101 Trouvent la solution progressivement, par renforcement de traits positifs Introduisent une dimension stochastique à la recherche de solution Incluent : Les algorithmes génétiques La programmation génétique L’intelligence collective (« ant colonies », « swarms ») Autres… 4/5/2017

AE un bon choix si : Les données peuvent être codées et le problème peut être formalisé par un graphe L’effet de groupe peut améliorer le comportement individuel et vice-versa L’atteinte du but est facile à conditionner Le problème est à contraintes multiples Un temps de convergence potentiellement lent est acceptable Le hasard est au secours de la nécessité ! 4/5/2017

AE en action Optimisation/fouille/synthèse/décision Reproduction de processus à l’aveugle Matériel évolutif (e.g. systèmes auto adaptatifs) Recherche de chemins et de points d’intérêts dans des espaces complexes Traitement d’images Optimisation multiobjective Contournement de brevets ! 4/5/2017

Comparaison entre systèmes LF RN AE Représentation des connaissances ++ -- - Tolérance à l’incertitude Tolérance au manque de précision Adaptabilité Capacité d’apprentissage Capacité d’explication Temps de réponse + Maintenabilité -- Ouach ! -Mmh… + Ok ++ Yes sir ! 4/5/2017

En résumé Technique de modélisation Equa-diff. FL RN AE Autres Structure définissante Ordre Ensemble de règles Architecture Topologie et/ou encodage Encodage Paramètres Coefficients Étiquettes Degrés de vérité Biais Poids synaptiques Varient Processus d’utilisation Résoudre les équations - Solution fermée - Approximation Évaluation de nœud & Propagation Propagation Évaluation d`étape et Propagation REPRESENTATION 4/5/2017