La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

AHA Algorithmes Hybrides et Adaptatifs MOAIS / ID-IMAG Algorithmique, programmation parallèle, ordonnancement GILCOOptimisation combinatoire: gestion production,

Présentations similaires


Présentation au sujet: "AHA Algorithmes Hybrides et Adaptatifs MOAIS / ID-IMAG Algorithmique, programmation parallèle, ordonnancement GILCOOptimisation combinatoire: gestion production,"— Transcription de la présentation:

1 AHA Algorithmes Hybrides et Adaptatifs MOAIS / ID-IMAG Algorithmique, programmation parallèle, ordonnancement GILCOOptimisation combinatoire: gestion production, transport LMC-IMAG Algorithmique calcul exact ARENAIRE Algorithmique calcul fiable MOVI Vision et interaction, reconstruction 3D

2 Adaptabilité Les données varient Les ressources varient Application Nécessité dadaptation pour améliorer la performance

3 Adaptabilité Les données varient Les ressources varient Adaptations Ordonnancement planification (scheduling) volume calculs / hétérogénéité redistribution (load-balancing) Objectif de AHA : vision intégrée de ladaptation Approche algorithmique : combinaison auto-adaptative dalgorithmes avec comportement global justifié dun point de vue théorique Mesures sur les ressources Mesures sur les données Choix algorithme séquentiels/parallèle(s) approché/exact en mémoire / out of core Calibrage pré-paramétrage taille de blocs / cache choix dinstructions gestion de priorités

4 –Calcul fiable (LMC, ARENAIRE) : FFLAS (exact), MPIF (intervalles) => Adaptation : ressources: hiérarchie mémoire, unités de calcul (flottantes / entiéres), hybridation arithmétique approchée / intervalles / exacte utilisés par LinBox (www.linalg.org) –Vision artificielle (MOVI) : reconstruction 3D multi-caméras Adaptation : ressources hétérogènes (mono-pro / bipro) niveau de détail –Optimisation combinatoire (GILCO) : conception de réseaux pour le transport => Adaptation : ressources disponibles sur une grille hybridation méthodes exactes / méthodes approchées Contexte applicatif Grimage (MOVI, MOAIS)

5 Verrou scientifique Existant : Algorithmes qui intègrent une forme dadaptabilité restreinte Verrou : comment construire une combinaison dalgorithmes qui sadapte automatiquement à lensemble du contexte dexécution ? Clef : trouver la combinaison qui permet de garantir la meilleure performance globale : –technique algorithmique classique en parallélisme « Cascading Divide&Conquer » (1991) Aller plus loin : « poly-algorithme »

6 Approche scientifique de AHA Problème à résoudre : f Plusieurs algorithmes (adaptifs) possibles: algo_f 1, algo_f 2 (taille_bloc), … algo_f k Chaque algorithme algo_f k est récursif : Adaptation choix de algo_f j pour chaque appel à f algo_f i ( n, … ) { …. f ( n - 1, … ) ; // appels à des ….// f ( n / 2, … ) ;// sous-problèmes … } Auto-adaptation : le calcul progresse tout en permettant de remettre en cause des choix non pertinents. Maîtriser le surcoût dû au choix (Work-first principle)

7 Un exemple : calcul des préfixes Entrées : P -1, a 0, a n-1 Sorties : P -1 *a 0, P -1 *a 0 *a 1, …, P -1 *a 0 *a 1 *…*a n-1 Problèmes dadaptation sur deux machines M 1 et M 2 : –Algorithme séquentiel M 1, M 2 / Algorithme parallèle M 1, M 1 +M 2, … T seq = n / T = log(n) mais T 1 > 1.5 n –Taille de blocs : dépend machine –Adaptation aux données: opération * de coût variable –Contrainte de temps sur les résultats : * à précision adaptable Comment peut-on les résoudre par combinaison récursive –auto-calibration à linstallation : taille de blocs; pré-distribution des données –Adaptation inactivité aux ressources

8 blocP m-1 = Préfixe(P -1, a 0, a m-1 ) blocR u-1 = Préfixe(1, a m, a u-1 ) M1 M2 Préfixe(P m-1 *R u-1, a u, a n-1 ) Prédistribution Exécution séquentielle par défaut pour chaque algorithme

9 blocP m-1 = Préfixe(P -1, a 0, a m-1 ) R u-1 = Préfixe(1, a m, a u-1 ) M1 M2 Préfixe(P m-1 *R u-1, a u, a n-1 ) Algorithme auto-adaptatif : sadapte au contexte (données+machine)) T = n + log(n) en pire cas, donc proche du temps séquentiel T = log(n) en meilleur cas ; 0.75n sur deux machines id é ales Dans tous les cas, activit é utile des ressources

10 Conclusion Approche algorithmique de l'adaptabilité Clef pour lexploitation de ressources mutualisées Forte composante théorique avec validation expérimentale pour relever des défis applicatifs

11 Questions ?

12 Organisation de AHA 1 fourniture transversale : AdSynth Description générique dun algorithme adaptatif –Synthèse théorique des algorithmes adaptatifs / hybrides Analyse, classification, complexité Spécification dun schéma générique –Défi : efficacité de l'adaptabilité sur des exemples simples –Validation : Plateforme dexpérimentation Plateformes disponibles: serveurs(bi-procs), clusters (grimage, icluster2), grilles (ciment, grid5000) Pas de multi-processeurs (bi-processeurs insuffisants) : –SMP = premier cadre dutilisation: essentiel pour transférer la technologie –Valider lapproche : reproductibilité des expérimentations participation à lacquisition dun SMP (quadri-processeurs au moins) 3 fournitures dans chaque domaine applicatif –Calcul fiable adaptatif –Optimisation combinatoire –Reconstruction 3D

13 Justifications Technologique –Disponibilité des architectures fédératives Grimage, Ciment, … Grid5000 –Visibilité du pôle Grenoblois sur ces plateformes –Fédérer les développements logiciels [ROXANE] Vision intégrée de ladptabilité Politique –Concrétiser les relations existantes autour dune problématique émergente: les algorithmes adaptatifs Algorithmique LMC, ARENAIRE, MOAIS, GILCO Grimage : MOVI / MOAIS –Pas de moyens pour de gros clusters : on doit exploiter des ressources hétérogènes, non-uniformes (ex: CERN) Sociétale : –Indirecte : à travers les défis applicatifs : Reconstruction 3D temps réel : environnements de travail collaboratif Optimisation : gestion de production, stockage, transport –Adaptabilité = clef pour la mutualisation de ressources sinon vacantes donc polluantes

14 Contexte scientifique (1/2) Mécanismes dadaptation exploités effectivement et prouvés –Atlas [2001] bibliothèque algèbre linéaire dense (FFLAS) Choix entre algorithmes par bloc ou scalaire ? Auto-calibration de la taille des blocs à linstallation sur la machine –FFTW (1998, … ) = algorithme récursif adaptatif Choix de la meilleure découpe possible à chaque appel récursif ? Pré-calcul de la découpe optimale pour la taille n du vecteur sur la machine –Cilk (1998, …) Athapascan (2000, …) : parallélisme récursif Choix entre exécution parallèle ou séquentielle pour chaque appel récursif ? « Work-first principle » : Exécution séquentielle optimisée sauf si inactivité

15 Résultats théoriques récents : combinaison dalgorithmes avec justification théorique –Tâches moldables : Ordonnancement bi-critère avec garantie [Trystram&al 2004] Combinaison récursive alternatiive dapproximation pour chaque critère Auto-adaptation avec performance garantie pour chaque critère –Algorithmes « Cache-Oblivious » [Bender&al 2004] Découpe récursive par bloc qui minimise les défauts de page Auto-adaptation à la hiérarchie mémoire (B-tree) –Algorithmes « Processor-Oblivious » [Roch&al 2005] Combinaison récursive de 2 algorithmes séquentiel et parallèle Auto-adaptation à linactivité des ressources Contexte scientifique (2/2)

16 Collaborations LinBox (UD, NCSU, UWO) Transports : A.Barra, R.Balassiano (UFRJ/PUC, Rio), F.Loureiro (UF de Ceara, Fortaleza) Reconstruction 3D / Grimage : MOVI / Brown university Algorithmes « oblivious », adaptatifs : –M. Bender Stony Brook –C. Leiserson MIT (AtomicCilk)

17 Questions ?

18 Disponibilité effective darchitectures agglomérant des ressources hétérogènes, non-uniformes –Machines (hiérarchie mémoire, SMP UMA/NUMA) –Clusters : nœuds de calcul (x86, IA64, PowerPC,…), I/O (caméras, projecteurs, …) –Grille : locale [CIMENT] nationale [Grid5000] Contexte technologique

19 Bilan financier

20 Approche scientifique (1/4) Description générique dun algorithme adaptatif –Synthèse théorique des algorithmes adaptatifs / hybrides Analyse, classification, complexité Plateforme dexpérimentation –Machine SMP quadri-processeurs –Modèles de perturbation / Reproductibilité Défi: –rendre, grâce à ladaptabilité, le calcul sur processeurs non uniformes aussi efficace que sur processeur uniforme Fourniture AdSynth: Investissement 8k / Fnct 6k / Missions 12 k = 26k

21 Approche scientifique (2/4) Calcul fiable adaptatif –Calcul exact dun signe (arithmétique exacte/flottante/intervalles) –Existant : FFLAS / MPFI Utilisant Atlas / BLAS (calculs flottants avec garantie) –Adaptabilité : Exploitation de ressources parallèles Hybridation arithmétique exacte / intervalles/ flottante –Calcul flottant avec garantie derreur ou dexactitude : »Calcul exact dun signe »Résolution de système par pré-conditionnement flottant –(arithmétique exacte/flottante/intervalles) Défi: –Rendre le calcul exact aussi efficace que le numérique Fourniture AdCalc: Investissement 8k / Fnct 6k / Missions 6 k = 20k

22 Approche scientifique (3/4) Critères: compromis entre qualité de services clients ( temps de transport,fréquence des bus, # de transferts, % de satisfaction ) et coûts de lopérateur de transport ( couverture, # de lignes, # de bus, # de conducteurs ) Optimisation combinatoire adaptative: problème de transport à Fortalerza, Brésil Adaptabilité : parallélisme adaptatif + méthodes hybrides (approchées-exactes) Méthode exacte (PLNE+CPLEX) Méthodes approchées (Recherche Tabou) solutions de meilleure qualité Défi: –Transport urbain avec #villes = 1OOO Fourniture AdOpt: Investissement 3k / Vacations 10k / Missions 5k = 18k

23 Reconstruction 3D multi-caméras temps réel Adaptabilité : en fonction des ressources: Changement de contexte (arrivée de nouvelle personne, …) : niveau de détail (oct-tree, … ), redéploiement Ajout/retrait/ déplacement de quelques caméras : auto-calibration dynamique, … Défi: –Précision, fluidité et latence (interaction mondes réel / virtuel) Fourniture AdOpt: Vacations 9k / Missions 6k = 15k Approche scientifique (4/4) 25 caméras6 caméras12 caméras


Télécharger ppt "AHA Algorithmes Hybrides et Adaptatifs MOAIS / ID-IMAG Algorithmique, programmation parallèle, ordonnancement GILCOOptimisation combinatoire: gestion production,"

Présentations similaires


Annonces Google