La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 Auriane Faure.

Présentations similaires


Présentation au sujet: "Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 Auriane Faure."— Transcription de la présentation:

1 Page 1 Approche critique des produits IdL Master 1 IdL Année Auriane Faure

2 Page 2 Objet du cours Produits IdL et Sciences du langage Construction et mise en œuvre dune évaluation Quelle évolution possible / nécessaire dun logiciel Regard critique sur le TAL et les outils qui lutilisent Approche critique des produits IdL - Cours 1

3 Page 3 Déroulement Cours dintroduction à lévaluation Cours sur 4 grandes familles doutils IdL Mener une évaluation Approche critique des produits IdL - Cours 1

4 Page 4 Plan 1. Le TAL et les produits IdL 2. Une approche critique ? 3. Principes dévaluation –Pourquoi ? –Quoi ? –Comment ? Approche critique des produits IdL - Cours 1

5 Page 5 1. Le TAL Approche critique des produits IdL - Cours 1

6 Page 6 Terminologie TAL : plutôt recherche. Utilisation de linformatique pour traiter le langage naturel TAL = NLP = Linguistique computationnelle = CL IdL : domaine applicatif. Logiciels utilisant le langage sous des aspects très limités Approche critique des produits IdL - Cours 1 1. Le TAL

7 Page 7 Doù vient le TAL ? Du mythe de lautomate… –Imiter les fonctions humaines –Mécanique physique –Mécanique des langues À la linguistique computationnelle –Naissance de lordinateur –Ordinateur et cerveau humain… –Linguistique informatique Daprès J. Véronis (2001) Approche critique des produits IdL - Cours 1 1. Le TAL

8 Page 8 Le TAL Double objectif –Etude des langues et de la faculté de langage –Exécution de certaines tâches linguistiques Double compétence –Sciences du langage –Informatique Traditionnel « Analyse / Génération » Approche critique des produits IdL - Cours 1 1. Le TAL

9 Page 9 Le TAL (2) Modélisation informatique –Opérationnaliser des modèles linguistiques pour les tester et comprendre le système linguistique sous-jacent –Reproduire une capacité humaine (sans comprendre son fonctionnement) pour exécution dune tâche Modélisation linguistique –Parole –Ecrit Approche critique des produits IdL - Cours 1 1. Le TAL

10 Page 10 Produits IdL Typologie –Parole A : reconnaissance G : synthèse –Ecrit Traduction automatique Recherche dinformation Dialogue homme-machine Aide à la rédaction Outils pour lapprentissage des langues Génération automatique de textes Approche critique des produits IdL - Cours 1 1. Le TAL

11 Page Approche critique Approche critique des produits IdL - Cours 1

12 Page 12 Esprit critique… La Zététique –La science de lesprit critique –Je doute donc je suis Approche critique des produits IdL - Cours 1 2. Approche critique

13 Page 13 Approche critique… Approche critique –Regard complet et complexe –Analyse –Méthode expérimentale Evaluation Croiser les regards critiques : –Journaux spécialisés –Campagnes dévaluation Approche critique des produits IdL - Cours 1 2. Approche critique

14 Page Principes dévaluation Approche critique des produits IdL - Cours 1

15 Page Pourquoi évaluer Approche critique des produits IdL - Cours 1

16 Page 16 Pourquoi évaluer ? Emulation Validation Retour dexpérience Approche critique des produits IdL - Cours Pourquoi évaluer ?

17 Page 17 Pourquoi évaluer en TAL? Problématique ancienne –Test de Cranfield : 1960 –Pratique informatique forte Problématique actuelle –Maturité des propositions –Foisonnement de loffre Approche critique des produits IdL - Cours Pourquoi évaluer ?

18 Page 18 Deux orientations Evaluation orientée système –Méthodes de laboratoire –Limites Evaluation orientée utilisateur –Prise en compte du contexte dusage –Modélisation des usages/usagers Approche critique des produits IdL - Cours Pourquoi évaluer ?

19 Page 19 Campagnes dévaluation Campagnes thématiques Organisation et objectifs Ressources fournies Déroulement –Phase dentraînement –Phase dapprentissage –Phase de test –Analyse des résultats Approche critique des produits IdL - Cours Pourquoi évaluer ?

20 Page 20 Campagnes dévaluation Cranfield 2 (1960) Campagnes USA (80s) Programmes européens (90s) Le programme Technolangue –Organisation de campagnes dévaluation –Élaboration de méthodologies génériques dévaluation –Enjeux théoriques et méthodologiques des pratiques évaluatives Approche critique des produits IdL - Cours Pourquoi évaluer ?

21 Page Quoi évaluer ? Approche critique des produits IdL - Cours 1

22 Page 22 La « qualité » dun système « Ensemble des caractéristiques dun logiciel pour répondre aux besoins de ses utilisateurs » 3 dimensions –À lusage –Externe –Interne 3.2. Quoi évaluer ? Norme ISO

23 Page 23 La « qualité » dun système « Ensemble des caractéristiques dun logiciel pour répondre aux besoins de ses utilisateurs » 3 dimensions –À lusage –Externe –Interne 3.2. Quoi évaluer ? Norme ISO

24 Page 24 5 niveaux dévaluation Evaluation de la recherche de base Evaluation technologique Evaluation dusage Evaluation dimpact Evaluation de programme Daprès le consortium ELSE Approche critique des produits IdL - Cours Quoi évaluer ?

25 Page 25 5 niveaux dévaluation Evaluation de la recherche de base Evaluation technologique Evaluation dusage Evaluation dimpact Evaluation de programme Daprès le consortium ELSE Approche critique des produits IdL - Cours Quoi évaluer ?

26 Page 26 Dimension « usages » Utilisabilité Satisfaction Rendement Replacer lutilisateur dans processus dévaluation Analyse des pratiques 3.2. Quoi évaluer ?

27 Page 27 Dimension « externe » Pour résoudre un problème posé : –Performance –Couverture –Robustesse –Pertinence 3.2. Quoi évaluer ?

28 Page 28 Dimension « interne » Caractéristiques intrinsèques –Modèle linguistique –Conception du système 3.2. Quoi évaluer ?

29 Page Comment évaluer ? Approche critique des produits IdL - Cours 1

30 Page 30 Individuelle vs comparative Evaluation individuelle –Aptitude dun système à réaliser une tâche –Mesure de performance au regard dune mesure étalon Evaluation comparative –Réalisation dune tâche et comparaison avec résultats dautres systèmes Approche critique des produits IdL - Cours Comment évaluer ?

31 Page 31 Deux types dévaluation Boîte noire –Entrée/sortie –Evaluation des résultats Boîte transparente –Structure interne –Diagnostic précis des performances Le choix entre les 2 dépend du but de lévaluation Approche critique des produits IdL - Cours Comment évaluer ?

32 Page 32 Processus Quelle tâche linguistique ? Quelle tâche de contrôle ? Quelles ressources ? Quelle métrique ? Exemple : campagne dévaluation en RI Approche critique des produits IdL - Cours Comment évaluer ?

33 Page 33 Métriques Idée générale du niveau de performance Etat de lart commun Types de mesures : –Une valeur de référence –Une comparaison entre systèmes Implication de lhumain Approche critique des produits IdL - Cours Comment évaluer ?

34 Page 34 Ressources TOUT tester est impossible Echantillon représentatif et significatif Construction : –Cas général –Cas particuliers Approche critique des produits IdL - Cours Comment évaluer ?

35 Page 35 Exemples de travaux rendus Analyse comparative de la correction orthographique entre Word et OpenOffice (accessible en ligne : ) Google vs. Yahoo!Search (RI) RI avec ou sans index dans lencyclopédie Universalis


Télécharger ppt "Page 1 Approche critique des produits IdL Master 1 IdL Année 2009 - 2010 Auriane Faure."

Présentations similaires


Annonces Google