Un modèle flexible d'édition intelligente de documents structurés basé sur des techniques de "chart-parsing" Marc Dymetman Exposé LIMSI, 14 déc. 2004.

Présentation au sujet: "Un modèle flexible d'édition intelligente de documents structurés basé sur des techniques de "chart-parsing" Marc Dymetman Exposé LIMSI, 14 déc. 2004."— Transcription de la présentation:

1 Un modèle flexible d'édition intelligente de documents structurés basé sur des techniques de "chart-parsing" Marc Dymetman Exposé LIMSI, 14 déc. 2004

2  La plupart des outils de rédaction contrôlée: régime d'édition descendant  Niveaux supérieurs spécifiés avant niveaux inférieurs  Pas toujours adapté  E.g. rédaction ''ascendante'' d'offres d'emploi Le rédacteur écrit: administrative assistant... Excel Le système infère partiellement la structure: administrative assistant... Excel...... Introduction

3  Ce que nous voudrions, c'est un système de rédaction flexible dans lequel: (1) Le rédacteur peut mélanger librement des actions d'édition descendantes et ascendantes (2) Le système calcule automatiquement les conséquences des décisions de l'auteur (3) Le système détecte les conflits potentiels avant qu'ils ne surviennent et guide l'auteur afin de les éviter Introduction

4  Le document en cours d'édition est représenté par une expression régulière (balises + texte)... Approche

5  Le document en cours d'édition est représenté par une expression régulière (balises + texte)...... assistant... Approche

6  Le document en cours d'édition est représenté par une expression régulière (balises + texte)...... assistant...... assistant...... Approche

7  Le document en cours d'édition est représenté par une expression régulière (balises + texte)...... assistant...... assistant...... Approche

8  Le document en cours d'édition est représenté par une expression régulière (balises + texte)...... assistant...... assistant......... assistant...... Excel... Approche

9  Le document en cours d'édition est représenté par une expression régulière (balises + texte)...... assistant...... assistant......... assistant...... Excel...... Approche

10  Le document en cours d'édition est représenté par une expression régulière (balises + texte)...... assistant...... assistant......... assistant...... Excel......  Inférence grammaticale  Le système effectue automatiquement les choix forcés  Seulement les choix qui peuvent conduire à un document valide sont autorisés  Mécanisme d'inférence basés sur le ''chart-parsing'' Approche

11 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with peter saw the rose with a telescope Analyse par chartes GHC

12 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 peter saw the rose with a telescope

13 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt pn peter saw the rose with a telescope

14 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt pn,np np peter saw the rose with a telescope

15 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt vp pn,np np pp np peter saw the rose with a telescope

16 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt np vp s pn,np np pp np peter saw the rose with a telescope

17 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt vp np vp s pn,np np pp np peter saw the rose with a telescope

18 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np peter saw the rose with a telescope

19 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np peter saw the rose with a telescope

20 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np peter saw the rose with a telescope

21 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np peter saw the rose with a telescope

22 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np peter saw the rose with a telescope

23 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np peter saw the rose with a telescope

24 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Analyse par chartes GHC petersawtherosewithatele 01234567 n,vi dd n p vt s vp np vp s pn,np np pp np ne peut pas être utilisé dans une analyse complète peter saw the rose with a telescope

25 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with … saw … with … Chartes et automates GHC expression régulière

26 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Chartes et automates GHC … saw … with … automate

27 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Chartes et automates 012 a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt saw; vtwith; p, pp, np s, vp a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt GHC … saw … with … charte

28 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Chartes et automates 012 a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt saw; vtwith; p, pp, np s, vp a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt Nous pouvons maintenant décider : Que “... saw... with...” peut être complété en une phrase valide (e.g. 0-peter-0-with-0-a-0-rose-0- saw-1-the-1-rose-1-with-2-a-2- telescope-2 ) GHC … saw … with …

29 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Chartes et automates 012 a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt saw; vtwith; p, pp, np s, vp Nous pouvons maintenant décider : Que “... saw... with...” peut être complété en une phrase valide (e.g. 0-peter-0-with-0-a-0-rose-0- saw-1-the-1-rose-1-with-2-a-2- telescope-2 ) Quels terminaux peuvent apparaître entre quels noeuds a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt GHC … saw … with …

30 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Chartes et automates 012 a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt saw; vtwith; p, pp, np s, vp a, the, peter, rose, tele, with, saw; d, n, np, p, pn, pp, s, vi, vp, vt GHC Theorème (Bar-Hillel et al, 1961): L'intersection d'une GHC avec un automate d'états finis est une GHC La ''charte'' est intimement liée à la construction de cette intersection … saw … with …

31 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Rédaction et automates GHC … saw … with …

32 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Rédaction et automates raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Choix de rédaction GHC … saw … with …

33 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Rédaction et automates Choix de rédaction RI:... saw... with... saw... RI:... saw... rose... with... RG:... saw rose... with... RV:... saw with... Vie ou mort ? GHC … saw … with …

34 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Rédaction et automates Choix de rédaction RI:... saw... with... saw... RI:... saw... rose... with... RG:... saw rose... with... RV:... saw with... Vie ou mort ? GHC Nous pouvons construire une charte pour chacun des 4 cas et vérifier si chacun peut être complété en une phrase valide … saw … with …

35 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Rédaction et automates Choix de rédaction RI:... saw... with... saw... mort RI:... saw... rose... with...vivant RG:... saw rose... with...mort RV:... saw with...mort Vie ou mort ? GHC Nous pouvons construire une charte pour chacun des 4 cas et vérifier si chacun peut être complété en une phrase valide … saw … with …

36 s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Rédaction et automates Choix de rédaction RI:... saw... with... saw... mort RI:... saw... rose... with...vivant RG:... saw rose... with...mort RV:... saw with...mort Vie ou mort ? GHC Nous pouvons construire une charte pour chacun des 4 cas et vérifier si chacun peut être complété en une phrase valide Cependant, ceci est a posteriori Pouvons nous exploiter la charte avant le choix pour prédire les options possibles? … saw … with …

37 raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Rédaction et automates Choix de rédaction 012 sawwith a, the, peter, rose, tele, with; saw Vie ou mort ? charte automate RI:... saw... with... saw... mort RI:... saw... rose... with...vivant RG:... saw rose... with...mort ? RV:... saw with...mort ? … saw … with …

38 raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Rédaction et automates Choix de rédaction 012 sawwith a, the, peter, rose, tele, with; saw Vie ou mort ? charte automate RI:... saw... with... saw... mort RI:... saw... rose... with...vivant RG:... saw rose... with...mort ? RV:... saw with...mort ? … saw … with … Solution partielle!

39 raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Choix de rédaction Vie ou mort ? β-automates et précalcul des choix β- automate RI:... saw... with... saw... RI:... saw... rose... with... RG:... saw rose... with... RV:... saw with... … saw … with …

40 raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Choix de rédaction Vie ou mort ? β-automates et précalcul des choix β- automate RI:... saw... with... saw... RI:... saw... rose... with... RG:... saw rose... with... RV:... saw with... … saw … with … charte *0-*1*1-*1*1-*2*0-*2ε 0a, the (00-01) a,the,rose,tele, with (01-01) peter,rose, tele peter 1a,the, peter (10-11) a,the,peter,rose, tele,with peter,rose, tele peter 2a,the, peter a,the,peter,rose, tele,with peter,rose, tele peter

41 raffinement vide...  ε raffinement interne... ... t... raffinement gauche...  t... raffinement droit... ... t Choix de rédaction Vie ou mort ? β-automates et précalcul des choix β- automate RI:... saw... with... saw... mort RI:... saw... rose... with...vivant RG:... saw rose... with...mort RV:... saw with...mort charte *0-*1*1-*1*1-*2*0-*2ε 0a, the (00-01) a,the,rose,tele, with (01-01) peter,rose, tele peter 1a,the, peter (10-11) a,the,peter,rose, tele,with peter,rose, tele peter 2a,the, peter a,the,peter,rose, tele,with peter,rose, tele peter … saw … with … Solution complète! Prédiction de tous les choix possibles

42 Rédaction de documents structurés library  books books  tbook books  tbook books tbook  book book  war and peace book  solaris book  the stranger... Tag-GHC

43 Rédaction de documents structurés Tag-GHC library  books books  tbook books  tbook books tbook  book book  war and peace book  solaris book  the stranger... compare DTD: document Une GHC sur un vocabulaire terminal étendu: mots + balises (the, war,...,,,...) Balises en partie droite toujours par paire balise ouvrante/fermante, ou pas du tout Une grammaire de chaînes, pas d'arbres, mais génère des structures bien parenthésées Peut simuler DTD's, schémas Relax-NG (Reg. Hedge Grammars) La puissance expressive vient des non- terminaux qui ne sont pas matérialisés par des balises explicites (e.g. tbook ) solaris war and peace...

44 Rédaction de documents structurés s  np vp np  pn np  d n np  d n pp vp  vi vp  vi pp vp  vt np vp  vt np pp pp  p np d  the d  a n  rose n  telescope pn  peter vi  rose vt  saw p  with Tag-GHC peter saw the rose with a telescope Une GHC sur un vocabulaire terminal étendu: mots + balises (the, war,...,,,...) Balises en partie droite toujours par paire balise ouvrante/fermante, ou pas du tout Une grammaire de chaînes, pas d'arbres, mais génère des structures bien parenthésées Peut simuler DTD's, schémas Relax-NG (Reg. Hedge Grammars) La puissance expressive vient des non- terminaux qui ne sont pas matérialisés par des balises explicites (e.g. tbook )

45 Rédaction de documents structurés... 0 saw... 1 with... 2

46 Rédaction de documents structurés... 0 saw... 1 with... 2

47 Rédaction de documents structurés *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... 0 saw... 1 with... 2 charte

48 *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... 0 saw... 1 with... 2 charte Rédaction de documents structurés

49 *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... 0 saw... 1 with... 2 charte Rédaction de documents structurés

50 *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... 0 saw... 1 with... 2 charte Rédaction de documents structurés

51 *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... saw... with...... 0 saw... 1 with... 2 charte Rédaction de documents structurés

52 *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... saw... with...... 0 saw... 1 with... 2 charte Rédaction de documents structurés

53 *0-*1*1-*1*1-*2*0-*2ε 0,,,, a, the, peter, rose, tele, with 1,,,, a, the, peter, rose, tele, with 2,,,, a, the, peter, rose, tele, with... saw... with...... 3 saw... 4 with... 5... 0 saw... 1 with... 2 charte Rédaction de documents structurés

54 ... 3 saw... 4 with... 5 Rédaction de documents structurés

55 ... 3 saw... 4 with... 5 Rédaction de documents structurés

56 ... 3 saw... 4 with... 5 *0-*1*1-*1*1-*2*0-*2ε 3a, the,,,, a, the, peter, rose, tele, with, rose, tele peter 4a, the, peter,,,, a, the, peter, rose, tele, with, rose, tele 5a, the, peter,,,, a, the, peter, rose, tele, with, charte Rédaction de documents structurés

57 ... 3 saw... 4 with... 5 *0-*1*1-*1*1-*2*0-*2ε 3a, the,,,, a, the, peter, rose, tele, with, rose, tele peter 4a, the, peter,,,, a, the, peter, rose, tele, with, rose, tele 5a, the, peter,,,, a, the, peter, rose, tele, with, charte a... the... peter...............a......the......peter......rose......telescope......with... Rédaction de documents structurés raffinement vide...  ε inside refinement... ... t... raffinement gauche...  t... raffinement droit... ... t Choix de rédaction

58  Document partiel = automate  Flexibilité pour l'auteur: ordre libre de spécification du contenu du document  Prix à payer: maintenance non-triviale de la consistance  Un principe simple : intersection d'une Tag-GHC avec automate, technique de chart-parsing  Le formalisme Tag-GHC intéressant en lui-même:  Simple mais expressif  Manipulation du texte et de la structure dans un cadre unique  Perspectives  Optimisation par modifications incrémentales de la charte  Implémentation complète et expérimentations... Conclusion Référence: Chart-parsing techniques and the prediction of valid editing moves in structured document authoring Marc Dymetman, DocEng '04: Proceedings of the 2004 ACM symposium on Document engineering, 2004, Milwaukee, Wisconsin, USA, http://doi.acm.org/10.1145/1030397.1030440