É. Anquetil, L. Pasquer, G. Lorette

Présentation au sujet: "É. Anquetil, L. Pasquer, G. Lorette"— Transcription de la présentation:

1 É. Anquetil, L. Pasquer, G. Lorette
Informatique Mobile Embarquement d’un système de reconnaissance de caractères manuscrits sur téléphone mobile Calculette orientée stylo pour machine de poche É. Anquetil, L. Pasquer, G. Lorette

2 Documents manuscrits en-ligne :
Informatique mobile Documents manuscrits en-ligne : Écriture & lecture électronique

3 Thématiques de recherche
Interaction homme-machine Interface orientée stylo Édition par le geste graphique Écriture manuscrite

4 Laboratoire de recherche Partenaire Industriel Structure Universitaire
Embarquement du système RESIFCar Reconnaissance d'écriture manuscrite par Systèmes d'Inférence Floue sur des téléphones mobiles Laboratoire de recherche Partenaire Industriel Structure Universitaire Projet

5 Recherche menée depuis 1994
RESIF Reconnaissance d'écriture manuscrite (caractères et mots) par Systèmes d'Inférence Floue (SIF) hiérarchisés Recherche menée depuis 1994 Thèse : E. Anquetil Encadrement : G. Lorette

6 Principe de la modélisation
Exploitation des connaissances sur l'écriture manuscrite Structuration et Hiérarchisation des connaissances modélisées L1 : Traits descendants L2 : Contexte morphologique L3 : Liaisons Modélisation explicite et robuste par SIF Faire face à la variabilité (intra classe) Conserver une interprétation des connaissances modélisées Associer un procédé d'apprentissage automatique Niveau L1 Niveau L2 Niveau L3 ...

7 Apprentissage : génération des SIF
Classification Possibiliste [Krishnapuram 94] Système d'Inférence Flou (SIF) Extraction de Primitives Projection des Prototypes Flous mk, L212 Attribut X1 mk, L211 Attribut X2 rk : if ( ( (xL11 is m k, L111 and...and x L1r is m k, L11r ) and/or (xL11 is mk, L121 and...and xL1r is mk, L12r ) and/or...) and( (xL21 is m k, L211 and...and x L2s is m k, L21s ) and/or (x L21 is m k, L221 and...and x L2s is m k, L22s) and/or...) and( (xL31 is m k, L311 and...and x L3t is m k, L31t ) and/or (x L31 is m k, L321 and...and x L3t is m k, L32t ) and/or...) ) then the unknown pattern belongs to class ck and not to the others 1 2 3 4

8 Reconnaissance : identification
Niveau L1 Niveau L2 Niveau L3 Fusion / inférence floue … / … Classes identifiées Mise en concurrence des modèles / au premier niveau de modélisation Forme à identifier Modèle "a" Modèle "b" Modèle "c" Analyse 1ère phase 1 Pré-sélection des n meilleurs modèles 2ème phase Processus de décision final

9 La technologie ResifCar (IMADOC)
Reconnaissance robuste d'une écriture "naturelle" >> omni-scripteur Modélisation explicite de l'écriture >> connaissances interprétables (système transparent) Adaptation - Modularité du système >> modélisation intrinsèque des connaissances Noyau de reconnaissance "léger" (SIF/MMC) >> Embarquement sur des systèmes à processeurs de performances limitées ... Reconnaissance robuste d'une écriture "naturelle" >> omni-scripteur Capacité d'absorber une grande variété de styles d'écriture (multi-traits) Modélisation explicite de l'écriture >> connaissances interprétables (système transparent) Mise au point, optimisation, maintenance facilitée Adaptation - Modularité du système >> modélisation intrinsèque des connaissances Définition a posteriori du jeux de caractères Ajout incrémental de nouveaux modèles Noyau de reconnaissance "léger" (SIF) >> Embarquement sur des systèmes à processeurs restreints

10 Cadre du transfert industriel
Objectif Écriture "naturelle" de textes (SMS, s, notes) sur l'écran tactile du téléphone Transfert de la technologie Resif(Car) développée à l'IRISA Reconnaissance d'écriture manuscrite en-ligne par Systèmes d’Inférence Floue (SIF) hiérarchisés spécialisé pour la reconnaissance de caractères isolés : lettres, chiffres, symboles spéciaux Collaboration avec la société PurpleLabs Portage et adaptation de Resif(Car) sur téléphones mobiles Durée Octobre 2000 : Début des travaux de portage et d'adaptation Août 2002 : Commercialisation des 1ers produits (I-GO 500)

11 Contraintes associées au téléphone (PurpleLabs)
Produit conçu par la société PurpleLabs "Smartphone" : modèle A700 Combine les fonctionnalités d'un téléphone et d'un PDA Ressources mémoires disponibles pour la reconnaissance d'écriture Rom Ram Système de reconnaissance 50 Ko 200 Ko Taille Mémoire ARM 7 TDMI (13 Mhz) Microprocesseur Basse résolution 0.20 mm (pixel pitch) Fréquence d'échantillonnage 20 points / s Écran Tactile

12 Resif(Car) embarqué sur le smartphone A700
Temps de calcul avec le Processeur ARM7 TDMI (13Mhz) Transfert "brut" Après optimisation Lettre “t” 9 s 0.62 s Lettre “a” 11 s 0.49 s En Moyenne Temps de calcul réel Ressources mémoires utilisées pour la reconnaissance d'écriture Rom Ram Système de reconnaissance 48 Ko 31.6 Ko Modèles lettres et chiffres (63+26) 60.9 Ko Taille mémoire  110 Ko  32 Ko Total Taux de reconnaissance sur les caractères isolés  92%

13 Perspectives Portage / Embarquement du logiciel Resif(Mot) Extensions
Reconnaissance d'écriture cursive liée (mots) Extensions Exploitation de grands lexiques Gestion des connaissances lexicales, complétion, … Adaptation au style d'écriture de l'utilisateur Extension du système Resif aux caractères Chinois / Japonais

14 Calculette orientée stylo pour machine de poche
Laboratoire de recherche Structure de Recherche Projet

15 DigiCarbon Boîte à outils JAVA pour construire
interfaces orientées stylo édition/manipulation gestuelle documents structurés simples Suite des travaux sur SPI Système de Perception et d'Interprétation Applications en cours de développement CarbonMaths : formules mathématiques simples CarbonMusiq : portée musicale CarbonGraph : graphe étiqueté

16 Principe de DigiCarbon 1/2
Double représentation du document structuré description graphique des symboles et gestes <primitive nom="plus"> <segment nom="verticale" angle="-90±30"/> <segment nom="horizontale" angle="0±30"/> </primitive> description grammaticale du document <forme nom="somme"> <ref-forme nom-forme="sigma" nom="sigma"/> <ref-forme nom-forme="formule" nom="dedans"/> <ref-positionnement nom="pos_à_droite" liste="dedans,sigma"/> <ref-forme nom-forme="formule" nom="en_haut"/> <ref-positionnement nom="pos_au_dessus" liste="en_haut,sigma"/> <ref-forme nom-forme="formule" nom="en_bas"/> <ref-positionnement nom="pos_en_dessous" liste="en_bas,sigma"/> </forme>

17 Principe de DigiCarbon 2/2
Prédiction des actions de l'utilisateur nouveaux symboles possibles gestes de modifications autorisés Prédiction du lieu de ces actions positions d'insertion des symboles (exposant, ...) localisation des gestes : globale, locale Analyse dynamique des tracés position => symboles/gestes possibles choix du meilleur symbole/geste dans son contexte Interaction continue affichage du contexte (lieu de l'action) proposition du symbole/geste choisi

18 Portage de DigiCarbon sur SuperWaba
mini machine virtuelle Java PalmOS, Pocket-PC, symbian ? Analyse de la grammaire hors-ligne grammaire XML => grammaire sérialisée Poids de l'interface calculette : 332 ko Sérialisation : 15ko DigiCarbon : 290ko Interface CarbonMaths : 13ko Grammaire : 14ko (grammaire XML : 35ko) Poids de la machine virtuelle SuperWaba Pocket-PC : 335ko PalmOS : 395ko