É. Anquetil, L. Pasquer, G. Lorette Informatique Mobile Embarquement d’un système de reconnaissance de caractères manuscrits sur téléphone mobile Calculette orientée stylo pour machine de poche É. Anquetil, L. Pasquer, G. Lorette

Documents manuscrits en-ligne : Informatique mobile Documents manuscrits en-ligne : Écriture & lecture électronique

Thématiques de recherche Interaction homme-machine Interface orientée stylo Édition par le geste graphique Écriture manuscrite

Laboratoire de recherche Partenaire Industriel Structure Universitaire Embarquement du système RESIFCar Reconnaissance d'écriture manuscrite par Systèmes d'Inférence Floue sur des téléphones mobiles Laboratoire de recherche Partenaire Industriel Structure Universitaire Projet eric.anquetil@irisa.fr

Recherche menée depuis 1994 RESIF Reconnaissance d'écriture manuscrite (caractères et mots) par Systèmes d'Inférence Floue (SIF) hiérarchisés Recherche menée depuis 1994 Thèse : E. Anquetil Encadrement : G. Lorette

Principe de la modélisation Exploitation des connaissances sur l'écriture manuscrite Structuration et Hiérarchisation des connaissances modélisées L1 : Traits descendants L2 : Contexte morphologique L3 : Liaisons Modélisation explicite et robuste par SIF Faire face à la variabilité (intra classe) Conserver une interprétation des connaissances modélisées Associer un procédé d'apprentissage automatique Niveau L1 Niveau L2 Niveau L3 ...

Apprentissage : génération des SIF Classification Possibiliste [Krishnapuram 94] Système d'Inférence Flou (SIF) Extraction de Primitives Projection des Prototypes Flous mk, L212 Attribut X1 mk, L211 Attribut X2 rk : if ( ( (xL11 is m k, L111 and...and x L1r is m k, L11r ) and/or (xL11 is mk, L121 and...and xL1r is mk, L12r ) and/or...) and( (xL21 is m k, L211 and...and x L2s is m k, L21s ) and/or (x L21 is m k, L221 and...and x L2s is m k, L22s) and/or...) and( (xL31 is m k, L311 and...and x L3t is m k, L31t ) and/or (x L31 is m k, L321 and...and x L3t is m k, L32t ) and/or...) ) then the unknown pattern belongs to class ck and not to the others 1 2 3 4

Reconnaissance : identification Niveau L1 Niveau L2 Niveau L3 Fusion / inférence floue … / … Classes identifiées Mise en concurrence des modèles / au premier niveau de modélisation Forme à identifier Modèle "a" Modèle "b" Modèle "c" Analyse 1ère phase 1 Pré-sélection des n meilleurs modèles 2ème phase Processus de décision final

La technologie ResifCar (IMADOC) Reconnaissance robuste d'une écriture "naturelle" >> omni-scripteur Modélisation explicite de l'écriture >> connaissances interprétables (système transparent) Adaptation - Modularité du système >> modélisation intrinsèque des connaissances Noyau de reconnaissance "léger" (SIF/MMC) >> Embarquement sur des systèmes à processeurs de performances limitées ... Reconnaissance robuste d'une écriture "naturelle" >> omni-scripteur Capacité d'absorber une grande variété de styles d'écriture (multi-traits) Modélisation explicite de l'écriture >> connaissances interprétables (système transparent) Mise au point, optimisation, maintenance facilitée Adaptation - Modularité du système >> modélisation intrinsèque des connaissances Définition a posteriori du jeux de caractères Ajout incrémental de nouveaux modèles Noyau de reconnaissance "léger" (SIF) >> Embarquement sur des systèmes à processeurs restreints

Cadre du transfert industriel Objectif Écriture "naturelle" de textes (SMS, e-mails, notes) sur l'écran tactile du téléphone Transfert de la technologie Resif(Car) développée à l'IRISA Reconnaissance d'écriture manuscrite en-ligne par Systèmes d’Inférence Floue (SIF) hiérarchisés spécialisé pour la reconnaissance de caractères isolés : lettres, chiffres, symboles spéciaux Collaboration avec la société PurpleLabs Portage et adaptation de Resif(Car) sur téléphones mobiles Durée Octobre 2000 : Début des travaux de portage et d'adaptation Août 2002 : Commercialisation des 1ers produits (I-GO 500)

Contraintes associées au téléphone (PurpleLabs) Produit conçu par la société PurpleLabs "Smartphone" : modèle A700 Combine les fonctionnalités d'un téléphone et d'un PDA Ressources mémoires disponibles pour la reconnaissance d'écriture Rom Ram Système de reconnaissance 50 Ko 200 Ko Taille Mémoire ARM 7 TDMI (13 Mhz) Microprocesseur Basse résolution 0.20 mm (pixel pitch) Fréquence d'échantillonnage 20 points / s Écran Tactile

Resif(Car) embarqué sur le smartphone A700 Temps de calcul avec le Processeur ARM7 TDMI (13Mhz) Transfert "brut" Après optimisation Lettre “t” 9 s 0.62 s Lettre “a” 11 s 0.49 s En Moyenne Temps de calcul réel Ressources mémoires utilisées pour la reconnaissance d'écriture Rom Ram Système de reconnaissance 48 Ko 31.6 Ko Modèles lettres et chiffres (63+26) 60.9 Ko Taille mémoire  110 Ko  32 Ko Total Taux de reconnaissance sur les caractères isolés  92%

Perspectives Portage / Embarquement du logiciel Resif(Mot) Extensions Reconnaissance d'écriture cursive liée (mots) Extensions Exploitation de grands lexiques Gestion des connaissances lexicales, complétion, … Adaptation au style d'écriture de l'utilisateur Extension du système Resif aux caractères Chinois / Japonais

Calculette orientée stylo pour machine de poche Laboratoire de recherche Structure de Recherche Projet Laurent.PAsquer@irisa.fr

DigiCarbon Boîte à outils JAVA pour construire interfaces orientées stylo édition/manipulation gestuelle documents structurés simples Suite des travaux sur SPI Système de Perception et d'Interprétation Applications en cours de développement CarbonMaths : formules mathématiques simples CarbonMusiq : portée musicale CarbonGraph : graphe étiqueté

Principe de DigiCarbon 1/2 Double représentation du document structuré description graphique des symboles et gestes <primitive nom="plus"> <segment nom="verticale" angle="-90±30"/> <segment nom="horizontale" angle="0±30"/> </primitive> description grammaticale du document <forme nom="somme"> <ref-forme nom-forme="sigma" nom="sigma"/> <ref-forme nom-forme="formule" nom="dedans"/> <ref-positionnement nom="pos_à_droite" liste="dedans,sigma"/> <ref-forme nom-forme="formule" nom="en_haut"/> <ref-positionnement nom="pos_au_dessus" liste="en_haut,sigma"/> <ref-forme nom-forme="formule" nom="en_bas"/> <ref-positionnement nom="pos_en_dessous" liste="en_bas,sigma"/> </forme>

Principe de DigiCarbon 2/2 Prédiction des actions de l'utilisateur nouveaux symboles possibles gestes de modifications autorisés Prédiction du lieu de ces actions positions d'insertion des symboles (exposant, ...) localisation des gestes : globale, locale Analyse dynamique des tracés position => symboles/gestes possibles choix du meilleur symbole/geste dans son contexte Interaction continue affichage du contexte (lieu de l'action) proposition du symbole/geste choisi

Portage de DigiCarbon sur SuperWaba mini machine virtuelle Java PalmOS, Pocket-PC, symbian ? Analyse de la grammaire hors-ligne grammaire XML => grammaire sérialisée Poids de l'interface calculette : 332 ko Sérialisation : 15ko DigiCarbon : 290ko Interface CarbonMaths : 13ko Grammaire : 14ko (grammaire XML : 35ko) Poids de la machine virtuelle SuperWaba Pocket-PC : 335ko PalmOS : 395ko