La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Informatique Mobile n Embarquement dun système de reconnaissance de caractères manuscrits sur téléphone mobile n Calculette orientée stylo pour machine.

Présentations similaires


Présentation au sujet: "Informatique Mobile n Embarquement dun système de reconnaissance de caractères manuscrits sur téléphone mobile n Calculette orientée stylo pour machine."— Transcription de la présentation:

1 Informatique Mobile n Embarquement dun système de reconnaissance de caractères manuscrits sur téléphone mobile n Calculette orientée stylo pour machine de poche É. Anquetil, L. Pasquer, G. Lorette

2 2 Informatique mobile Documents manuscrits en-ligne : Écriture & lecture électronique

3 3 Thématiques de recherche Interaction homme-machine Interface orientée stylo Édition par le geste graphique Écriture manuscrite

4 Embarquement du système RESIFCar Reconnaissance d'écriture manuscrite par Systèmes d'Inférence Floue sur des téléphones mobiles Laboratoire de recherchePartenaire IndustrielStructure UniversitaireProjet

5 RESIF Reconnaissance d'écriture manuscrite (caractères et mots) par Systèmes d'Inférence Floue (SIF) hiérarchisés Recherche menée depuis 1994 Thèse : E. Anquetil Encadrement : G. Lorette

6 6 Principe de la modélisation n Exploitation des connaissances sur l'écriture manuscrite u Structuration et Hiérarchisation des connaissances modélisées F L1 : Traits descendants F L2 : Contexte morphologique F L3 : Liaisons n Modélisation explicite et robuste par SIF u Faire face à la variabilité (intra classe) u Conserver une interprétation des connaissances modélisées u Associer un procédé d'apprentissage automatique Niveau L1 Niveau L2 Niveau L3...

7 7 Apprentissage : génération des SIF Classification Possibiliste [Krishnapuram 94] Système d'Inférence Flou (SIF) Extraction de Primitives Projection des Prototypes Flous m k, L2 12 Attribut X 1 m k, L2 11 Attribut X 2 r k : if ( ((x L1 1 is m k, L1 11 and...and x L1 r is m k, L1 1r ) and/or (x L1 1 is m k, L1 21 and...and x L1 r is m k, L1 2r ) and/or...) and((x L2 1 is m k, L2 11 and...and x L2 s is m k, L2 1s ) and/or (x L2 1 is m k, L2 21 and...and x L2 s is m k, L2 2s ) and/or...) and((x L3 1 is m k, L3 11 and...and x L3 t is m k, L3 1t ) and/or (x L3 1 is m k, L3 21 and...and x L3 t is m k, L3 2t ) and/or...) ) then the unknown pattern belongs to class c k and not to the others Attribut X 2 Attribut X 1 Attribut X 2 Attribut X

8 8 Reconnaissance : identification Niveau L1 Niveau L2 Niveau L3 Fusion / inférence floue … / … Classes identifiées Mise en concurrence des modèles / au premier niveau de modélisation Forme à identifier Modèle "a"Modèle "b"Modèle "c" … / … Niveau L1 Analyse 1 ère phase 1 Pré-sélection des n meilleurs modèles 2 ème phase 1 Processus de décision final

9 9 La technologie ResifCar (IMADOC) n Reconnaissance robuste d'une écriture "naturelle" >> omni-scripteur n Modélisation explicite de l'écriture >> connaissances interprétables (système transparent) n Adaptation - Modularité du système >> modélisation intrinsèque des connaissances n Noyau de reconnaissance "léger" ( SIF / MMC ) >> Embarquement sur des systèmes à processeurs de performances limitées...

10 10 Cadre du transfert industriel n Objectif u Écriture "naturelle" de textes (SMS, s, notes) sur l'écran tactile du téléphone n Transfert de la technologie Resif(Car) développée à l'IRISA u Reconnaissance d'écriture manuscrite en-ligne par Systèmes dInférence Floue (SIF) hiérarchisés F spécialisé pour la reconnaissance de caractères isolés : lettres, chiffres, symboles spéciaux n Collaboration avec la société PurpleLabs u Portage et adaptation de Resif(Car) sur téléphones mobiles n Durée u Octobre 2000 : Début des travaux de portage et d'adaptation u Août 2002 : Commercialisation des 1 ers produits (I-GO 500)

11 11 Contraintes associées au téléphone (PurpleLabs) Produit conçu par la société PurpleLabs " Smartphone " : modèle A700 Combine les fonctionnalités d'un téléphone et d'un PDA Ressources mémoires disponibles pour la reconnaissance d'écriture RomRam Système de reconnaissance 50 Ko 200 Ko Taille Mémoire ARM 7 TDMI (13 Mhz) Microprocesseur Basse résolution 0.20 mm (pixel pitch) Fréquence d'échantillonnage 20 points / s Écran Tactile

12 12 Resif(Car) embarqué sur le smartphone A s Temps de calcul avec le Processeur ARM7 TDMI (13Mhz) Transfert "brut" Après optimisation Lettre t 9 s0.62 s Lettre a11 s 0.49 s En Moyenne 11 s Temps de calcul réel Ressources mémoires utilisées pour la reconnaissance d'écriture Rom Ram Système de reconnaissance 48 Ko 31.6 Ko Modèles lettres et chiffres (63+26) 60.9 Ko Taille mémoire 110 Ko 32 Ko Total Taux de reconnaissance sur les caractères isolés 92%

13 13 Perspectives n Portage / Embarquement du logiciel Resif(Mot) F Reconnaissance d'écriture cursive liée (mots) n Extensions u Exploitation de grands lexiques F Gestion des connaissances lexicales, complétion, … u Adaptation au style d'écriture de l'utilisateur u Extension du système Resif aux caractères Chinois / Japonais

14 Calculette orientée stylo pour machine de poche Laboratoire de rechercheStructure de RechercheProjet

15 15 DigiCarbon n Boîte à outils JAVA pour construire u interfaces orientées stylo u édition/manipulation gestuelle u documents structurés simples n Suite des travaux sur SPI u Système de Perception et d'Interprétation n Applications en cours de développement u CarbonMaths : formules mathématiques simples u CarbonMusiq : portée musicale u CarbonGraph : graphe étiqueté

16 16 Principe de DigiCarbon 1/2 n Double représentation du document structuré u description graphique des symboles et gestes u description grammaticale du document

17 17 Principe de DigiCarbon 2/2 n Prédiction des actions de l'utilisateur u nouveaux symboles possibles u gestes de modifications autorisés n Prédiction du lieu de ces actions u positions d'insertion des symboles (exposant,...) u localisation des gestes : globale, locale n Analyse dynamique des tracés u position => symboles/gestes possibles u choix du meilleur symbole/geste dans son contexte n Interaction continue u affichage du contexte (lieu de l'action) u proposition du symbole/geste choisi

18 18 Portage de DigiCarbon sur SuperWaba n SuperWaba u mini machine virtuelle Java u PalmOS, Pocket-PC, symbian ? n Analyse de la grammaire hors-ligne u grammaire XML => grammaire sérialisée n Poids de l'interface calculette : 332 ko u Sérialisation : 15ko u DigiCarbon : 290ko u Interface CarbonMaths : 13ko u Grammaire : 14ko (grammaire XML : 35ko) n Poids de la machine virtuelle SuperWaba u Pocket-PC : 335ko u PalmOS : 395ko


Télécharger ppt "Informatique Mobile n Embarquement dun système de reconnaissance de caractères manuscrits sur téléphone mobile n Calculette orientée stylo pour machine."

Présentations similaires


Annonces Google