Livre numérique augmenté Key-taab Livre numérique augmenté

Concept Un livre numérique est un livre édité et diffusé en version numérique. Un livre numérique augmenté propose des informations supplémentaires (son, image, vidéo). Le traitement automatique du langage naturel permet de créer dynamiquement des informations utiles à l’apprentissage d’un texte.

Idée Apporter toutes les ressources nécessaires à l’apprentissage d’une langue sur une tablette. Actuellement, l’apprentissage d’une langue requiert différents supports physiques (dictionnaire, tableau de conjugaison, précis de grammaire,… ). L’apprenant pourra alors d’un simple click sur un texte afficher les informations complémentaires à l’apprentissage de la langue.

Cible Toute personne capable d’utiliser une tablette, quel que soit son âge, qu’il s’agisse d’une première langue ou non. Une attention particulière sera portée aux technologies utilisées, afin d’offrir une solution utilisable même sans connexion Internet, pour éviter aux plus jeunes l’exposition aux ondes et permettre aux populations les plus modestes de l’utiliser.

Principe Mettre en parallèle les ressources créées en utilisant le traitement automatique du langage naturel avec les ressources traditionnelles. Alphabet (lire et écrire) Base de données + vidéos gif Chiffres et nombres (lire et écrire) Vocabulaire (mots simples) Base de données + images Vocabulaire (verbes simples) Conjugaison Base de données Stimulation auditive Synthèse vocale (TTS) Expression orale Reconnaissance vocale Grammaire Parseur, tagger et synthèse d’arbre

Solutions actuelles Corpus Quran Leeds University Perseus Tufts University Vtech Leader du marché de jouets éducatif/éléctroniques pour enfants Qbook Propose des solutions sous forme d’applications mobiles

Prototypes de Key-taab Imagier v2 (FR, EN, DE, IT, ES, AR, HI) Imagier v3 (FR) QA QA couplé à un synthétiseur vocal peut être intéressant à proposer aux étudiants apprenant le français à Genève.

Développements prévus Mode multilingue Enregistrement des préférences Affichage dynamique (1,2,3,4,6,9,… images en même temps) Affichage aléatoire des images Mode test avec résultats finaux Suivi de l’activité (type, fréquence et vitesse des mouvements)

Autres développements (1) Mode "karaoké": Mis en évidence d’un mot ou d’une syllabe dans le texte lorsqu’ils sont prononcés Mode test: Enregistre la voix de l’utilisateur et affiche le flux sonore sous forme de spectre pour le comparer à un standard

Autres développements (2) Jeux pédagogiques Reconnaissance faciale pour l’études des expressions du visage Mode personnalisé en enregistrant des échantillons de voix des parents