Le MAJORDOME de la Maison Intelligente Les besoins La situation actuelle Un assistant électronique centralisé Interaction avec le MAJORDOME Adaptation à l’utilisateur Travaux en cours et à venir

Quelques besoins des personnes dépendantes Gérer l’environnement Communiquer Envoyer des messages de secours Assistance Utilisation de l’ordinateur Rester en contact lors de déplacements

Besoins des handicapés moteurs Commander l’environnement à distance Allumer, éteindre et régler des appareils (TV, Radio, chauffage..) Décrocher, composer un numéro et raccrocher le téléphone Être autonome

La situation actuelle La domotique existante est non spécifique (grand public) : Un système LEGRAND : commande manuelle des systèmes et de sécurité CARDIO d’une société canadienne (SECANT): utilisation d’un écran tactile La plupart des applications ne sont pas directement utilisables par les handicapés Une assistance humaine est souvent indispensable.

Le MAJORDOME de la Maison Intelligente Le MAJORDOME : assistant électronique personnel à la vie quotidienne. Il offre une mémoire individuelle à son maître (qui peut être une personne handicapée et/ou dépendante) et une assistance au contrôle de l'environnement. Il doit s'adapter aux besoins (et au handicap) de son maître.

Le MAJORDOME : contrôle de l’environnement Interface entre la personne handicapée et l’environnement : faciliter les communications (téléphone, Courier,...), Répondre au téléphone Visualiser les télécopies Gérer la messagerie électronique Vision à distance Commande de robots pour effectuer certaines taches (saisie d'objets, nettoyage, arrosage, ...) commander les appareils domestiques et audio-visuels (radio, TV, magnétoscope, chaîne Hi-fi,...) sous le contrôle de l'utilisateur

Le Majordome: loisir et surveillance assurer la surveillance de la maison, connaître les disponibilités du maître (repos, sommeil, travail, divertissement, conversation,...), détecter les situations d'urgence et prendre des décisions pour y palier (arrêter un appareil, appel téléphonique,...), reconnaître les interlocuteurs (visiteurs, famille, amis, médecins, infirmières, aides ménagères, ...) y compris au téléphone. Certaines de ces personnes peuvent avoir un accès privilégié aux données mémorisées par le MAJORDOME, y compris la capacité de mettre à jour ces données être accessible 24h/24 éviter l'isolement,

Le MAJORDOME : gestion de la maison Le MAJORDOME facilite l'accès et la modification des documents de gestion de la maison: budget (recettes, dépenses,...) assurances, comptes en banque, impôts emprunts,... gestion des factures rémunération des employés mise à jour des données liées à l'approvisionnement et à l'entretien de la maison

Scénario « téléphone » Répondeur automatique Enregistrement de message En cas de besoin la personne peut intervenir pour communiquer Décrochage automatique sur une demande vocale Numérotation vocale Appeler en cas d’urgence

Scénario « aide mémoire » Visualisation et mise à jour de l’agenda Horaires des rendez-vous Données personnelles Tâches à réaliser Médicaments prescrits

Dictée vocale Un système de dictée vocale permet au handicapé de : rédiger des textes utiliser une messagerie écrite naviguer sur Internet Ce système est adapté à la voix de l’utilisateur.

Architecture matérielle Pour les handicapés moteur: un écran tactile, une entrée vocale et une caméra peuvent être installés sur le fauteuil roulant. Pour les handicapés visuel: un téléphone mobile et/ou un terminal Braille permettent la communication avec le MAJORDOME. Un PC central héberge le MAJORDOME.

Architecture logicielle Pour les handicapés moteurs : au niveau de la tablette graphique : acquisition et analyse de la parole, au niveau PC central : mémorisation des actions et commande du système, Le traitement et l’analyse des tâches se font au niveau du PC central

Reconnaissance automatique de la parole Modules de reconnaissance indépendante du locuteur et adapté à la voix du maître. Choix d’un vocabulaire applicatif Enregistrement des données Adaptation du locuteur Accès lexical en temps réel Expérimentation IEEE802.11 Évaluation en situation d’utilisation

Reconnaissance par accès à une mémoire de parole Les interactions vocales avec le MAJORDOME sont mémorisées. Les unités lexicales sont codées à l’aide de segments mémorisés (monolocuteur). La reconnaissance est décidée sur un critère de distorsion spectro-temporelle. Les mots clés sont détectés. L’approche sera comparée avec des logiciels de référence (HTK, SIROCCO, IBM-ViaVoice, …)

Où en sommes nous ? Acquisition d’un terminal de visualisation Fujitsu Acquisition de cartes IEEE802.11 Expérimentation de transmission de données via IEEE802.11 Expérimentation du système de reconnaissance HTK Réalisation d’un algorithme de Viterbi temps réel

Échéancier Expérimentation d’un système de reconnaissance de la parole à l’hôpital de GARCHE : 1 mois Enregistrement d’une base de données et son utilisation pour le système de reconnaissance (apprentissage) : 1 mois Réalisation d’un système de reconnaissance de la parole en temps réel : 2 mois Réalisation d’un système de reconnaissance utilisant le codage ALISP : 3 mois Réalisation d’un système de reconnaissance de la parole utilisant la segmentation dans les zones de stabilité : 2 mois Détermination et enregistrement d’un vocabulaire applicatif : 2 mois Évaluation des systèmes : 2 mois