La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Présenter par : Mounir GRARI RAPPORT DE PROJET SOUS HTK Reconnaissance de mots isolés Et Reconnaissance de mots connectés.

Présentations similaires


Présentation au sujet: "1 Présenter par : Mounir GRARI RAPPORT DE PROJET SOUS HTK Reconnaissance de mots isolés Et Reconnaissance de mots connectés."— Transcription de la présentation:

1 1 Présenter par : Mounir GRARI RAPPORT DE PROJET SOUS HTK Reconnaissance de mots isolés Et Reconnaissance de mots connectés

2 2 Plan –Introduction –Construction de la base de données Construction de modèle de langage Acquisition des fichiers sons Étiquetage des fichiers sons Représentation acoustique du signal –Description des modèles Modèles de Markov Fichiers gabarits –Apprentissage Apprentissage avec lalgorithme Vitervi (HInit) Apprentissage avec lalgorithme de Baum Welch (HRest) Ré estimation avec lalgorithme de Baum Welch de tous les models a la fois (HERest) –Reconnaissance HVite et Hresults –Etude dautres possibilités; vocabulaire restreint, vocabulaire plus complexe, analyse par mots et analyse par phonème –Etude du cas multi locuteur –Synthèse des résultats trouvés –Conclusion Reconnaissance de mots isolés Et Reconnaissance de mots connectés

3 3 Introduction : Le but est de construire un système de reconnaissance de mots isolés et ensuite de phrase qui suive une certaine syntaxe de plusieurs mots et de le valider sous l'environnement HTK (Hidden Markov Model Toolkit)HTK (Hidden Markov Model Toolkit) Reconnaissance de mots isolés Et Reconnaissance de mots connectés

4 4 modèle de langage Reconnaissance de mots isolés Et Reconnaissance de mots connectés DébutFin نادي على Pause محمد أمين Pause كلم Pause ركب Pause إهتف لي Pause صفر واحد إثنان عشرة تسعون عشرون و

5 5 Acquisition des fichiers sons : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

6 6 Étiquetage des fichiers sons : La santaxe de la Commande HSlab: HSlab –F WAVE –L labels/ihtif.lab Signal/ihtif.wav Reconnaissance de mots isolés Et Reconnaissance de mots connectés

7 7 Étiquetage des fichiers sons : Le résultat de cette phase est une base de données des étiquettes des différents fichiers sons. (Les étiquettes sont dans le dossier labels) Reconnaissance de mots isolés Et Reconnaissance de mots connectés HSlab Les fichiers sons (.wav) Les étiquettes (.lab) Enregistrement et étiquetage des fichiers sons

8 8 Représentation acoustique du signal : Reconnaissance de mots isolés Et Reconnaissance de mots connectés Hcopy Les fichiers sons (.wav) (hcopyliste.conf) Ihtif.wav Kallime.wav Amine.wav Les Fichiers MFCC ihtif.mfcc kallime.mfcc mohammed.mfcc etc Représentation acoustique du signal Fichier de configuration parametrisation.conf SOURCEFORMAT=WAVE TARGETKIND=MFCC_E_D WINDOWSSIZE= TARGETRATE= NUMCEPS=8 # nb de coeff MFCC USEHAMMING=T PREEMCOEF=0.97 NUMCHANS=26 CEPLIFTER=22 hcopyliste.conf signal/ihtif.wav mfcc/ihtif.mfcc signal/kallime.wav mfcc/kallime.mfcc signal/ala.wav mfcc/ala.mfcc signal/mohamed.wav mfcc/mohamed.mfcc.

9 9 Représentation acoustique du signal : Le nombre de coefficients MFCC utilisé est 8 + lenergie + les dérivés (donc 18) Le résultat de cette phase est un ensemble de fichiers.mfcc dans le dossier mfcc contenant les coefficients. Reconnaissance de mots isolés Et Reconnaissance de mots connectés

10 10 Description des modèles : Pour chaque entité lexicale, on définira le modèle associé. Pour cela, on donnera la topologie de chaque modèle, le nombre d'états et les probabilités de transition entre les états. Exemple du model en phonétique représentant le mot du vocabulaire ihtif Reconnaissance de mots isolés Et Reconnaissance de mots connectés sil ih tif sil

11 11 Description des modèles : Fichiers gabarits : A chaque entité lexical (mot du vocabulaire) on va crée un fichier Gabarit (model) représentant lentité lexical dans la pratique. Reconnaissance de mots isolés Et Reconnaissance de mots connectés Exemple : fichier gabarits/ihtif

12 12 Apprentissage avec lalgorithme Vitervi (HInit) Chaque modèle doit être appris : les moyennes, les variances et les probabilités de transition entre états sont ré estimées jusqu'à ce qu'un seuil de convergence ou qu'un nombre maximum d'itération soient atteint. Ceci est fait par l'algorithme de Viterbi. Pour chaque phonème on applique la commande HInit Reconnaissance de mots isolés Et Reconnaissance de mots connectés

13 13 Apprentissage avec lalgorithme Vitervi (HInit) Le fichier config/hinit.conf Le fichier listes/mfcc.lst Reconnaissance de mots isolés Et Reconnaissance de mots connectés #Fichier de configuration pour linitialisation des # modèles de Markov par lalgorithme de Viterbi TARGETKIND = MFCC_E_D Le fichier config/hinit.conf mfcc/ihtif.mfcc mfcc/kallime.mfcc mfcc/ala.mfcc mfcc/mohamed.mfcc mfcc/amine.mfcc mfcc/nadi.mfcc ….

14 14 Apprentissage avec lalgorithme Vitervi (HInit) Reconnaissance de mots isolés Et Reconnaissance de mots connectés

15 15 Apprentissage avec lalgorithme Vitervi (HInit) La syntaxe de la commande HInit HInit -C config/hinit.conf -A -o hinit/cif -l cif -L labels/ -i 20 -T 1 -m 2 gabarits/0 -S listes/mfcc.lst Reconnaissance de mots isolés Et Reconnaissance de mots connectés

16 16 Apprentissage avec lalgorithme Vitervi (HInit) Le fichier résultat de cette commande est hinit/ihtif qui contient Reconnaissance de mots isolés Et Reconnaissance de mots connectés ~o ~h "hinit/ihtif" e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e+000

17 17 Apprentissage Le résultat de cette phase est un ensemble de fichiers dans le dossiers hinit/ Reconnaissance de mots isolés Et Reconnaissance de mots connectés

18 18 Apprentissage avec lalgo de Baum Welch (HRest) Les modèles sont ensuite estimés de façon indépendante avec lalgorithme de Baum Welch en utilisant la commande HRest. Pour chaque phonème on applique la commande HRest Le fichier config/hrest.conf Le fichier listes/mfcc.lst : deja utilisé avec la commande hinit Reconnaissance de mots isolés Et Reconnaissance de mots connectés #Fichier de configuration pour la re-estimation des #modèles de Markov par lalgorithme de Viterbi TARGETKIND = MFCC_E_D

19 19 Apprentissage avec lalgo de Baum Welch (HRest) La syntaxe de la commande HRest : HRest -C config/hrest.conf -A -l aaich -M hrest/ -L labels/ -i 20 -T 1 -m 2 hinit/aaich -S listes/mfcc.lst Reconnaissance de mots isolés Et Reconnaissance de mots connectés

20 20 Apprentissage avec lalgo de Baum Welch (HRest) Le fichier résultat de cette commande est hrest/aaich qui contient : Reconnaissance de mots isolés Et Reconnaissance de mots connectés ~o ~h "aaich" e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e+000

21 21 Apprentissage avec lalgo de Baum Welch (HRest) Le résultat de cette phase est un ensemble de fichiers dans le dossiers hrest/ On remarque que mon langage contient 50 syllabes. Reconnaissance de mots isolés Et Reconnaissance de mots connectés

22 22 Reconnaissance On doit définir le modèle de notre langage ; la grammaire de notre langage est définie dans le fichier listes/modeleLangage.txt : Reconnaissance de mots isolés Et Reconnaissance de mots connectés $chiff = ciffr | wahid |itnan | thalathah | arrbaaah | khamsah | sitah | sabaah | thamanniah | tisaah | aacharah | i7daaachar | ithnaaachar | thalathataaachar | arrbaaataaachar | khamsataaachar | sitataaachar | sabaataaachar | thamanniataaachar | tisaataaachar | aaichroun | thalatoun | arrbaaaoun | khamsoun | sitoun | sabaaoun | thamanoun | tisaaoun; $sil = sil ; $prenom = [ mohamed sil ] amine | mohamed ; $numerotel = $chiff $sil $chiff [ $sil wa $sil $chiff ] $sil ; (SENT-START ( $sil ihtif $sil li $sil $numerotel ) | ( $sil nadi $sil ala $sil $prenom $sil ) | ( $sil kallime $sil $prenom $sil ) | $chiff SENT-END)

23 23 Reconnaissance On va appliquer la commande HParse à cette grammaire pour générer le modeleDeMots La syntaxe de la commande HParse: HParse -T 1 listes/modelelangage.txt listes/modeledemots.txt Le résultat est un fichier listes/modeledemots.txt qui contient tous les mots de notre langage : Reconnaissance de mots isolés Et Reconnaissance de mots connectés VERSION=1.0 N=151 L=266 I=0 W=!NULL I=1 W=!NULL I=2 W=SENT-START I=3 W=sil I=4 W=ihtif..

24 24 Reconnaissance Dictionnaire du langage : Un fichier listes/dictionnaire.txt contient le dictionnaire de notre langage : Reconnaissance de mots isolés Et Reconnaissance de mots connectés SENT-START [ ] SENT-END [ ] ciffr cif fr wahid wa hid itnan ith nan thalathah tha la thah arrbaaah arr ba aah khamsah kham sah sitah si tah sabaah sab aah thamanniah tha man niah tisaah tis aah aacharah aa cha rah

25 25 Reconnaissance La reconnaissance sera ensuite effectuée sur chaque fichier en utilisant successivement les modèles issus de HInit ceux issus de HRest et ceux de HERest afin dévalué lapport des divers apprentissage. Pour cela nous allons utiliser la commande HVite. La syntaxe de la commande HVite: HVite -T 1 -A -w listes/modeledemots.txt -d hinit/ -l resultat/hinit/ -S listes/mfcc.ar.lst listes/dictionnaire.txt listes/listemodeles.txt Il utilise : –listes/modeledemots.txt générer avec HParse. –listes/dictionnaire.txt qui contient le dictionnaire du langage. –listes/listemodeles.txt qui contient les phonèmes du langage. –hrest/ le dossier contenant les estimations par hinit hrest ou herest. –resultat/hrest/ dans lequel les résultats de la commande serons mis. –listes/mfcc.ar.lst la listes des fichiers MFCC des fichiers à reconnaître. Reconnaissance de mots isolés Et Reconnaissance de mots connectés

26 26 Reconnaissance les deux premières chaînes sont reconnues entièrement : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

27 27 Reconnaissance Le résultat est un fichier «.rec » pour chaque fichier à reconnaître. Par exemple pour ihtifli066ar.wav en utilisant les estimations par hinit le résultat est resultats/hinit/ihtifli066ar.rec Reconnaissance de mots isolés Et Reconnaissance de mots connectés sil ihtif sil li sil ciffr sil sitah sil wa sil sitoun sil

28 28 Lévaluation des performances: La syntaxe de la commande HResults: HResults -T 1 -L labels/ listes/listemodeles.txt resultat/hinit/ihtifli066ar.rec On remarque que le taux de la reconnaissance est de 46.67% en utilisant les estimations de hinit, ou ceux de hrest. Analyse des résultats : H = 7 : Nombre d'éléments bien classés D =2 : Nombre d'éléments supprimés S = 6 : Nombre d'éléments substitués I = 0 : Nombre d'éléments insérés N =15 : Nombre total d'éléments Reconnaissance de mots isolés Et Reconnaissance de mots connectés

29 29 Langage restreint et reconnaissance par phonème On utilise la grammaire suivante La reconnaissance donne ce qui suit : Reconnaissance de mots isolés Et Reconnaissance de mots connectés $chiff = ciffr | wahid ; $sil = sil ; $prenom = mohamed ; (SENT-START ( $sil kallime $sil $prenom $sil ) | $sil $chiff $sil SENT-END)

30 30 Langage restreint et reconnaissance par phonème On affiche les résultats avec HResults. Les résultats pour la reconnaissance de mots isolés : Les résultats pour la reconnaissance de mots connectés : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

31 31 Langage restreint et reconnaissance par mot Nous allons utiliser un vocabulaire de 4mots. Nous allons faire un étiquetage par mots (donc seulement 4 étiquette) On utilise la grammaire suivante Reconnaissance de mots isolés Et Reconnaissance de mots connectés $chiff = ciffr | wahid ; $sil = sil ; $prenom = mohamed ; (SENT-START ( $sil kallime $sil $prenom $sil ) | $sil $chiff $sil SENT-END)

32 32 Langage restreint et reconnaissance par mot La reconnaissance donne ce qui suit : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

33 33 Langage restreint et reconnaissance par mot On affiche les résultats avec HResults. Les résultats pour la reconnaissance de mots isolés : Les résultats pour la reconnaissance de mots connectés : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

34 34 Langage complexe et reconnaissance par mot Nous allons utiliser un vocabulaire de 36 mots. Nous allons faire un étiquetage par mots (donc seulement 37 étiquette) On utilise la grammaire suivante Reconnaissance de mots isolés Et Reconnaissance de mots connectés $chiff = ciffr | wahid ; $sil = sil ; $prenom = mohamed ; (SENT-START ( $sil kallime $sil $prenom $sil ) | $sil $chiff $sil SENT-END)

35 35 Langage complexe et reconnaissance par mot La reconnaissance donne ce qui suit : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

36 36 Langage complexe et reconnaissance par mot On affiche les résultats avec HResults. Les résultats pour la reconnaissance de mots isolés : Les résultats pour la reconnaissance de mots connectés : Reconnaissance de mots isolés Et Reconnaissance de mots connectés

37 37 Synthèse des résultats trouvés : Reconnaissance de mots isolés Et Reconnaissance de mots connectés Reconnaissance par phonème Reconnaissance par mot Mots isoléMots connectés Mots isoléMots connectés Vocabulaire grand (36mots) ~50%~ 35% - 46 %~100%~60% Vocabulaire petit (4 à 10 mots) ~50%~ 40 %~100%~80%

38 38 Etude du cas multi locuteur Nous allons utiliser deux locuteurs ; le résultat est : On remarque quil y reconnaissance totale des mots isolés. Reconnaissance de mots isolés Et Reconnaissance de mots connectés

39 39 Etude du cas multi locuteur On affiche les résultats avec HResults. Les résultats pour la reconnaissance de mots isolés du locuteur 1 Un taux de reconnaissance est de 100% en utilisant les estimations de hinit et ceux de hrest Reconnaissance de mots isolés Et Reconnaissance de mots connectés

40 40 Etude du cas multi locuteur On affiche les résultats avec HResults. Les résultats pour la reconnaissance de mots isolés du locuteur 2 Un taux de reconnaissance est de 100% en utilisant les estimations de hinit et ceux de hrest Reconnaissance de mots isolés Et Reconnaissance de mots connectés

41 41 Conclusion : Le présent rapport vise à expliquer la construction dun système de reconnaissance de mots isolés et de phrase (mots connectés) qui suive une certaine syntaxe de plusieurs mots. Avec une reconnaissance par phonème et une grammaire de langage plus simple jai arrivée a des taux de reconnaissance jusqu'à 46.67% pour des phrase comme « ihtif li 066 » ou même 50% pour des mots isolé « ciffr » et ensuite avec un modèle de langage plus complexe (plus utile) le taux diminue jusqu'à 40% pour une phrase tel que « ihtif li », mais dans les deux cas les phrase sont souvent entièrement reconnue par le système Comme « kallime mohamed », ensuite jai fait une reconnaissance par mots qui donne de bons résultats surtout pour des mots isolés avec des taux de reconnaissance de 100%, et des taux entre 60% et 80% pour des mots connecté, et jai terminer avec un système multi locuteur qui fait une reconnaissance de 100% pour des mots isolés. Reconnaissance de mots isolés Et Reconnaissance de mots connectés

42 42 Merci


Télécharger ppt "1 Présenter par : Mounir GRARI RAPPORT DE PROJET SOUS HTK Reconnaissance de mots isolés Et Reconnaissance de mots connectés."

Présentations similaires


Annonces Google