Par: France CHAMPAGNE et Guy TREMBLAY Application de la distance d’édition à la correction de dictées musicales Par: France CHAMPAGNE et Guy TREMBLAY

Description du problème L’apprentissage du solfège est essentiel dans la formation de tout bon musicien Un outil de correction automatique permettrait à un étudiant d’être autonome et de s’auto-évaluer Première ébauche d’un tel outil (basé sur l’algorithme de distance d’édition): CADiM = Correcteur Automatique de Dictées Musicales

Plan de la présentation Les particularités d’une dictée musicale Les erreurs typiques des étudiants Une heuristique pour la correction des dictées La distance d’édition et son application aux dictées La représentation symbolique des dictées L’outil CADiM Les résultats obtenus

Particularités d’une dictée musicale Une suite de sons formant une mélodie est jouée par un enseignant à une classe d’étudiants La dictée est morcelée en court fragments mémorisables Chaque fragment est joué plusieurs fois L’étudiant doit reconnaître le fragment et le transcrire dans la notation musicale standard

Particularités d’une dictée musicale Monodique = un seul son est entendu à la fois => séquence de sons À chaque son est associé une note qui décrit: La hauteur du son La durée du son

Particularités d’une dictée musicale Une dictée mélodique peut donc être représentée par une chaîne de symboles formée d’une suite de couples (h, d) où: h = la hauteur du son; d = sa durée.

Particularités d’une dictée musicale L’alphabet H définit les hauteurs de sons (nom des notes) H = {Do, Ré, Mi, Fa, Sol, La, Si, Silence} L’alphabet D définit les durées possibles d’une note ou d’un silence D = {ronde, blanche, noire, croche, double-croche}

Exemple d’un segment musical Arpège = {(Do, noire), (Mi, noire), (Sol, noire pointée), (Mi, croche), (Do, croche), (Silence, croche) (Sol, noire), (Do, blanche)}

2. Les erreurs typiques Les erreurs typiques faites par les étudiants ont été identifiées suite à une rencontre avec une experte du domaine: Mme Luce Beaudet Mme Beaudet est Professeure agrégée à la Faculté de Musique de l’Université de Montréal et responsable de la formation auditive.

Exemple: Frère Jacques

Quelques erreurs courantes (hauteurs de son) Mauvaise note Une note en trop Manque une note

Quelques erreurs courantes (durée) Durée trop courte Durée fragmentée Déplacement du rythme Durées consolidées

3. Heuristique pour la correction de dictées musicales On attribue un pointage différent aux erreurs de hauteur ou de rythme Les erreurs de hauteur sont considérées plus graves et ont donc un coût plus élevé Pondération typique utilisée par Mme Beaudet: 88% pour les erreurs de hauteur 12% pour les erreurs de rythme

Exemple La dictée « Frère Jacques » comprend 32 notes et 32 temps. Le coût d’une erreur sera donc: Coût d’une erreur de hauteur: 88/32 = 2,75 Coût d’une erreur de rythme: 12/32 = 0,38

Exemple (suite) Un étudiant a fait 10 erreurs de hauteur de son et 5 erreurs de rythme. 10 * 2,75 (coût hauteur) = 27,5 5 * 0,38 (coût rythme) = 1,9 Total = 29,4 (70,6%)

Définition des coûts Chauteur Crythme (h,d) Soit t = unité de temps Pourcentage hauteur / nombre de notes Crythme (h,d) Soit t = unité de temps (d / t) * Pourcentage rythme / nombre de notes

4. La distance d’édition Utilisation classique de la distance d’édition: La recherche dans des textes La biologie computationnelle Le traitement de signal

La distance d’édition Distance entre deux chaînes A et B = nombre minimum d’opérations pour transformer la chaîne A en la chaîne B Trois opérations élémentaires : Ajouter un caractère Supprimer un caractère Remplacer un caractère

Distance d’édition entre PARUTION et PARTISAN PAR _ TION -- Supprimer U PARTI S ON -- Insérer S PARTIS A N -- Remplacer O par A PARTISAN Total: 3 opérations.

Équations récursives définissant la distance d’édition Soit C(i,j), le coût pour passer de la chaîne A[1..i] à la chaîne B[1..j] C(0,0) = 0 cas C(i,0) = C(i-1,0) + Coût supprimer(A[i]) de C(0,j) = C(0,j-1) + Coût ajouter(B[j]) base C(i,j) = C(i-1,j-1) + Coût échanger(A[i],B[j]) cas min C(i-1,j) + Coût supprimer(A[i]) récursif C(i,j-1) + Coût ajouter(B[j])

5. Distance d’édition appliquée aux dictées musicales Bases de données (MIR) Requête fredonnée (query by humming) Similarité par contour, par texture, … Analyse musicologique etc.

Mongeau et Sankoff 1990 Ont cherché à adapter directement l’algorithme de distance d’édition à des segments musicaux. Ont établi une charte de poids pour chaque type d’intervalle selon leur degré de consonance. Ont introduit deux nouvelles opérations pour les variations de rythme: la fragmentation et la consolidation

Opérations de fragmentation et consolidation

Notre algorithme de correction Basé sur Mongeau et Sankoff Utilise les opérations de consolidation et de fragmentation Diffère par les fonctions de coûts Note finale = 100 – la distance obtenue

Notre distance d’édition C(0,0) = 0 cas C(i,0) = C(i-1,0) + Coût supprimer(A[i]) de C(0,j) = C(0,j-1) + Coût ajouter(B[j]) base C(i,j) = C(i-1,j-1) + Coût échanger(A[i],B[j]) C(i-1,j) + Coût supprimer(A[i]), C(i,j-1) + Coût ajouter(B[j]) min C(i-1,j-k) + Coût échanger(A[i], B[j-k+1..j]) fragmentation C(i-k,j-1) + Coût échanger(A[i-k+1..i], B[j]) consolidation

Les fonctions de coût échanger(A[i], B[j]) supprimer(A[i]) (A[i] ≠h B[j]) * Chauteur + (A[i] ≠d B[j]) * Crythme(B[j]) supprimer(A[i]) Chauteur + Crythme(A[i]) ajouter(B[j]) Chauteur + Crythme(B[j]) échanger(A[i], B[j-k+1..j]) HauteursDifférentes(B[j-k+1..j], A[i]) * Chauteur + Crythme(A[i]) échanger(A[i-k+1..i], B[j]) HauteursDifférentes(A[i-k+1..j], B[j]) * Chauteur + Crythme(B[j])

6. Représentation symbolique d’une dictée musicale Représentation des dictées doit inclure La hauteur et la durée de chaque note L’ordre de succession des notes Doit représenter l’ensemble des éléments correspondant au système standard de notation musicale

Formats de représentation musicale existants MIDI SMDL NIFF Humdrum Formats basés sur XML

Avantages des formats basés sur XML Lisibles (encodage ASCII) Peuvent être lus à l’aide d’analyseurs syntaxiques et manipulés à l’aide de DOM ou SAX

Formats basés sur XML MusicXML 4ML MML MusiXML Nous avons choisi MusicXML parce que il offre une description détaillée et complète du système de notation musicale il propose un plugiciel permettant la conversion automatique d’une dictée en format Finale au format MusicXML

Représentation d’une note en MusicXML <pitch> <step>C</step> <alter>1</alter> <octave>4</octave> </pitch> <duration>1</duration> <type>whole</type> </note>

Représentation de cette note sous forme d’arborescence Pitch Duration Type 1 Whole Step Alter Octave C 1 4

Étapes pour la transformation d’une dictée musicale Entrée à la main dans Finale 2000 Logiciel d’édition de partition Transformée en fichier MusicXML à l’aide du plugiciel fournit par Recordare Lue et transformée en arborescence par notre outil (avec DOM) Transformée en séquence de notes {(Do,noire), (Mi,noire), (Sol, noire),…}

6. L’outil CADiM Développé en Java Utilise l’algorithme de distance d’édition décrit précédemment Compare les dictées de tout un groupe d’étudiants avec la dictée originale et donne une note pour chaque dictée (note sur 100)

Architecture de CADiM Dictée du professeur (MusicXML) Note = 78,3 Dictée prof. Note = 78,3 Affichage des erreurs (optionnel) Analyseur xml2jdom (Java) jdom2seq (Java) Algorithme de distance d’édition (Java) Solution étudiant Solution d’un étudiant (MusicXML) Solutions de tous les étudiants (liste des fichiers) DTD MusicXML

7. Résultats Deux séries de tests : Dictées fictives avec « Frère Jacques » Dictées réelles d’un cours d’apprentissage du solfège à l’Université de Montréal Les dictées ont été soumises à Mme Beaudet afin de comparer les résultats des deux méthodes de correction

Résultats « Frère Jacques » Copie Correction Mme Beaudet Correction CADiM Différence 1 91,00 91,75 0,75 2 11,00 38,25 27,25 3 98,00 95,75 -2,25 4 93,38 -4,62 5 95,00 94,50 -0,50 6 83,00 82,75 -0,25 7 89,88 -0,12

Résultats dictée réelle Copie Correction Mme Beaudet Correction CADiM Différence 1 97,00 97,64 0,64 2 45,00 38,64 -6,31 3 85,00 84,67 -0,33 4 40,00 51,25 11,25 5 67,00 66,97 -0,03 6 52,00 55,58 3,58 7 69,33 2,33 8 100,00 0,00 9 87,00 86,25 -0,75 10 60,00 61,06 1,06 11 87,42 0,42

Fidélité à la correction de Mme Beaudet En moyenne = Différence de moins de 4%! Explication des écarts : Note très faible Saut d’octave Facteur humain

8. Travaux futurs Mettre au point des méthodes permettant de reconnaître les faiblesses d’un étudiant Développer un tutoriel pour l’apprentissage du solfège

Questions et commentaires?