Recherche exacte de motifs

Slides:



Advertisements
Présentations similaires
La recherche de chemin optimal
Advertisements

Tris.
Chap. 4 Recherche en Table
Introduction à l’Algorithmique
Sensibilisation à l’Algorithmique et structure de données
Cours d'algorithmique 4 - Intranet 1 16 novembre 2006 Cours dAlgorithmique Lalgorithme alpha-beta. Sous-arbres alpha et beta dun arbre minimax et propriétés.
Colloque Traitement et Analyse de séquences : compte-rendu
Chap 1 Grammaires et dérivations.
Chapitre VI. Arbres (définition, parcours, représentation)
Chapitre II.Rappels mathématiques et complexité
Recherche heuristique de similitudes dans les séquences dADN École Jeunes Chercheurs en Algorithmique et Calcul Formel Laurent Noé
Sensibilité de graines espacées du type Subset seed Gregory Kucherov, Laurent Noé, Mikhaïl Roytberg LORIA (Nancy) 9-10 décembre 2004, Lille AS Indexation.
Qu’est-ce qu’un ordinateur ?
Conception et analyse des algorithmes
Références Bibliographiques
Classification multiclasses
Structures de données linéaires
Les structures de données arborescentes
Arbre binaire de recherche
Algorithmes Branch & Bound
Sélection doligonucléotides spécifiques à laide de familles de graines AS Indexation de Texte et Découverte de Motifs Lina (Nantes) mai 2004.
Optimisation linéaire
Travail Pratique – Conception et analyse d’algorithmes
Bases de données lexicales
Alignement de séquences (suite)
Les fichiers indexés (Les B-arbres)
LES ARBRES IUP 2 Génie Informatique
Algorithme de Bellman-Ford
16 septembre 2013 Algorithme Boyer-Moore-Horspool
Introduction à l’algorithmique
IFT Complexité et NP-complétude
Courbes de Bézier.
Génération d’un segment de droite


Algorithmes d ’approximation
Les fonctions.
1 Protection des arbres multicast avec une forêt duale Mohand Yazid SAIDI Bernard COUSIN Miklós MOLNÁR 15 Février 2006.
Gestion de Fichiers GF-10: Traitement Co-Sequentiel: Appariment et Fusion de Plusieures Listes (Base sur les sections de Folk, Zoellick & Riccardi,
ASI 3 Méthodes numériques pour l’ingénieur

Planification de flux et Aménagement
Analyse des Algorithmes
Recherche heuristique dans les bases de données L’algorithme BLAST
Programmation procédurale Transformations
D.E ZEGOUR Ecole Supérieure d’Informatique
O-notation 1. Introduction 2. O-notation 3. Opérations 3.1 Somme 3.2 Produit 4. Règles générales 5. Exemple 6.Analyse des algorithmes récursifs 6.1 Dilatation.
Séquençage par hybridation
Optimisation de requêtes
Algorithmes Branch & Bound
Arbres binaires et tables de hachage
I.A. Session 2009/2010 E.P.S.I. Bordeaux – C.S.I.I – 2 ème Année – Cours n°6.
Recherche exacte de motifs
2008/ Plan du cours 1.Introduction –Contenu du cours 2.Logique mathématique –Calcul propositionnel –Calcul des prédicats –Logique floue et aide à.
1 INFOR 101 Chapitre 4 Marianne Morris. 2 Révision de chapitre 3 Algorithmes Sequential Search Selection Sort Binary Search Ordre de magnitude  (n) Mesurer.
Alignement de génomes. MUMmer (1999) Utilise l’arbre des suffixe. Basé sur le principe de « Maximum Unique Match » (MUM). Étant donné deux génomes A et.
Alignement de séquences biologiques
Recherche par automates finis
Recherche de motifs par projections aléatoires
Grand Projet Christelle CAUSSE Ludwig BERTHAUD RECHERCHE DE MOTIFS Mii3.
2005/2006 Structures de Données Introduction à la complexité des algorithmes.

Ajouts et retraits dans un arbre de connexion Nicolas Thibault et Christian Laforest, Équipe OPAL Laboratoire IBISC (regroupement LaMI et LSC), Évry 8.
Cours 5 - Trois algorithmes de tri d'un tableau
Recherche heuristique dans les bases de données L’algorithme BLAST
Post-optimisation, analyse de sensibilité et paramétrage
4/25/2017 4:30 PM Arbres (2,4) CSI2510 CSI2510.
CSI25101 Tri Plus efficace. CSI25102 Tri récursif Le tri récursif divise les données de grande taille en deux presque moitiés et est appelé récursivement.
Les banques de séquences nucléiques
L'exécution d'un programme nécessite l'utilisation des ressources de l'ordinateur : temps de calcul pour exécuter les opérations, et l'occupation de la.
Transcription de la présentation:

Recherche exacte de motifs Nadia El-Mabrouk

Problème Recherche exacte d’un seul motif S: Alphabet T = t1 t2… tn : Texte de taille n P = p1 p2… pm : Mot de taille m , n >> m Trouver les positions de toutes les occurrences exactes de P dans T P = GCG 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 T: A G C T

Problème Recherche exacte multiple S: Alphabet T = t1 t2… tn : Texte de taille n Ensemble P = {P1 , P2 ,… Pl} de mots de S Trouver les positions de toutes les occurrences exactes de tous les mots de P dans T P = {GCG, CGC, CCG} 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 T: A G C T

Intérêts de la recherche exacte Utilitaire de base pour la manipulation de textes. Aussi important que le tri ou opérations arithmétiques de base. Applications courantes: utilitaires UNIX comme grep; outils de recherche web; recherche dans les cathalogues de bibliothèques ou revues électroniques · · Utilitaire de base pour la recherche de motifs biologiques: recherche approchée (BLAST, FASTA...), recherche de répétitions, alignement multiple · · ·

Exemple d’application biologique: Utilisation du transcriptome pour annoter le génome. Transcriptome: Ensemble des ARN messagers représentant les gènes exprimés dans une lignée cellulaire donnée. Technologie HTS permet de séquencer des segments de chaque transcrit. Retrouver leur position dans le génome permet une annotation des gènes fonctionnels. Pertinent seulement s’il existe une seule occurrence de chaque marqueur dans le génome. Plus les marqueurs sont longs, plus ils sont spécifiques. Avec la technologie HTS, possible de séquencer des marqueurs de taille ~36 en grande quantité.

Using the transcriptome to annotate the genome Nature Biotechnology 20, 508 - 512 (2002) Saurabh Saha … Victor E. Velculescu1 “Transcripts are isolated from cells of interest and tags are excised using specialized restriction endonucleases. Tag sequences are revealed by sequencing of tag concatemers. Matching of tags to genomic sequences allows precise localization of tags in the genome. Comparison of tag locations with positions of previously annotated genes can provide expression evidence for predicted genes, and identify novel internal exons and previously uncharacterized genes.”

Pourquoi des algorithmes rapides? Dans notre exemple Génomes de très grande taille: ~106 pour une bactérie (E. coli: 4.6Mb) à 1011 pour certains poissons. Homme: 3.2 Gb. Des millions de « marqueurs » séquencés d’un transcriptome.

Pourquoi des algorithmes rapides? Dans le cas général Catalogues électroniques gigantesques; Banques de données biologiques croissante de façon exponentielle. Recherche exacte souvent utilisée comme étape de filtrage dans des logiciels complexes. Doit être le plus rapide possible.

Recherche exacte- Algorithme naif b P: a b a b a b a b a b

Recherche exacte- Algorithme naif Algorithme recherche-naive (T, n, P m) Pour j = 0 à n − m Faire i := 0; Tant que (T[j+i] = P[i] et i < m) i := i + 1; Si i = m Signaler une occurrence de P Fin Pour Complexité: O(mn) dans le pire des cas. Pour un alphabet suffisamment grand, nombre moyen de comparaisons O(n)

Optimisations de l’algorithme naif Ne pas recomparer les mêmes caractères d’une étape à l’autre; Décaler le mot de plus d’un caractère à la fois; Éviter de considérer certaines parties du texte.

Approche Knuth-Morris-Pratt(1977) À chaque étape, décalage de P de plus d’un caractère. Index j sur le texte jamais décrémenté Les décalages ne dépendent que de P

Approche Knuth-Morris-Pratt(1977) Bord d’un mot u: segment de u, à la fois préfixe et suffixe de u Bord disjoint de u: Bord, dont les parties préfixe et suffixe sont succédées de caractères différents.

Algorithme KMP T: a b c a b c a b c x a b c a b c a b c a b c a b c a Avec x différent de c a b c a b c a b c a b c a b c a b c

Algorithme KMP T: a b c a b c a b c Mot u: a b c Plus long bord de u Plus long bord DISJOINT de u

Approche Knuth-Morris-Pratt(1977) À chaque étape, décalage de P de plus d’un caractère. Index j sur le texte jamais décrémenté Les décalages ne dépendent que de P  les calculer au cours d’une phase de prétraitement de P |T| = n; |P| = m: Parcours du texte en O(n), prétraitement en O(m)  O(n+m)

Algorithme Boyer-Moore (1977) Linéaire dans le pire des cas. Saute des caractères du texte: sous-linéaire en pratique À chaque position j, parcourir P de droite à gauche S’arrêter dès qu’on arrive au début de P (occurrence finissant à la position j), ou dès que les caractères comparés diffèrent. Décaler P de d caractères.

Bord disjoint droit d’un suffixe v de P: Bord u de v tel que u et v ne sont pas précédés du même caractère dans P.

Le décalage d dépend de deux fonctions: j-m+i j Décalage d1: a a aucun a m i d1(a) Attention!! Décalage d1 peut-être négatif Décalage d2:

Algorithme BM T: a b c c P: a b b Décalage d1: a b

Algorithme BM T: a b c c P: a b b Décalage d1: a b a b Décalage d2:

Algorithme BM T: a b c a b

Algorithme BM T: a b c a b

Algorithme BM T: a b c a b

Algorithme BM T: a b c a b

d2(i) = min{|v| / v in V (u) U W(u)} , où Supposons: u = P[i + 1…m] = T[j − m + i + 1…j] et pi ≠ tj−m+i • d1: Décalage min. pour que tj−m+i coïncide avec un caractère de P. Pour tout a dans S : d1(a) = min{d /(d = m) ou (d = |u|, u ≠ e et au est un suffixe de P)} • Pour tout i, 0 ≤ i ≤ m, et u = P[i + 1...m]: d2(i) = min{|v| / v in V (u) U W(u)} , où V (u) = {v / v est suffixe de P et u est bord disjoint droit de v} . W(u) = {v / P est suffixe de v, u est bord de v et |v| ≤ (m+|u|)} . Le décalage effectué est le maximum de d1(tj−m+i) et d2(i)

Algorithme BM : j := m; Tant que j ≤ n Faire i := m; Tant que i > 0 et tj = pi Faire i := i − 1 ; j := j − 1; Fin Tant que Si i = 0 Alors “Occurrence de P débutant à la position j”; j := j + d2(i); Sinon j := j + max(d1(tj-m+1)-(m-i), d2(i)); FinSi Fin Tantque

Exemple: P = aababab i 1 2 3 4 5 6 7 P a b d2 14 13 12 10 8 S a b c d1 1 2 3 4 5 6 7 P a b d2 14 13 12 10 8 S a b c d1 1 2 7 T: a b c .

Complexité: • Calcul de d1 en temps O(m + |S|) • Parcours du texte nécessite O(n + rm) comparaisons, où r est le nombre d’occurrences de P dans T. Algorithme d’autant plus efficace que S est grand. Dans ce cas, nombre de comparaisons se rapproche, dans la pratique, de n/m => sous-linéaire en pratique

Algorithme de Horspool et Sunday Versions simplifiées de BM Ne tiennent pas compte de la périodicité des mots Fonction de décalage de type d1 Horspool: Décalage dj dépend uniquement de tj ; plus petit décalage nécessaire pour faire coïncider tj avec un caractère de P.

Algorithme de Horspool et Sunday Versions simplifiées de BM Ne tiennent pas compte de la périodicité des mots Fonction de décalage de type d1 Sunday: Décalage dj dépend uniquement de tj+1

Algorithme de Horspool et Sunday Performance en moyenne de Horspool comparable à celle de BM. Dans le pire des cas, complexité en O(mn). Boyer-Moore-Horspool (BMH): Horspool avec comparaisons des caractères de P de droite à gauche.

Optimisations supplémentaires Alphabet de l’ADN limité à 4 lettres  décalages pas très grands. Optimisations possibles: Effectuer le décalage en considérant plus qu’un caractère: q-mers (ou q-grams) (Zhu and Takaoka 1987, Baeza-Yates 1989, Kim and Shawe-Taylor 1994…)

Recherche Multiple S: Alphabet T = t1 t2… tn : Texte de taille n Ensemble P = {P1 , P2 ,… Pl} de mots de S Trouver les positions de toutes les occurrences exactes de tous les mots de P dans T P = {GCG, CGC, CCG} 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 T: A G C T

Recherche Multiple Application directe des algos de recherche exacte: O(m+l.n) (m taille totale des mots) Objectif: Recherche en un seul parcours du texte : O(m+n) P = {GCG, CGC, CCG} 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 T: A G C T

Algorithme de Aho-Corasick Utilisé dans le programme fgrep d’UNIX Basé sur la démarche KMP Prétraitement: Construction d’un arbre K, arbre de Aho-Corasick, index sur les mots de P P = {abbac, ac, bacd, ababc, ab} c a b b a c a b c b a c d

Arbre de Aho-Corasick Définition: L’arbre de Aho-Corasick pour un ensemble de mots P est un arbre enraciné orienté K satisfaisant les 4 contraintes suivantes: Chaque arête est étiquetée par un et un seul caractère. Deux arêtes sortant d’un même sommet ont des étiquettes différentes. Chaque mot de pi de P est associé à un sommet v de K: i.e. les caractères étiquetant le chemin de la racine de K à v forment le mot pi. De plus, chaque feuille de K est associée à un mot de P. Construction de l’arbre en O(m) (m: taille totale des mots)

Recherche dans un texte Recherche naive: O(mn) P = {abbac, ac, bacd, ababc} c a b b a c a b c b a c d T = a b a b b a c d ….

Recherche dans un texte Recherche naive: O(mn) P = {abbac, ac, bacd, ababc} c a b b a c a b c b a c d T = a b a b b a c d ….

Recherche dans un texte Accélération: Généralisation de KMP. Considérer une fonction d’échec. X: Préfixe d’un mot de P Bord(X): Plus long suffixe propre de X qui soit préfixe d’un mot de P. Fonction d’échec: Renvoie au sommet correspondant au plus long bord du mot atteint.

Fonction d’échec P = {abbac, ac, bacd, ababc} c a b b a c a b c b a c

Algorithme linéaire pour la fonction d’échec r racine de K Calculer f(v) pour tout sommet v de K. v’  v : arête étiquetée de la lettre x Si v = r ou r  v, alors f(v) = r. On suppose que f(v) connu pour tout sommet v de profondeur ≤ k. On veut calculer f(v) pour v de profondeur k+1.

Algorithme linéaire pour la fonction d’échec t=f(s) ab b s=f(v’) Niveau k v’ x x w Niveau k+1 v Si il existe une arête f(v’) w étiquetée x, alors f(v) = w.

Algorithme linéaire pour la fonction d’échec t=f(s) x s=f(v’) Niveau k v’ x Niveau k+1 v Sinon, on recommence avec s=f(v’)

Fonction d’échec P = {abbac, ac, bacd, ababc} v’ v f(v’) c a b b a c a

Fonction d’échec P = {abbac, ac, bacd, ababc} t=f(s) v’ v s=f(v’) c a

Algorithmes

Exemple P = {potato, pot, tatter, at} T = p o t a t a t t e r

Complexité Optimisation: Fonction op (pour output) Pour tout nœud v, Cv chemin, possiblement vide, déterminé par les sommets f(v), f(f(v)),… autres que la racine. op(v) : Premier nœud terminal de Cv, s’il y a lieu. Alors, dans l’algo, remplacer f à la ligne (9) par op. Complexité: Fonctions f et op calculées en temps O(m) O(n) comparaisons et O(k) parcours des liens op, où k est le nb d’occurrences des mots de P dans T  Parcours de T en O(n+k)