Profile Likelihood Une petite revue succincte. Petite citation a méditer… « a probability of 1 in 10 000 000 is almost impossible to estimate » R. P.

Présentation au sujet: "Profile Likelihood Une petite revue succincte. Petite citation a méditer… « a probability of 1 in 10 000 000 is almost impossible to estimate » R. P."— Transcription de la présentation:

1 Profile Likelihood Une petite revue succincte

2 Petite citation a méditer… « a probability of 1 in 10 000 000 is almost impossible to estimate » R. P. Feynman (What do you care what other people think?)

3 Le Profile Likelihood (I) Formellement A partir d’un likelihood L dépendant de deux paramètres : On peut définir un profile likelihood L P en absorbant la dépendance d’un des paramètres dans son MLE (estimation par maximum de vraisemblance) en fonction du second. Soit la MLE de y pour un x donne et fixe : Le Profile Likelihood : Ne dépend en définitive que du paramètre x

4 Le Profile Likelihood (II) mise en bouche (un exemple simple) Prenons un exemple quasi-trivial. La distribution normale avec un ensemble de mesures X i supposons que l’on ne veuille pas fixer la largeur  et qu’on ne soit intéressés que par la valeur centrale  alors : Alors en résolvant : On obtient :

5 On peut ainsi écrire le Profile Likelihood : Si on résout : On obtient : Morale : on simplifie le problème en le centrant sur la quantité qui nous intéresse.

6 Le Profile Likelihood (III) Un exemple de comptage relativement simple Prenons une expérience de recherche de nouveauté avec incertitude gaussienne sur le fond uniquement : Alors le rapport de vraisemblance s’écrira : Ou et sont les MLE de et

7 La distribution de -2ln(  b  ) sera une distribution de  2 avec 2 degrés de liberté : Jusque la rien de nouveau…

8 On peut maintenant faire l’exercice de profiler ce likelihood en notant bien que le paramètre qui nous intéresse est m (l’efficacité ou encore la fraction de signal attendu). En résolvant : On obtient : On peut alors définir le profile likelihood par :

9 « L’amazing concept » du Profile Likelihood Le profile likelihood ne dépend plus que d’un paramètre. Il sera donc trivialement distribué comme un  2 a une degré de liberté. L’utilisation de cette information peut s’avérer très intéressante…

10 Calcul de significances Une petite relation en réalité bien utile : Ce qui revient a écrire : N est le nombre de déviations standard de la valeur MLE. Sens de lecture Sans systématiques

11 Théoriquement : En présence de signal la probabilité du fit représente en quelque sorte la p-value. Or on peut directement relier la valeur de (0) avec la probabilité de fit pour une expérience avec le nombre de déviations standard dues a un signal auxquelles cette valeur correspond. Mais alors…Il n’est même pas nécessaire d’avoir le profile complet, il suffit d’avoir la valeur a 0 du profile likelihood. Tout devient donc plus simple.

12 Quid des systématiques? La signification statistique passe a ~3.2 On a donc une prescription extrêmement simple : Pour estimer la sensibilité d’une analyse il suffit d’estimer (0) pour une expérience en présence de signal… simplissime. Mais est-ce correct?

13 En comparaison au smearing à la Cousins et Highland La valeur donnée est conservative et proche du smearing simple… Mais C&H est-elle légitime pour le fond? mHmH 

14 Le Profile Likelihood (IV) Unbinned likelihood avec shapes Exemple de l’analyse d’un extended likelihood : Ou f s et f b sont les PDFs de signal et de fond basées sur les vecteurs de paramètres  et . Il ne suffit ensuite que d’appliquer la recette simple...

15 La Recette 1.- Bien définir le problème : a. – Choisir les bonnes probabilités pour le signal et le fond (essentiellement gauss ou poisson) b. – Bien définir les PDFS de signal et fond pour tenir compte des shapes, en particulier quels paramètres a fitter (tiendra compte en partie des systématiques liées au shapes) 2.- Faire tourner ATLAS pour quelques fb -1 … … Ou alternativement faire tourner du MC pour signal et fond. c. – Définir un likelihood intelligent 3.- Fitter les données avec signal pour obtenir les MLE 4.- Définir le likelihood a s=0 et prendre sa valeur pour une expériences avec signal… Et hop! Vous avez la signification statistique avec systématiques et shapes

16 Conclusions Voila une méthode élégante, simple et rapide… mais est-elle correcte en toutes circonstances? Mais a quel point a-t’on besoin d’être corrects? N’est-ce pas pour pallier aux petites erreurs qu’on requiert 5  pour une découverte… soit 5.7 10 -7 ? Ca ne vous rappelle rien? La rapidité a un avantage certain dans le cas de recherches au delà du MS… Mais est-il raisonnable d’appliquer cette méthode dans le Higgs sans avoir une vérification par gedanken?