Profile Likelihood Une petite revue succincte

Petite citation a méditer… « a probability of 1 in is almost impossible to estimate » R. P. Feynman (What do you care what other people think?)

Le Profile Likelihood (I) Formellement A partir d’un likelihood L dépendant de deux paramètres : On peut définir un profile likelihood L P en absorbant la dépendance d’un des paramètres dans son MLE (estimation par maximum de vraisemblance) en fonction du second. Soit la MLE de y pour un x donne et fixe : Le Profile Likelihood : Ne dépend en définitive que du paramètre x

Le Profile Likelihood (II) mise en bouche (un exemple simple) Prenons un exemple quasi-trivial. La distribution normale avec un ensemble de mesures X i supposons que l’on ne veuille pas fixer la largeur  et qu’on ne soit intéressés que par la valeur centrale  alors : Alors en résolvant : On obtient :

On peut ainsi écrire le Profile Likelihood : Si on résout : On obtient : Morale : on simplifie le problème en le centrant sur la quantité qui nous intéresse.

Le Profile Likelihood (III) Un exemple de comptage relativement simple Prenons une expérience de recherche de nouveauté avec incertitude gaussienne sur le fond uniquement : Alors le rapport de vraisemblance s’écrira : Ou et sont les MLE de et

La distribution de -2ln(  b  ) sera une distribution de  2 avec 2 degrés de liberté : Jusque la rien de nouveau…

On peut maintenant faire l’exercice de profiler ce likelihood en notant bien que le paramètre qui nous intéresse est m (l’efficacité ou encore la fraction de signal attendu). En résolvant : On obtient : On peut alors définir le profile likelihood par :

« L’amazing concept » du Profile Likelihood Le profile likelihood ne dépend plus que d’un paramètre. Il sera donc trivialement distribué comme un  2 a une degré de liberté. L’utilisation de cette information peut s’avérer très intéressante…

Calcul de significances Une petite relation en réalité bien utile : Ce qui revient a écrire : N est le nombre de déviations standard de la valeur MLE. Sens de lecture Sans systématiques

Théoriquement : En présence de signal la probabilité du fit représente en quelque sorte la p-value. Or on peut directement relier la valeur de (0) avec la probabilité de fit pour une expérience avec le nombre de déviations standard dues a un signal auxquelles cette valeur correspond. Mais alors…Il n’est même pas nécessaire d’avoir le profile complet, il suffit d’avoir la valeur a 0 du profile likelihood. Tout devient donc plus simple.

Quid des systématiques? La signification statistique passe a ~3.2 On a donc une prescription extrêmement simple : Pour estimer la sensibilité d’une analyse il suffit d’estimer (0) pour une expérience en présence de signal… simplissime. Mais est-ce correct?

En comparaison au smearing à la Cousins et Highland La valeur donnée est conservative et proche du smearing simple… Mais C&H est-elle légitime pour le fond? mHmH 

Le Profile Likelihood (IV) Unbinned likelihood avec shapes Exemple de l’analyse d’un extended likelihood : Ou f s et f b sont les PDFs de signal et de fond basées sur les vecteurs de paramètres  et . Il ne suffit ensuite que d’appliquer la recette simple...

La Recette 1.- Bien définir le problème : a. – Choisir les bonnes probabilités pour le signal et le fond (essentiellement gauss ou poisson) b. – Bien définir les PDFS de signal et fond pour tenir compte des shapes, en particulier quels paramètres a fitter (tiendra compte en partie des systématiques liées au shapes) 2.- Faire tourner ATLAS pour quelques fb -1 … … Ou alternativement faire tourner du MC pour signal et fond. c. – Définir un likelihood intelligent 3.- Fitter les données avec signal pour obtenir les MLE 4.- Définir le likelihood a s=0 et prendre sa valeur pour une expériences avec signal… Et hop! Vous avez la signification statistique avec systématiques et shapes

Conclusions Voila une méthode élégante, simple et rapide… mais est-elle correcte en toutes circonstances? Mais a quel point a-t’on besoin d’être corrects? N’est-ce pas pour pallier aux petites erreurs qu’on requiert 5  pour une découverte… soit ? Ca ne vous rappelle rien? La rapidité a un avantage certain dans le cas de recherches au delà du MS… Mais est-il raisonnable d’appliquer cette méthode dans le Higgs sans avoir une vérification par gedanken?