N pièces de monnaie A1A1 A2A2 Inconnus: 1, 2 (taux de paiement de A 1 et A 2 ) 2 1, 2 2 (variance de 1 et, 2 ) Bras 1Bras 2
Incertitudes Incertitude de 1er degré: connaître les lois de probabilités Incertitude de 2e degré: ignorer ces lois de probabilités –Le joueur na accès aux taux de paiement et à la variance quen les estimant par essai –Comment maximiser le paiement en N essais ?
Le but nest pas seulement destimer quel bras est le plus payant, mais de maximiser le paiement tout en amassant de linformation par lessai de chaque bras Critère de performance en-ligne: –le paiement à chaque coup compte dans lévaluation finale de la performance –Opposé du critère de performance hors-ligne (optimisation): lévaluation de la performance peut dépendre uniquement de la découverte de loptimum global ou de létat le plus payant après un certain nombre
Soit 1 > 2 (le bras 1 est + payant) Soit –A l (N, n) le bras le moins payant observé –A h (N, N-n) le bras le plus payant observé –Après N coups, dont : n coups alloués A l N-n coups alloués à A h Il faut identifier n=n*, la valeur de n qui maximise les profits attendus en N coups Stratégie optimale: N 1 (les N coups payants) –Impossible sans connaissance a priori
Deux sources de pertes: –1) A l (N, n) = A 1 (échantillon malchanceux) Le joueur perd les profits espérés des N-n coups alloués à A h (N, N- n) Perte : (N- n) ( ) –2) A l (N, n) = A 2 (malchance) Le joueur perd les profits espérés des n coups alloués à A l (N, n) Perte: n( ) –Solution : lallocation optimale de coups N-n* au meilleur bras doit augmenter exponentiellement, relativement au nombre de coups alloué au pire bras