Regarder un test chaque jour fabrique des gagnants.
Deux versions identiques, 1 000 tests simulés dans votre navigateur. Lus chaque jour au seuil de 5 %, 21,8 % d’entre eux annoncent un gagnant qui n’existe pas. Lus aux trois contrôles prévus par Probant : 5,6 %.
Choisissez combien de fois vous regardez.
Chaque carré est un test A/A de 18 jours : A et B sont la même page, tout gagnant est donc faux. Il s’allume le jour où la lecture s’arrête sur un écart qui passe le seuil.
Lecture pressée
Chaque jour, 18 regards au total, arrêt au premier écart qui passe le seuil.
Lecture de Probant
Trois contrôles fixés avant le lancement, avec des bornes d’O’Brien-Fleming.
Faux gagnants cumulés, jour après jour
Lecture pressée : 218 faux gagnants sur 1 000, soit 21,8 %. Lecture de Probant : 56 sur 1 000, soit 5,6 %.
Chaque regard de plus ajoute du risque.
Le seuil de 5 % promet un faux gagnant sur 20 quand on regarde une seule fois. Chaque regard supplémentaire est une nouvelle chance que le hasard passe le seuil, et le lecteur pressé s’arrête à la première.
Un seul regard, à la fin : 4,9 %. Un regard par jour : 24,7 %. 36 regards : 29,7 %. Armitage, McPherson et Rowe ont calculé ce risque dès 1969 : il ne cesse de croître avec le nombre de regards.
| Regards | Faux gagnants |
|---|---|
| 1 regardà la fin | 4,9 % |
| 2 regardstous les 9 jours | 8,3 % |
| 3 regardstous les 6 jours | 11,1 % |
| 6 regardstous les 3 jours | 15,9 % |
| 9 regardstous les 2 jours | 19,0 % |
| 18 regardschaque jour | 24,7 % |
| 36 regardsdeux fois par jour | 29,7 % |
Un écart passe le seuil par hasard, puis revient.
Sans aucune différence entre A et B, le score z, l’écart divisé par son erreur type, se promène au gré des visiteurs. Il dépasse ±1,96 un jour ou deux, puis redescend.
Un lecteur qui s’arrête ce jour-là garde un faux gagnant. Les bornes d’O’Brien-Fleming sont hautes au début, quand le score z bouge le plus, et ne descendent vers le seuil classique qu’au dernier contrôle : un passage de quelques jours les franchit rarement, et le risque total reste à 5 %.
Regarder est permis. Décider sur un coup d’œil ne l’est pas.
Fixez la durée avant de lancer.
Elle découle de l’effet que vous voulez pouvoir détecter et du trafic de la zone testée.
Calculer une duréeNe décidez qu’aux contrôles prévus.
Probant affiche la fourchette du jour pour suivre le test, mais seule une borne franchie à un contrôle autorise une décision. Le plan en prévoit trois contrôles par défaut, de 1 à 5 au choix.
Les contrôles prévusPour surveiller en continu, changez de fourchette.
Une fourchette toujours valide reste juste même relue à chaque instant. Elle est plus large : Probant la réserve aux garde-fous des déploiements.
Les déploiementsMesurez votre propre façon de lire.
Durée, nombre de tests, contrôles : le simulateur A/A rejoue l’expérience avec vos réglages.
Ouvrir le simulateur
Références
- Armitage, McPherson et Rowe, « Repeated significance tests on accumulating data », Journal of the Royal Statistical Society, série A, vol. 132, n° 2, 1969.
- O’Brien et Fleming, « A multiple testing procedure for clinical trials », Biometrics, vol. 35, n° 3, 1979.
- Jennison et Turnbull, « Group Sequential Methods with Applications to Clinical Trials », Chapman & Hall/CRC, 2000.
- Johari, Koomen, Pekelis et Walsh, « Peeking at A/B Tests: Why it matters, and what to do about it », KDD, 2017.
Pour aller plus loin : Regarder un test chaque jour fabrique des gagnants.
La méthode, point par point.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris