Regarder un test chaque jour fabrique des gagnants

Le seuil de 5 % ne vaut que pour une seule lecture

Un test démarre un lundi. Le mardi, la variante B est devant. Le mercredi, l’écart se resserre. Le jeudi, l’outil annonce un écart « significatif ». L’équipe arrête le test et met B en ligne. C’est une scène courante dans un programme de tests, et elle coûte cher.

Le seuil de 5 % d’un test classique a un sens précis. Si les deux versions se valent, un test lu une seule fois, à la date prévue, déclare un écart à tort dans 5 % des cas. Ce chiffre suppose une lecture unique. Chaque lecture supplémentaire est une nouvelle occasion de tomber sur un écart dû au hasard. S’arrêter au premier écart « significatif » revient à garder la pire de ces occasions.

Armitage, McPherson et Rowe ont décrit le phénomène dès 1969 : quand on teste au même seuil des données qui s’accumulent, à chaque nouvelle lecture, le risque réel de conclure à tort augmente avec le nombre de lectures. Il ne redescend jamais vers le risque annoncé.

Un test A/A rend l’erreur visible

Pour mesurer ce coût, le plus simple est de comparer une page à elle-même. Dans un test A/A, les versions A et B sont identiques : tout gagnant est un faux gagnant, et la part de faux gagnants mesure directement le risque réel.

Nous avons simulé 1 000 tests A/A de 18 jours, avec le même nombre de visiteurs chaque jour. Pour chaque test et chaque jour, on calcule l’écart cumulé entre A et B, rapporté à son incertitude : c’est le score z. Puis on lit ces mêmes tests de deux façons.

• Lecture quotidienne. On regarde chaque jour et on arrête le test dès que l’écart franchit le seuil classique de 5 %, soit un score z supérieur à 1,96 en valeur absolue.
• Contrôles prévus. On ne regarde qu’aux jours 6, 12 et 18, avec un seuil propre à chaque contrôle, fixé avant le lancement.

Les tirages sont pseudo-aléatoires, avec une graine fixe : la simulation redonne les mêmes chiffres à chaque affichage de cette page.

Lire chaque jour fait passer le risque de 5 % à 21,8 %

Au bout de 18 jours, la lecture quotidienne a déclaré un gagnant dans 218 tests sur 1 000, soit 21,8 %. Lus aux contrôles prévus, les mêmes tests n’en déclarent que 56, soit 5,6 %.

La courbe de la lecture quotidienne monte dès le premier jour : 4,3 % des tests franchissent le seuil le jour 1, et le risque annoncé de 5 % est dépassé dès le jour 2. Elle ne redescend jamais, puisqu’un test arrêté reste arrêté. Les premiers jours sont les plus trompeurs : avec peu de visiteurs, l’écart observé change beaucoup d’un jour à l’autre et franchit facilement le seuil.

La courbe des contrôles prévus reste plate entre deux contrôles et finit à 5,6 %, près du risque annoncé. L’écart restant tient au hasard des tirages : sur 1 000 tests, cette part varie d’environ 1,4 point autour de sa valeur attendue.

Une équipe qui lit ses tests chaque jour et s’arrête au premier écart significatif transforme ainsi environ un test sans effet sur 5 en gagnant. Ces faux gagnants sont mis en ligne, leur gain annoncé ne se retrouve pas dans le chiffre d’affaires, et les tests suivants partent de conclusions fausses.

Les bornes d’O’Brien-Fleming permettent de regarder sans fausser le risque

Interdire de regarder n’est pas réaliste. Un test qui fait chuter les ventes doit pouvoir s’arrêter tôt, et une variante nettement meilleure n’a pas à attendre sans raison. La méthode classique fixe à l’avance le nombre de contrôles, et donne à chacun un seuil plus exigeant, calculé pour que le risque total reste à 5 %.

Les bornes proposées par O’Brien et Fleming en 1979, tabulées par Jennison et Turnbull (2000, chapitre 2), sont très strictes au début et proches du seuil classique à la fin. Pour 3 contrôles également espacés, le moteur statistique de Probant donne :

Au premier contrôle, seul un écart énorme arrête le test : il faut une p-value inférieure à 0,05 %, un seuil 96 fois plus exigeant que le seuil classique. Au dernier contrôle, la borne (2,00) est à peine plus haute que le seuil classique (1,96). La puissance du test est presque intacte : pour la garder à 80 %, l’échantillon prévu n’augmente que de 1,7 %.

Le test « Barre de livraison gratuite » de la boutique de démonstration a été planifié avec ces trois contrôles. Voici ce que montrait son score z à chacun d’eux :

• Jour 6 : score z de 2,30, pour une borne de 3,47. Une lecture quotidienne aurait déjà conclu ; le test a continué.
• Jour 12 : score z de 2,32, pour une borne de 2,45. Une lecture quotidienne aurait déjà conclu ; le test a continué.
• Jour 18 : score z de 3,09, pour une borne de 2,00. La borne est franchie : le test peut conclure.

Probant fixe les contrôles avant le premier visiteur

Dans Probant, le plan d’un test est figé au lancement : métrique de décision, effet visé, durée, nombre de contrôles et bornes. Le rapport montre l’écart et sa fourchette chaque jour, pour suivre le test, mais seul un contrôle prévu peut conclure. Entre deux contrôles, le test reste « en cours », quel que soit l’écart du jour.

• La durée et les jours de contrôle sont calculés avant le lancement, à partir du trafic de la page et de l’effet visé (voir Plan et durée).
• Les bornes viennent du moteur statistique, vérifié contre les valeurs publiées par Jennison et Turnbull.
• Les garde-fous suivent leur propre règle, avec des fourchettes conçues pour être lues en continu : un test qui dégrade le taux de retour ou la vitesse de la page peut s’arrêter à tout moment.

Pour mesurer vous-même le coût d’un coup d’œil : Simulateur A/A.

Sources

• Armitage, P., McPherson, C. K. et Rowe, B. C. (1969). « Repeated significance tests on accumulating data ». Journal of the Royal Statistical Society, série A, 132(2), 235-244.
• O’Brien, P. C. et Fleming, T. R. (1979). « A multiple testing procedure for clinical trials ». Biometrics, 35(3), 549-556.
• Jennison, C. et Turnbull, B. W. (2000). Group Sequential Methods with Applications to Clinical Trials. Chapman & Hall/CRC, chapitre 2.