Le biais du gagnant : pourquoi le gain annoncé ne se réalise pas

Ne retenir que les gagnants, c’est retenir les tests chanceux

Tout écart mesuré dans un test additionne deux choses : l’effet réel de la variante, et le bruit, c’est-à-dire le hasard qui a réparti les visiteurs entre A et B. Ce bruit pousse aussi souvent dans un sens que dans l’autre. Sur un test pris au hasard, il s’annule en moyenne : l’estimation est sans biais.

Le problème vient du tri. On ne met en ligne que les tests qui ont gagné, c’est-à-dire ceux dont l’écart mesuré est grand. Or un écart est plus souvent grand quand le bruit a poussé dans le bon sens. Parmi les gagnants, le bruit n’est donc plus neutre : il gonfle l’effet annoncé. C’est le biais du gagnant, que l’on appelle aussi « malédiction du gagnant » (winner’s curse en anglais).

La conséquence est concrète. Le gain annoncé dans le rapport ne se retrouve pas dans le chiffre d’affaires des mois suivants. L’équipe doute de l’outil ou de la méthode ; le problème venait de l’annonce, trop belle dès le départ. L’écart est d’autant plus grand que les tests manquent de visiteurs, car le bruit y pèse davantage.

Les gagnants annoncent en moyenne +5,3 % pour un effet réel de +3,3 %

Pour mesurer cet écart, nous avons simulé 10 000 tests dont les vrais effets ressemblent à ceux de la boutique de démonstration : un effet moyen de +0,7 %, avec une dispersion de 2,2 % autour de cette moyenne, estimés sur ses 37 tests terminés. Chaque test est mesuré avec la même précision que le test « Barre de livraison gratuite », soit une erreur type de 1,9 %. Un test est déclaré gagnant quand son écart est positif et significatif au seuil de 5 %.

Tests déclarés gagnants

1 534 sur 10 00015,3 %

Effet annoncé par ces gagnants, en moyenne

+5,3 %

Effet réel des mêmes tests, en moyenne

+3,3 %

Surestimation

+62,2 %

Aucun de ces tests n’a été mal mesuré. Pris un par un, chacun donne une estimation sans biais. C’est le fait de ne garder que les gagnants qui crée l’écart : en moyenne, ils annoncent 62,2 % de plus que ce qu’ils produisent réellement.

La correction s’appuie sur les tests déjà terminés

L’idée est simple : un résultat isolé et bruité se lit à la lumière de ce que les tests produisent d’habitude. Si les tests passés dépassent rarement quelques pour cent, un grand écart mesuré avec une large fourchette est probablement gonflé en partie par le bruit.

Le moteur statistique de Probant procède en deux étapes.

1. Estimer la distribution des vrais effets à partir des tests terminés. Sur les 37 tests de la boutique de démonstration, l’effet moyen est de +0,7 %. La dispersion des effets mesurés mélange celle des vrais effets et le bruit de chaque test. On retire la part du bruit, la moyenne des carrés des erreurs types, pour ne garder que celle des vrais effets : 2,2 %. C’est la méthode des moments.
2. Combiner cette distribution et le résultat du test, chacun pondéré par sa précision, c’est-à-dire l’inverse de sa variance. Plus le test est précis par rapport à la dispersion habituelle, moins l’estimation bouge. Pour le test « Barre de livraison gratuite », la correction parcourt 44 % du chemin entre l’écart mesuré et l’effet moyen des tests passés.

C’est le calcul bayésien le plus classique, une loi normale combinée à une loi normale, que l’on appelle aussi rétrécissement. Il n’utilise du test en cours que son estimation et son erreur type, et de l’historique que les effets et les erreurs types des tests terminés. Les autres méthodes du moteur et leurs vérifications sont décrites sur la page « Le moteur statistique ».

Sur la barre de livraison, l’estimation passe de +6,0 % à +3,7 %

Le test mesure un écart de CA par visiteur de +6,0 %, avec une fourchette à 95 % de +2,2 % à +10,0 %. Après correction, l’estimation est de +3,7 %, dans une fourchette de +0,8 % à +6,5 %. La fourchette corrigée est aussi plus étroite : elle bénéficie de l’information apportée par les tests passés.

Le verdict ne change pas : même corrigée, la fourchette reste au-dessus de zéro. Seul le gain annoncé baisse. Converti sur un mois de trafic du panier, le gain attendu après correction est de +93 300 € de chiffre d’affaires, dans une fourchette de +21 000 € à +165 600 €. Le montant étant proportionnel à l’écart, l’estimation brute aurait annoncé un gain 1,6 fois plus élevé.

La correction a des limites connues

• Elle demande un historique. Il faut au moins deux tests terminés pour estimer une dispersion, et l’estimation s’affine avec chaque test terminé.
• Elle suppose que les tests passés ressemblent au test en cours. Un changement de prix ou de frais de port n’a pas la même ampleur qu’un changement de libellé ; mélanger les deux élargit la dispersion et affaiblit la correction.
• Elle garde toujours une place aux données. Quand toute la dispersion des tests passés s’explique par le bruit, celle des vrais effets est ramenée à un petit plancher plutôt qu’à zéro : sans cela, les tests suivants seraient entièrement ignorés.
• Elle ne remplace pas un plan. Un test arrêté au premier écart significatif reste un test arrêté trop tôt (voir « Regarder un test chaque jour fabrique des gagnants »).

Probant montre l’écart mesuré et chiffre l’écart corrigé

Dans le rapport de la boutique de démonstration, l’écart mesuré et sa fourchette restent visibles, puis l’estimation corrigée sert seule au calcul des montants. La ligne « Biais du gagnant » des contrôles de fiabilité indique « corrigé, +3,7 % ».

Les montants mensuels partent de l’estimation corrigée et sont arrondis à la centaine d’euros : afficher un gain estimé à l’euro près suggérerait une précision qu’il n’a pas. Dans votre espace, la même bibliothèque de tests terminés sert à estimer l’effet attendu de vos idées avant de les tester.

Sources

• Thaler, R. H. (1988). « Anomalies: The Winner’s Curse ». Journal of Economic Perspectives, 2(1), 191-202.
• Efron, B. et Morris, C. (1975). « Data Analysis Using Stein’s Estimator and Its Generalizations ». Journal of the American Statistical Association, 70(350), 311-319.
• Gelman, A. et Carlin, J. (2014). « Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors ». Perspectives on Psychological Science, 9(6), 641-651.