Correction qui rapproche l’écart mesuré de la moyenne des tests passés, d’autant plus que le test est petit. C’est ainsi que Probant corrige le biais du gagnant.
Le test mesure +6,0 % sur le CA par visiteur, avec une erreur type de 1,9 %. Les 48 tests passés de la boutique valent +1,7 % en moyenne. Le rétrécissement rapproche l’estimation de cette moyenne : +4,9 %.
Le gain mensuel annoncé suit : +125 700 € par mois après correction, au lieu de +153 300 € sur l’écart brut. Plus le test est petit, plus la correction est forte.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Ce que les tests passés disent de l’ordre de grandeur des effets réels, avant de regarder un nouveau test. Probant l’estime sur les tests terminés de la boutique ; il sert à corriger le biais du gagnant.
Tendance du gain annoncé par un test gagnant à surestimer le gain réel. Parmi beaucoup de tests, ceux qui passent le seuil sont en partie ceux que le hasard a favorisés : leur écart mesuré est trop beau, en moyenne.
Écart entre la variante et l’originale, rapporté à l’originale : B / A − 1. Un effet positif signifie que la variante fait mieux, en proportion de la valeur de départ.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.