Ce que les tests passés disent de l’ordre de grandeur des effets réels, avant de regarder un nouveau test. Probant l’estime sur les tests terminés de la boutique ; il sert à corriger le biais du gagnant.
Probant estime l’a priori sur les 48 tests terminés de la bibliothèque : les effets réels y valent +1,7 % en moyenne, avec une dispersion de 3,4 % d’un test à l’autre.
Le test « Barre de livraison gratuite » mesure +6,0 % sur le CA par visiteur. Rapproché de cet a priori, l’effet attendu devient +4,9 % : c’est ce chiffre, et non le premier, qui sert à estimer le gain mensuel.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Correction qui rapproche l’écart mesuré de la moyenne des tests passés, d’autant plus que le test est petit. C’est ainsi que Probant corrige le biais du gagnant.
Tendance du gain annoncé par un test gagnant à surestimer le gain réel. Parmi beaucoup de tests, ceux qui passent le seuil sont en partie ceux que le hasard a favorisés : leur écart mesuré est trop beau, en moyenne.
Écart entre la variante et l’originale, rapporté à l’originale : B / A − 1. Un effet positif signifie que la variante fait mieux, en proportion de la valeur de départ.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.