Probabilité de détecter l’effet visé s’il existe vraiment. Probant planifie à 80 % : un vrai effet de la taille visée passe inaperçu dans 20 % des cas.
Le plan vise +5,5 % sur le CA par visiteur avec une puissance de 80 % : si la variante rapporte vraiment autant, le test a 80 % de chances de le voir, et 20 % de le manquer.
Si l’effet réel n’était que de +2,8 %, la puissance tomberait à 29 % : le test conclurait le plus souvent « pas d’effet détectable », ce qui ne veut pas dire « aucun effet ».
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Plus petit écart que le test a de bonnes chances de détecter s’il existe, avec une puissance de 80 % et un risque de 5 %. Plus il est petit, plus il faut de visiteurs : viser un effet deux fois plus petit demande environ quatre fois plus de visiteurs.
Nombre de visiteurs fixé par le plan avant le lancement, d’après l’effet visé et le trafic de la zone. Tant qu’il n’est pas atteint, seule une borne franchie à un point de contrôle autorise une décision.
Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.