Plus petit écart que le test a de bonnes chances de détecter s’il existe, avec une puissance de 80 % et un risque de 5 %. Plus il est petit, plus il faut de visiteurs : viser un effet deux fois plus petit demande environ quatre fois plus de visiteurs.
Le CA par visiteur de l’originale vaut 24,58 €, avec un écart type de 58,28 € par visiteur : la plupart des visiteurs n’achètent rien, quelques-uns achètent beaucoup. Avec 58 900 visiteurs prévus, l’effet détectable minimal est de 5,5 %, à 80 % de puissance et 5 % de risque.
Lu une seule fois, un test qui vise 5,5 % demande 28 958 visiteurs par version. Pour viser 2,8 %, il en faudrait 115 831 : 4,0 fois plus, car l’effectif croît comme l’inverse du carré de l’effet visé.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Probabilité de détecter l’effet visé s’il existe vraiment. Probant planifie à 80 % : un vrai effet de la taille visée passe inaperçu dans 20 % des cas.
Nombre de visiteurs fixé par le plan avant le lancement, d’après l’effet visé et le trafic de la zone. Tant qu’il n’est pas atteint, seule une borne franchie à un point de contrôle autorise une décision.
Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.