Probabilité d’observer un écart au moins aussi grand si les deux versions se valaient. Sous 5 %, l’écart est dit significatif ; chez Probant, cela revient à une fourchette à 95 % qui exclut zéro.
Le test mesure +6,0 % sur le CA par visiteur. Si les deux versions se valaient, un écart au moins aussi grand, dans un sens ou dans l’autre, aurait une probabilité de 0,002 : la valeur p.
Elle est sous 5 % : l’écart est significatif, et la fourchette à 95 % (de +2,2 % à +10,0 %) exclut zéro. Les deux disent la même chose ; la fourchette dit en plus de combien la variante fait mieux.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Plage des écarts réels compatibles avec les données, au niveau de 95 %. Probant affiche toujours l’écart avec sa fourchette : entièrement au-dessus de zéro, la variante gagne ; si elle contient zéro, rien n’est prouvé.
Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.
Écart divisé par son erreur type : combien de fois l’écart dépasse le bruit attendu. À chaque point de contrôle, Probant compare le score z à la borne d’O’Brien-Fleming.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.