Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.
Autre nom : risque de première espèce
Sur 10 000 tests A/A simulés de 18 jours, entre deux versions identiques, une lecture unique au seuil de 5 % déclare un faux gagnant dans 4,9 % des cas (±0,4 point) : le risque annoncé.
Lus chaque jour au même seuil, avec arrêt au premier écart « significatif », ces tests déclarent un faux gagnant dans 24,7 % des cas (±0,8 point). Les points de contrôle de Probant gardent le risque à 5 % sur l’ensemble du test.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Test où les deux versions sont identiques. Tout gagnant déclaré y est faux : simuler des tests A/A mesure le risque réel d’une façon de lire les résultats.
Moment fixé dans le plan où Probant lit le test pour décider. Entre deux contrôles, la fourchette du jour s’affiche, mais elle ne suffit pas à conclure. Un plan en prévoit trois par défaut, également espacés.
Probabilité d’observer un écart au moins aussi grand si les deux versions se valaient. Sous 5 %, l’écart est dit significatif ; chez Probant, cela revient à une fourchette à 95 % qui exclut zéro.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.