Test où les deux versions sont identiques. Tout gagnant déclaré y est faux : simuler des tests A/A mesure le risque réel d’une façon de lire les résultats.
1 000 tests A/A de 18 jours, entre deux versions identiques : tout gagnant déclaré est faux. Lus chaque jour au seuil de 5 %, 21,8 % d’entre eux en déclarent un (±2,6 points, la précision d’une simulation de cette taille).
Lus aux trois contrôles prévus par Probant, 5,6 % (±1,4 point). La simulation ne dit rien d’un test en particulier : elle mesure le risque réel d’une façon de lire les résultats.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.
Les visiteurs ne se répartissent pas entre les versions comme prévu (« sample ratio mismatch »), signe d’un défaut d’affectation. Probant le vérifie dans chaque test par un test du khi-deux : sous une valeur p de 0,001, le verdict est bloqué, quel que soit l’écart.
Moment fixé dans le plan où Probant lit le test pour décider. Entre deux contrôles, la fourchette du jour s’affiche, mais elle ne suffit pas à conclure. Un plan en prévoit trois par défaut, également espacés.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.