Simulez des tests A/A et comptez les faux gagnants.
Dans un test A/A, les deux versions sont identiques : tout gagnant est faux. Réglez le nombre de tests, leur durée et les contrôles prévus, puis comparez une lecture quotidienne au seuil de 5 % à la lecture de Probant.
Lecture chaque jour
On regarde les 18 jours et on s’arrête dès que l’écart passe le seuil de 5 %.
Lecture de Probant
Trois contrôles fixés avant le lancement, avec des bornes d’O’Brien-Fleming.
Faux gagnants cumulés, jour après jour
Lecture chaque jour : 218 faux gagnants sur 1 000, soit 21,8 %. Lecture de Probant : 56 sur 1 000, soit 5,6 %.
Résultat de la simulation
| Lecture | Faux gagnants | Part | Marge de la simulation |
|---|---|---|---|
| Lecture chaque jour | 218 sur 1 000 | 21,8 % | ± 2,6 points |
| Lecture de Probant | 56 sur 1 000 | 5,6 % | ± 1,4 point |
Risque prévu : 5 %. La marge est l’intervalle à 95 % d’une part mesurée sur 1 000 tests : plus il y a de tests, plus la part simulée colle au vrai risque.
Ce que simule l’outil, et ce qu’il laisse de côté.
Chaque test reçoit le même nombre de visiteurs chaque jour. Son écart standardisé cumulé, le score z, avance au hasard, puisque A et B ne diffèrent pas.
Lecture chaque jour.
Le score z est lu chaque soir ; le test s’arrête au premier jour où l’écart dépasse le seuil classique de 5 %. C’est la lecture d’un tableau de bord consulté tous les jours.
Lecture de Probant.
Le score z n’est lu qu’aux contrôles prévus, placés comme dans un plan Probant, et comparé aux bornes d’O’Brien-Fleming du moteur, de 1 à 5 contrôles.
Ce qui n’est pas simulé.
Les variations de trafic d’un jour à l’autre, les effets de semaine et les visiteurs qui reviennent. La simulation isole une seule chose : le coût de la lecture répétée.
Le calcul tourne dans votre navigateur ; aucune donnée n’est envoyée. L’explication complète est sur la page Le piège du coup d’œil, et dans l’article « Regarder un test chaque jour fabrique des gagnants ».
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris