Aller au contenu
Hébergé et stocké en Europe. Vos données ne partent jamais aux États-Unis.Hébergé et stocké en EuropeEn savoir plus

Simulez des tests A/A et comptez les faux gagnants.

Dans un test A/A, les deux versions sont identiques : tout gagnant est faux. Réglez le nombre de tests, leur durée et les contrôles prévus, puis comparez une lecture quotidienne au seuil de 5 % à la lecture de Probant.

Contrôles prévus par Probant

Contrôles aux jours 6, 12 et 18.

Une même graine redonne exactement les mêmes tests.

Lecture chaque jour

On regarde les 18 jours et on s’arrête dès que l’écart passe le seuil de 5 %.

21,8 %218 faux gagnants sur 1 000

Lecture de Probant

Trois contrôles fixés avant le lancement, avec des bornes d’O’Brien-Fleming.

5,6 %56 faux gagnants sur 1 000

Faux gagnants cumulés, jour après jour

Lecture chaque jour : 218 faux gagnants sur 1 000, soit 21,8 %. Lecture de Probant : 56 sur 1 000, soit 5,6 %.

Résultat de la simulation

Faux gagnants selon la façon de lire les tests
LectureFaux gagnantsPartMarge de la simulation
Lecture chaque jour218 sur 1 00021,8 %± 2,6 points
Lecture de Probant56 sur 1 0005,6 %± 1,4 point

Risque prévu : 5 %. La marge est l’intervalle à 95 % d’une part mesurée sur 1 000 tests : plus il y a de tests, plus la part simulée colle au vrai risque.

Ce que simule l’outil, et ce qu’il laisse de côté.

Chaque test reçoit le même nombre de visiteurs chaque jour. Son écart standardisé cumulé, le score z, avance au hasard, puisque A et B ne diffèrent pas.

  1. Lecture chaque jour.

    Le score z est lu chaque soir ; le test s’arrête au premier jour où l’écart dépasse le seuil classique de 5 %. C’est la lecture d’un tableau de bord consulté tous les jours.

  2. Lecture de Probant.

    Le score z n’est lu qu’aux contrôles prévus, placés comme dans un plan Probant, et comparé aux bornes d’O’Brien-Fleming du moteur, de 1 à 5 contrôles.

  3. Ce qui n’est pas simulé.

    Les variations de trafic d’un jour à l’autre, les effets de semaine et les visiteurs qui reviennent. La simulation isole une seule chose : le coût de la lecture répétée.

Le calcul tourne dans votre navigateur ; aucune donnée n’est envoyée. L’explication complète est sur la page Le piège du coup d’œil, et dans l’article « Regarder un test chaque jour fabrique des gagnants ».

Probant Ou pas encore…

Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.

  • Démo ouverte, sans inscription
  • Forfait fixe, jamais de dépassement
  • Données hébergées à Paris