Probant existe pour que chaque test dise la vérité.
Un test A/B répond à une question simple : la variante rapporte-t-elle plus ? Probant donne la réponse en une phrase, avec sa fourchette et son montant en euros de marge, et dit clairement quand il ne sait pas encore.
Quatre règles que le produit applique à chaque test.
Elles décident de ce que vous lisez dans chaque rapport, du plan jusqu’au déploiement.
Un verdict en une phrase.
Le rapport commence par la conclusion, en français, avec la fourchette de l’effet. Les contrôles sont listés à côté, pour qui veut vérifier. Personne n’a besoin d’être statisticien pour décider.
La marge, en euros.
Une variante peut augmenter le chiffre d’affaires et rogner la marge, par exemple en offrant la livraison. Probant chiffre le gain en euros de marge par mois, après produits, remises et livraison.
Pas de coup d’œil.
Les contrôles sont fixés avant le lancement. Sur 1 000 tests A/A simulés, entre deux versions identiques, une lecture quotidienne déclare un écart dans 22 % des cas ; les contrôles prévus, dans 6 %.
Le piège du coup d’œilL’incertitude, toujours affichée.
Chaque effet vient avec sa fourchette, et le gain annoncé est corrigé du biais du gagnant. « Pas d’effet détectable » ne veut pas dire « aucun effet » : le rapport dit ce qu’il faudrait pour trancher.
Le biais du gagnant
Un moteur vérifié contre des valeurs de référence.
Chaque formule du moteur vient avec sa source publiée et un test qui la compare à des valeurs de référence. Les chiffres de la démonstration et de ce site sont calculés par ce moteur à partir de données brutes. Aucun n’est écrit à la main.
Le moteur statistique : les méthodes, leurs sources et leurs vérifications.
Ce que calcule le moteur
- Effets relatifs B / A sur une proportion ou une moyenne : test de la différence, fourchette de Fieller
- Puissance : taille d’échantillon, effet minimal détectable, durée en jours
- Contrôle de la répartition des visiteurs (SRM)
- Réduction de variance CUPED
- Intervalles toujours valides (mSPRT) et bornes d’O’Brien-Fleming
- Comparaisons multiples : Holm, Bonferroni
- Correction du biais du gagnant par rétrécissement bayésien
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris