Un verdict en une phrase, chiffré en euros.

Le rapport commence par la conclusion, avec sa fourchette. Le gain est corrigé du biais du gagnant avant d’être converti en euros de CA et de marge, et les contrôles sont listés à côté pour qui veut vérifier.

Créer mon espace Explorer la démo

Barre de livraison gratuite

Probant.

Résultat. Afficher la progression vers la livraison offerte augmente le CA par visiteur de +6,0 % et la marge de +3,0 %.

Pourquoi. Davantage de commandes atteignent le seuil : les clients ajoutent un article plutôt que de payer la livraison.

Ensuite. Gain attendu +93 300 € par mois après correction. Tester le seuil à 50 €, mesuré sur la marge.

CA attendu / mois+93 300 €fourchette +21 000 € à +165 600 €

Borne franchie au contrôlejour 18 · z 3,1

0:40 · sans son, en boucle

Lire la transcription

Peut-on se fier à ce résultat ? Le verdict en tête du rapport, et à côté tout ce qui permet de le vérifier.

Le rapport commence par la conclusion. « Barre de livraison gratuite » : une phrase, la signature du test, puis chaque métrique avec sa fourchette à 95 %.

Les contrôles sont à côté du verdict. 9 vérifications, chacune avec sa valeur : échantillon, répartition, garde-fous, commandes rapprochées. Le rapport dit aussi ce qu’il ne sait pas encore.

L’écart entre segments reste à prouver. Mobile +9,5 %, Ordinateur +2,7 % : corrigée par Holm pour 2 comparaisons, la fourchette de l’écart contient zéro. La variante se déploie pour tout le monde.

Chaque fin de test a son écran. 6 situations, de la victoire nette à l’arrêt par un garde-fou, chacune avec son titre et la couleur de son point.

Le rapport de « Barre de livraison gratuite » est dans la démo, sans inscription.

Le rapport complet, tel qu’il s’affiche.

Rapport du test « Barre de livraison gratuite » sur la boutique de démonstration. Écarts, fourchettes à 95 %, montants et contrôles sont calculés par le moteur à partir des données brutes du test.

Barre de livraison gratuite

Panier · tous appareils · lancée le 23 oct. par Camille · jour 18

Probant.

Résultat. Afficher la progression vers la livraison offerte augmente le CA par visiteur de +6,0 % et la marge de +3,0 %.

Pourquoi. Davantage de commandes atteignent le seuil : les clients ajoutent un article plutôt que de payer la livraison.

Ensuite. Gain attendu +93 300 € par mois après correction. Tester le seuil à 50 €, mesuré sur la marge.

Métriques

Métrique	Originale	Variante	Écart	Fourchette à 95 %
CA par visiteurprincipaleOriginale 24,58 € · Variante 26,06 €	24,58 €	26,06 €	+6,0 %	+2,2 % à +10,0 %
Marge par visiteuraprès produits, remises et livraisonOriginale 10,03 € · Variante 10,33 €	10,03 €	10,33 €	+3,0 %	-0,7 % à +6,7 %
Taux de conversionOriginale 20,0 % · Variante 20,8 %	20,0 %	20,8 %	+3,9 %	+0,7 % à +7,2 %
Panier moyenOriginale 122,90 € · Variante 125,40 €	122,90 €	125,40 €	+2,0 %	0,0 % à +4,1 %
Commandes en livraison offerteexplique l’écart entre CA et margeOriginale 41,0 % · Variante 57,0 %	41,0 %	57,0 %	+16 points	Effet attendu de la variante

Garde-fous

Garde-fou	Originale	Variante	Écart	Fourchette à 95 %
Taux de retourprovisoire, valeur à 30 jours le 9 déc.Originale 8,2 % · Variante 8,1 %	8,2 %	8,1 %	-1,3 %	À surveiller, limite +5,0 %
Vitesse mobile (LCP)Originale 2,41 s · Variante 2,42 s	2,41 s	2,42 s	+0,4 %	Dans la limite, limite +4,0 %
Erreurs JavaScriptOriginale 0,12 % · Variante 0,12 %	0,12 %	0,12 %	0,0 point	Dans la limite

Ce que le rapport fait pour vous.

Trois lectures que Probant fait avant d’afficher un chiffre.

Le gain annoncé est corrigé avant d’être promis.

Le gagnant d’un test surestime presque toujours son effet : on le retient justement parce que le hasard l’a avantagé. Probant rapproche l’écart mesuré de ce que vos 37 tests passés rendent plausible. Ici, +6,0 % mesuré devient +3,7 % annoncé, et c’est ce chiffre qui est converti en euros.

CA attendu : +93 300 € par mois, fourchette +21 000 € à +165 600 €
Marge attendue : +18 800 € par mois
Coût de la livraison offerte : -23 700 € par mois, déjà déduit de la marge

Biais du gagnanta priori tiré de 37 tests terminés

Effets des tests passés : +0,7 % en moyenne Mesuré : +6,0 % Annoncé : +3,7 %

Montants, après correction

CA attendu / mois+93 300 €+21 000 € à +165 600 €

Marge attendue / mois+18 800 €-4 200 € à +42 600 €

Livraison offerte-23 700 €par mois, déjà déduit de la marge

Les contrôles sont listés à côté du verdict.

Échantillon atteint, répartition des visiteurs, visiteurs vus dans les deux versions, garde-fous, contrôle décisif, commandes rapprochées : 9 vérifications, chacune avec sa valeur. Ce que le test ne permet pas encore de dire est écrit aussi.

Contrôlesà côté du verdict

Échantillon prévu104 %

Répartition A / B50,0 / 50,0

Test de répartition (SRM)p = 0,81

Vus dans les deux versions0,3 %

Garde-fous dégradésaucun

Borne franchie au contrôlejour 18 · z 3,1

Commandes rapprochées98,6 %

Coûts connus (marge)96,7 %

Biais du gagnantcorrigé, +3,7 %

Ce qu’on ne sait pas encore

L’effet sur les retours : taux à 30 jours connu le 9 déc.
Les paniers de plus de 150 € : trop peu de commandes.

Les segments ne fabriquent pas de faux motifs.

Découper un résultat par appareil ou par ancienneté finit toujours par montrer un segment « meilleur ». Probant teste l’écart entre segments et corrige les comparaisons multiples par la méthode de Holm avant de dire s’il est réel. Ici, il ne l’est pas : la variante se déploie pour tout le monde.

Segments · CA par visiteurfourchettes à 95 %

Mobile+9,5 %+4,4 % à +15,0 %

Ordinateur+2,7 %-3,1 % à +8,7 %

Nouveaux+7,4 %+2,6 % à +12,5 %

Déjà clients+4,4 %-1,8 % à +11,1 %

Écart entre segmentsPas démontréAppareil et ancienneté comparés, correction de Holm.

Un test multivarié se lit section par section.

Sur « Fiche Orbe : titre, photo et badge » (Titre, Photo, Badge : 12 combinaisons), chaque section est comparée à son originale sur tout le trafic, les interactions entre sections sont mesurées, et les 4 comparaisons annoncées au plan sont corrigées par la méthode de Holm. Chaque combinaison reste lisible comme une variante.

Titre « Bénéfice » : +3,0 % face à l’originale (-2,4 % à +8,7 %), non concluant après correction
Titre « Court » : -4,1 % face à l’originale (-9,2 % à +1,3 %), non concluant après correction
Photo « En situation » : +11 % face à l’originale (+6,0 % à +16 %), concluant après correction
Badge « Fabriqué en France » : +6,6 % face à l’originale (+2,0 % à +11 %), concluant après correction
Recommandation : Combinaison D · En situation + Fabriqué en France
Les interactions n’étaient pas annoncées au plan : affichées à titre indicatif, elles ne décident de rien. La recommandation suit les effets principaux, section par section.

Chaque fin de test a son écran.

Gagnant, perdant, pas d’effet détectable, encore trop tôt, répartition anormale, arrêt par un garde-fou : 6 situations, 6 lectures différentes. Les exemples viennent de la boutique de démonstration.

Probant.
La variante gagne, avec sa fourchette.
Barre de livraison gratuitePanier · CA par visiteur
Afficher la progression vers la livraison offerte augmente le CA par visiteur de +6,0 % et la marge de +3,0 %.
Écart mesuré
+6,0 %
Gain corrigé
+93 300 € / mois
Probant.
La variante perd : la fourchette est entièrement sous zéro.
Prix barrés en rougeFiche produit · CA par visiteur
Plus de clics, mais des paniers plus petits. Écart -3,4 %, fourchette -6,0 % à -0,7 %.
Écart mesuré
-3,4 %
Terminé le
28 août
Test terminé de la bibliothèque
Pas d’effet détectable.
B ne change rien de mesurable au CA par visiteur.
Avis clients en haut de pageFiche produit · CA par visiteur
Après 21 jours et 64 100 visiteurs, l’écart est de -0,4 %, fourchette -4,0 % à +3,3 %. Pour la ramener à ±2 %, il faudrait 50 jours de plus.
Écart mesuré
-0,4 %
Pour ±2 %
71 jours au total
Pas encore probant…
Trop tôt pour conclure. Prochain contrôle dans 4 jours.
Menu mobile simplifiéNavigation · CA par visiteur
Écart estimé +1,9 %, fourchette -3,7 % à +7,8 %. Au contrôle du jour 9, z = 0,6, loin de la borne de 2,45.
Avancement
jour 9 sur 13
Prochain contrôle
jour 13, borne 2,00
Répartition anormale.
Résultats masqués : B reçoit moins de visiteurs que prévu.
Checkout en une pageTunnel · Conversion
B a reçu 9 346 visiteurs contre 10 454 pour A, soit 47,2 % au lieu de 50 % (χ² = 62,0). L’écart vient de Safari iOS, où il manque 1 108 visiteurs dans B.
Part de B
47,2 %
Visiteurs manquants
1 108
Arrêté par un garde-fou.
B fait grimper le taux de retour de 7,8 % à 14,5 % des commandes.
Recommandations « Vous aimerez aussi »Fiche produit · CA par visiteur
Hausse relative de +85 %, fourchette toujours valide +27 % à +143 %, au-delà de la tolérance de +25 % fixée dans le plan. Retour à l’originale le 10 nov. à 05:12.
Taux de retour
7,8 % → 14,5 %
Tolérance du plan
+25 %

Dans le détail.

Résumé: Résultat, Pourquoi, Ensuite : trois phrases, en français, sans jargon.
Fourchettes: À 95 % sur chaque métrique et chaque garde-fou, sur l’écart relatif entre la variante et l’originale.
Montants: CA et marge par mois, arrondis à la centaine d’euros : un gain estimé à l’euro près suggérerait une précision qu’il n’a pas.
Biais du gagnant: Rétrécissement bayésien vers l’effet moyen de vos tests terminés, appliqué avant toute conversion en euros.
Contrôles: Échantillon prévu, Répartition A / B, Test de répartition (SRM), Vus dans les deux versions, Garde-fous dégradés, Borne franchie au contrôle, Commandes rapprochées, Coûts connus (marge), Biais du gagnant.
Segments: Mobile, Ordinateur, Nouveaux, Déjà clients, avec test d’hétérogénéité corrigé par Holm.
Verdicts: Gagnant, perdant, pas d’effet notable, pas encore tranché, ou bloqué par une répartition anormale ou un garde-fou.

Questions fréquentes.

Pourquoi le gain annoncé est-il plus petit que l’écart mesuré ?

Parce qu’un gagnant est retenu en partie grâce au hasard. Corriger avant d’annoncer évite de promettre un chiffre qui ne se réalisera pas : +6,0 % mesuré, +3,7 % annoncé sur la boutique de démonstration.

Que veut dire « Pas d’effet détectable » ?

Que la fourchette contient zéro à la fin du test. Ce n’est pas « aucun effet » : un effet trop petit pour ce trafic reste possible. Le rapport dit combien de jours de plus il faudrait pour trancher, et ce que cela coûterait.

Pourquoi certains résultats sont-ils masqués ?

Quand la répartition des visiteurs entre A et B est anormale, les deux groupes ne se ressemblent plus : tout écart mélangerait l’effet de la variante et celui d’une panne. Les résultats restent masqués jusqu’au diagnostic.

Pour aller plus loin.

Le biais du gagnantPourquoi le gain annoncé est presque toujours trop beau.En savoir plus Mesurer la marge, pas seulement le chiffre d’affairesLe chiffre d’affaires et la marge ne bougent pas toujours ensemble. L’exemple de la livraison offerte.En savoir plus Garde-fousUn test qui abîme quelque chose s’arrête seul.En savoir plus

Probant Ou pas encore…

Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.