Un programme de tests qui ne se contredit pas.

Contrôles fixés avant le lancement, gain corrigé du biais du gagnant, idées classées d’après les tests passés : la même règle s’applique d’un test à l’autre.

Créer mon espace Explorer la démo

Bilan du programme

37 tests terminés en 10 mois, 4 par mois en moyenne

38 %des tests ont tranché, dans un sens ou dans l’autre

Sur 1 000 tests A/A simulés, sans aucune différence réelle :

22 % de faux gagnants en lisant chaque jour6 % aux contrôles prévus

Boutique de démonstration Maison Lune, fictive · bibliothèque calculée par le moteur

Un programme perd sa crédibilité test après test.

Rarement par un grand échec : plutôt par des gagnants qui ne se retrouvent pas, et des tests qui se contredisent.

Le coup d’œil quotidienLire un test chaque jour et s’arrêter au premier écart net multiplie les faux gagnants.
Le biais du gagnantL’effet mesuré d’un gagnant est presque toujours trop beau : le gain annoncé ne se retrouve pas dans le trimestre.
Des tests qui se chevauchentDeux tests sur la même page voient les mêmes visiteurs, et l’un brouille la lecture de l’autre.
Un backlog trié à l’intuitionLes scores maison mélangent impact espéré et effort estimé, sans lien avec ce que les tests passés ont donné.
Un programme sans mémoireLes résultats vivent dans des présentations ; on reteste ce qui a déjà échoué.

La règle est fixée avant le test, et la même pour tous.

Chaque réponse s’appuie sur une méthode publiée, et sur la bibliothèque de vos propres tests.

Des contrôles prévusBornes d’O’Brien-Fleming fixées au lancement : la fourchette du jour se regarde, seul un contrôle prévu décide.Sur 1 000 tests A/A simulés : 22 % de faux gagnants en lisant chaque jour, 6 % aux contrôles prévus.En savoir plus Un gain corrigéL’effet mesuré est rapproché de ce que vos tests passés rapportent en moyenne, avant d’être converti en euros.« Barre de livraison gratuite » : +6,0 % mesurés, +3,7 % annoncés après correction.En savoir plus Un classement chiffréEffet attendu tiré des tests du même thème, durée calculée sur le trafic de la zone, gain par jour d’effort.En tête : « Livraison offerte dès 50 € », +2,5 % d’après 4 tests livraison.En savoir plus Une bibliothèque qui retientTests terminés sur une même échelle, regroupés en leçons par thème, avec un niveau de confiance.Leçon « livraison » : 4 tests · 3 gagnants, effet groupé +2,5 %.En savoir plus Des contrôles visiblesRépartition des visiteurs, échantillon atteint, borne franchie : listés à côté du verdict, pour qui veut vérifier.Échantillon prévu : 104 % · Répartition A / B : 50,0 / 50,0 · Test de répartition (SRM) : p = 0,81En savoir plus Des tests qui ne se mélangent pasDans une même couche, les tests occupent des tranches de trafic disjointes : un visiteur n’en voit qu’un.Une tranche qui en chevauche une autre est refusée à la création.En savoir plus

Les leçons d’hier chiffrent les idées de demain.

Dans la boutique de démonstration, les leçons des thèmes les plus testés, et les idées qui arrivent en tête du classement. L’effet attendu d’une idée vient de la leçon de son thème.

Leçons des thèmes les plus testés

Livraison

4 tests · 3 gagnants

+2,5 % effet groupé, +1,3 % à +3,6 %

Confiance élevée. Ensemble, les tests vont dans le même sens : la fourchette groupée exclut zéro.

Choix mobile

5 tests · 2 gagnants

+0,4 % effet groupé, -0,3 % à +1,2 %

Confiance moyenne. Assez de tests, mais un effet groupé encore compatible avec l’absence d’effet.

Promotions

3 tests · 1 perdant

-0,9 % effet groupé, -2,1 % à +0,3 %

Confiance moyenne. Assez de tests, mais un effet groupé encore compatible avec l’absence d’effet.

En tête du classement

Rang 1
Livraison offerte dès 50 €Panier · À tester : Effet attendu positif, mesurable en moins de 60 jours sur le trafic de la zone.
Effet attendu
+2,5 %d’après 4 tests livraison
Pour conclure
14 jen mesurant le passage au paiementau lieu de 62 j sur la commande
Gain attendu
+62 900 €par mois
Rang 2
Seuil de livraison offerte rappelé sur l’accueilAccueil · À tester : Effet attendu positif, mesurable en moins de 60 jours sur le trafic de la zone.
Effet attendu
+2,5 %d’après 4 tests livraison
Pour conclure
15 jsur le clic vers un produit
Gain attendu
+22 600 €par mois
Rang 3
Date de livraison estiméeFiche produit · À tester : Effet attendu positif, mesurable en moins de 60 jours sur le trafic de la zone.
Effet attendu
+2,5 %d’après 4 tests livraison
Pour conclure
47 jsur l’ajout au panier
Gain attendu
+57 200 €par mois

La semaine d’un programme, sans débat sur les chiffres.

Le déroulé d’une semaine type, et ce que la boutique de démonstration montre à chaque étape.

Revue
Revoir le classement des idées.
Les idées sont classées par gain attendu par jour d’effort. Celles dont le thème a fait baisser la métrique sont signalées à éviter.
Boutique de démonstrationEn tête : « Livraison offerte dès 50 € », « Seuil de livraison offerte rappelé sur l’accueil » et « Date de livraison estimée ».
Lancement
Lancer avec un plan figé.
Effet visé, visiteurs, jours de contrôle et garde-fous sont fixés au lancement, et visibles par toute l’équipe.
Boutique de démonstrationBarre de livraison gratuite : effet visé 5,5 %, 58 900 visiteurs, contrôles aux jours 6, 12 et 18.
Contrôles
Ne décider qu’aux contrôles prévus.
Entre deux contrôles, la fourchette du jour se regarde sans rien décider. Le surcoût des regards prévus est compté dans la durée.
Boutique de démonstrationSurcoût des trois contrôles : 1,7 % de visiteurs en plus.
Décision
Décider sur le gain corrigé.
Le rapport donne le verdict, le gain corrigé du biais du gagnant, en CA et en marge, et les contrôles à côté.
Boutique de démonstration+93 300 € par mois, corrigé de +6,0 % à +3,7 %.
Capitaliser
Laisser la bibliothèque apprendre.
Le test terminé rejoint sa leçon de thème, gagnant ou non. L’effet attendu des idées voisines se met à jour.
Boutique de démonstrationLeçon « livraison » : 4 tests · 3 gagnants, confiance élevée.

Questions fréquentes.

Peut-on regarder un test en cours ?

Oui, la fourchette du jour reste visible. Mais seul un contrôle prévu autorise une décision : sur 1 000 tests A/A simulés, lire le test chaque jour déclare un faux gagnant dans 22 % des cas, contre 6 % aux contrôles prévus.

Comment les idées sont-elles classées ?

Chaque idée reçoit un effet attendu tiré des tests passés du même thème (ou de toute la bibliothèque quand le thème compte trop peu de tests), une durée calculée sur le trafic de sa zone et un gain mensuel. Le classement divise ce gain par l’effort estimé.

Deux tests peuvent-ils tourner sur la même page ?

Oui, dans deux couches différentes. Dans une même couche, les tests occupent des tranches de trafic disjointes : un visiteur n’en voit qu’un, et la création d’une tranche qui en chevauche une autre est refusée.

Que devient un test sans effet détectable ?

Il entre dans la bibliothèque avec sa fourchette, comme un gagnant. Il compte dans les leçons de son thème et dans l’effet attendu des idées voisines : un test sans effet apprend aussi quelque chose.

Le gain annoncé est-il celui du test ?

Non, il est corrigé du biais du gagnant avant d’être converti en euros : l’effet mesuré est rapproché de ce que vos tests passés rapportent en moyenne, parce qu’un gagnant surestime presque toujours son effet.

Probant Ou pas encore…

Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.