La durée se connaît avant le premier visiteur.
Probant part de votre trafic pour dire quel effet le test peut voir, combien de visiteurs il lui faut, combien de jours il durera et quand il sera lu. Puis le plan ne bouge plus.
Plan · Barre de livraison gratuite
- Métrique principale
- CA par visiteur
- Effet détectable
- 5,5 %
- Visiteurs prévus
- 58 900
- Durée
- 18 jours, 3 contrôles
- Garde-fous
- Taux de retour ≤ +5,0 % · Vitesse mobile ≤ +4,0 %
Lire la transcription
Combien de temps faut-il pour savoir ? Probant part de votre trafic : la durée se connaît avant le premier visiteur, et la règle ne bouge plus ensuite.
Vous visez un effet, Probant donne la durée. Sur « Ajout au panier » (8,2 %), 8 % se détecte en 27 jours au trafic de la zone ; 5 % en demanderait 68.
Regardé chaque jour, décidé aux contrôles. « Barre de livraison gratuite » : au jour 6, z = 2,30 passait le seuil classique de 1,96, pas la borne de 3,47. Le test a continué jusqu’au jour 18.
Au lancement, le plan est scellé. Effet visé, 58 900 visiteurs, trois contrôles et garde-fous : une empreinte permet de vérifier que rien n’a bougé.
Calculez la durée de votre prochain test dans la démo, sans inscription.
Un plan calculé, puis figé.
Les visuels reprennent deux tests de la boutique de démonstration : « Barre de livraison gratuite », lancé le 23 oct., et « Date de livraison estimée », en préparation.
Vous choisissez l’effet visé ; Probant en déduit la durée.
Pour chaque métrique, Probant calcule le nombre de visiteurs et de jours qu’il faut pour détecter un effet donné, au trafic de la zone et sur les seuls visiteurs qui ont accepté la mesure. Il conseille le plus petit effet mesurable en un mois.
- Sur « Ajout au panier », 8 % se détecte en 27 jours
- Sur « CA par visiteur », aucun objectif ne tient en un mois : Probant le dit
- Le Black Friday tombe pendant le test : sa semaine est analysée à part, comme prévu
Le test se regarde chaque jour, mais ne se décide qu’aux contrôles.
Le plan fixe à l’avance des points de contrôle avec les bornes d’O’Brien-Fleming : très exigeantes au début, proches du seuil classique à la fin. Au jour 6, z valait 2,30 : pas assez face à la borne de 3,47, le test a continué. La borne a été franchie au jour 18.
- De 1 à 5 contrôles, 3 par défaut
- Surcoût des contrôles déjà compté dans la durée (+1,7 % de visiteurs ici)
- Le risque de faux gagnant reste celui du plan
| Contrôle | Borne | z observé |
|---|---|---|
| Jour 6 | 3,47 | 2,30 |
| Jour 12 | 2,45 | 2,32 |
| Jour 18 | 2,00 | 3,09 |
Au lancement, le plan est figé, garde-fous compris.
Métrique de décision, effet visé, échantillon, durée, contrôles et limites des garde-fous sont arrêtés avant le premier visiteur. Le rapport se lit contre ce plan : changer la règle en cours de route est le moyen le plus sûr de fabriquer un faux gagnant.
Un test multivarié dit d’avance s’il peut conclure.
Chaque visiteur compte pour toutes les sections : une section à L niveaux demande L fois l’effectif d’un test A/B, au risque partagé entre les comparaisons annoncées. Sur « Fiche Orbe : titre, photo et badge » (12 combinaisons), détecter 10 % sur chaque section demande 36 jours au trafic de la boutique.
- Annoncer aussi les interactions entre sections : 169 jours.
- Quand le trafic manque, le plan propose de retirer un niveau ou une section, chaque fois avec sa nouvelle durée.
- 16 combinaisons au plus : au-delà, chacune recevrait trop peu de visiteurs pour être lue.
- Calculé sur le trafic mesuré de votre espace, et scellé au lancement comme le plan d’un test A/B.
Dans le détail.
- Effets proposés
- 2 %, 5 %, 8 %, 10 %, 15 %, 20 % en relatif, du plus fin au plus grossier.
- Durée
- En jours, au trafic quotidien des pages testées (dans votre espace, celui que vous déclarez d’après votre outil d’analyse), réparti entre l’originale et les variantes. Le conseil vise 30 jours au plus.
- Part du trafic
- 100 %, 75 %, 50 %, 25 %, 10 % de la zone, hors groupe témoin.
- Contrôles
- De 1 à 5 points de contrôle, bornes d’O’Brien-Fleming tabulées (Jennison et Turnbull).
- Risque et puissance
- Risque de faux gagnant de 5 %, effet visé détecté 80 % du temps.
- Consentement
- Seuls les visiteurs qui ont accepté la mesure comptent dans les visiteurs disponibles.
- Métriques
- Taux (commande, ajout au panier…) ou moyenne par visiteur (CA par visiteur). Une moyenne demande aussi son écart type.
Questions fréquentes.
Et si mon trafic est faible ?
Le plan le dit avant le lancement : la durée s’allonge, et au-delà d’un mois le résultat vaut moins pour le reste de l’année. Probant propose alors un effet plus grand ou une métrique plus fréquente, comme l’ajout au panier plutôt que la commande.
Puis-je regarder les résultats avant la fin ?
Oui : la fourchette est affichée chaque jour. Mais seul un contrôle prévu peut conclure. Au jour 6 de « Barre de livraison gratuite », z = 2,30 dépassait le seuil classique de 1,96 ; la borne du plan était 3,47, et le test a continué.
Puis-je modifier le plan une fois le test lancé ?
Non. Métrique, effet visé, durée et contrôles sont figés au lancement : c’est ce qui rend le verdict fiable. Vous pouvez arrêter un test, pas changer sa règle de lecture.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris