Le gain annoncé par un gagnant est presque toujours trop beau.
Parmi beaucoup de tests, ceux qui gagnent sont en partie ceux que le hasard a aidés : leur écart mesuré surestime le gain réel, en moyenne. Probant le corrige avec les tests déjà terminés de la boutique avant d’annoncer un montant.
CA par visiteur · Barre de livraison gratuite
Boutique de démonstration
+93 300 €de CA attendu par mois, après correction
Le gagnant doit sa victoire en partie au hasard.
Chaque mesure mélange l’effet réel et du bruit. Parmi les tests d’une boutique, ceux qui passent le seuil sont ceux dont l’effet réel était bon, mais aussi ceux que le bruit a poussés vers le haut. Retenir les gagnants, c’est retenir ces coups de pouce : leur écart moyen est trop beau.
Chaque mesure, prise seule, est juste en moyenne. C’est la sélection des gagnants qui crée l’écart, et il est d’autant plus grand que le test est petit, donc bruité.
Les tests terminés de la boutique
Boutique de démonstration, effets relatifs sur leur métrique principale
- Tests terminés
- 37
- Effet moyen
- +0,7 %
- Dispersion des écarts mesurés
- 2,5 % (écart type)
- Part due au bruit de mesure
- 22 % de la variance
- Dispersion des vrais effets
- 2,2 % (écart type)
Le bruit de mesure explique 22 % de la variance des écarts mesurés : les vrais effets sont plus resserrés autour de leur moyenne que les écarts ne le laissent croire.
Le test de la démo, avant et après correction.
« Barre de livraison gratuite » a mesuré +6,0 % de CA par visiteur sur 61 240 visiteurs. Rapproché des 37 tests terminés de la boutique, le gain attendu est de +3,7 %.
37 tests terminésmoyenne +0,7 %, vrais effets de -3,5 % à +5,0 %
Écart mesuré +6,0 %fourchette de +2,2 % à +10,0 %
Après correction +3,7 %fourchette de +0,8 % à +6,5 %
La correction est une moyenne pondérée.
Le gain corrigé se place entre l’écart mesuré et la moyenne des tests passés. Plus le test est précis, plus il tire vers sa propre mesure. C’est un rétrécissement bayésien : l’a priori vient des tests passés, la vraisemblance du test.
Les tests passés donnent l’a priori.
Moyenne des effets mesurés : +0,7 %. Dispersion des vrais effets : 2,2 %, soit la variance des écarts mesurés moins le bruit moyen de leur mesure (méthode des moments). Il faut au moins deux tests terminés ; sans eux, rien ne permet de corriger.
Le test pèse selon sa précision.
L’erreur type du test vaut 1,95 %. Son poids est τ² / (τ² + se²), où τ est la dispersion des vrais effets et se l’erreur type : 56 % pour la mesure du test, 44 % pour la moyenne des tests passés.
Le gain corrigé est la moyenne des deux.
56 % × +6,0 % + 44 % × +0,7 % = +3,7 %. Sa fourchette va de +0,8 % à +6,5 %, plus étroite que celle de la mesure seule (de +2,2 % à +10,0 %), puisqu’elle réunit deux sources.
En euros, la correction retire environ 59 700 € par mois.
Le montant annoncé est l’écart par visiteur multiplié par les visiteurs de la zone sur un mois, arrondi à la centaine. Il est proportionnel à l’écart retenu.
par mois, environ : le chiffre qu’annoncerait un outil sans correction.
de CA attendu par mois, fourchette +21 000 € à +165 600 €.
par mois, fourchette -4 200 € à +42 600 €. Sans historique propre à la marge, elle reçoit la même correction relative que le CA.
La méthode, point par point.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris