Réduction de variance : la même métrique mesurée avant le test explique une partie des écarts entre visiteurs ; la retirer resserre la fourchette sans biaiser l’effet. Probant l’applique aux rapports de vos tests, sur l’historique de chaque visiteur avant sa première exposition.
Le CA par visiteur des 14 jours précédant le test est corrélé à 0,16 avec celui du test. CUPED retire cette part prévisible : 2,7 % de la variance de l’écart disparaît, et l’effet mesuré ne change pas (+6,0 %).
Sans CUPED, la fourchette va de +2,17 % à +10,02 % ; avec, de +2,22 % à +9,97 % : elle se resserre de 1,3 %. À précision égale, il aurait fallu 62 925 visiteurs sans CUPED, au lieu de 61 240. Le gain dépend de la corrélation : plus le comportement passé prédit le comportement pendant le test, plus il est grand.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Plage des écarts réels compatibles avec les données, au niveau de 95 %. Probant affiche toujours l’écart avec sa fourchette : entièrement au-dessus de zéro, la variante gagne ; si elle contient zéro, rien n’est prouvé.
Nombre de visiteurs fixé par le plan avant le lancement, d’après l’effet visé et le trafic de la zone. Tant qu’il n’est pas atteint, seule une borne franchie à un point de contrôle autorise une décision.
Plus petit écart que le test a de bonnes chances de détecter s’il existe, avec une puissance de 80 % et un risque de 5 %. Plus il est petit, plus il faut de visiteurs : viser un effet deux fois plus petit demande environ quatre fois plus de visiteurs.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.