Sous-ensemble des visiteurs (mobile, ordinateur, nouveaux, déjà clients) sur lequel on relit le résultat. Un écart entre segments n’est présenté comme réel qu’après un test de différence, corrigé par la méthode de Holm.
Relu par segment, le CA par visiteur donne : mobile +9,5 % (de +4,4 % à +15,0 %) ; ordinateur +2,7 % (de -3,1 % à +8,7 %) ; nouveaux +7,4 % (de +2,6 % à +12,5 %) ; déjà venus +4,4 % (de -1,8 % à +11,1 %).
Les écarts paraissent nets, mais après le test de différence et la correction de Holm, aucun n’est établi : chaque segment a moins de visiteurs que le test entier, et sa fourchette est plus large. Le rapport s’en tient à l’effet global.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Ajustement des valeurs p quand on compare plusieurs choses à la fois, pour que le risque de se tromper au moins une fois reste celui annoncé. Probant l’applique aux écarts entre segments.
Les visiteurs ne se répartissent pas entre les versions comme prévu (« sample ratio mismatch »), signe d’un défaut d’affectation. Probant le vérifie dans chaque test par un test du khi-deux : sous une valeur p de 0,001, le verdict est bloqué, quel que soit l’écart.
Écart entre la variante et l’originale, rapporté à l’originale : B / A − 1. Un effet positif signifie que la variante fait mieux, en proportion de la valeur de départ.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.