Les visiteurs ne se répartissent pas entre les versions comme prévu (« sample ratio mismatch »), signe d’un défaut d’affectation. Probant le vérifie dans chaque test par un test du khi-deux : sous une valeur p de 0,001, le verdict est bloqué, quel que soit l’écart.
Autre nom : répartition anormale
Prévu à parts égales, le test a reçu 30 650 visiteurs sur l’originale et 30 590 sur la variante. Test du khi-deux : valeur p 0,808, loin du seuil de 0,001. La répartition est normale.
Sur le même total, un écart de 815 visiteurs entre les deux versions, soit 1,3 % du trafic, suffirait à déclencher l’alerte : le verdict serait bloqué, quel que soit l’écart de chiffre d’affaires.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Test où les deux versions sont identiques. Tout gagnant déclaré y est faux : simuler des tests A/A mesure le risque réel d’une façon de lire les résultats.
Version modifiée de la page, comparée à l’originale, la version actuelle. L’originale est le bras A, la variante le bras B.
Probabilité d’observer un écart au moins aussi grand si les deux versions se valaient. Sous 5 %, l’écart est dit significatif ; chez Probant, cela revient à une fourchette à 95 % qui exclut zéro.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.