Ajustement des valeurs p quand on compare plusieurs choses à la fois, pour que le risque de se tromper au moins une fois reste celui annoncé. Probant l’applique aux écarts entre segments.
Le test se relit par appareil (mobile +9,5 %, ordinateur +2,7 %) et par ancienneté (nouveaux +7,4 %, déjà venus +4,4 %). Les écarts entre segments ont des valeurs p de 0,081 et 0,454.
Corrigées par la méthode de Holm pour ces deux comparaisons, elles deviennent 0,162 et 0,454. Aucune ne passe sous 5 % : le rapport ne présente pas l’écart entre segments comme réel.
Chiffres calculés par le moteur de Probant sur la boutique de démonstration, Maison Lune, fictive : ouvrir la démo.
Sous-ensemble des visiteurs (mobile, ordinateur, nouveaux, déjà clients) sur lequel on relit le résultat. Un écart entre segments n’est présenté comme réel qu’après un test de différence, corrigé par la méthode de Holm.
Probabilité d’observer un écart au moins aussi grand si les deux versions se valaient. Sous 5 %, l’écart est dit significatif ; chez Probant, cela revient à une fourchette à 95 % qui exclut zéro.
Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.