Les mots des tests A/B, définis simplement.

Ce que les tests passés disent de l’ordre de grandeur des effets réels, avant de regarder un nouveau test. Probant l’estime sur les tests terminés de la boutique ; il sert à corriger le biais du gagnant.

Le biais du gagnant

Tendance du gain annoncé par un test gagnant à surestimer le gain réel. Parmi beaucoup de tests, ceux qui passent le seuil sont en partie ceux que le hasard a favorisés : leur écart mesuré est trop beau, en moyenne.

Le biais du gagnant

Seuil que le score z doit dépasser à un point de contrôle pour conclure. Très élevée au premier contrôle, elle descend vers le seuil classique au dernier, si bien que le risque total reste à 5 %. Probant sait la calculer pour 1 à 5 contrôles.

Les contrôles prévus

Chiffre d’affaires divisé par le nombre de visiteurs exposés au test, qu’ils achètent ou non : un visiteur sans commande compte pour 0 €. Il réunit le taux de conversion et le panier moyen, et dit ce qu’un changement rapporte.

Ajustement des valeurs p quand on compare plusieurs choses à la fois, pour que le risque de se tromper au moins une fois reste celui annoncé. Probant l’applique aux écarts entre segments.

Le moteur statistique

Réduction de variance : la même métrique mesurée avant le test explique une partie des écarts entre visiteurs ; la retirer resserre la fourchette sans biaiser l’effet. Probant l’applique aux rapports des tests réels, sur l’historique de chaque visiteur avant sa première exposition.

Le moteur statistique

Nombre de visiteurs fixé par le plan avant le lancement, d’après l’effet visé et le trafic de la zone. Tant qu’il n’est pas atteint, seule une borne franchie à un point de contrôle autorise une décision.

Calculateur de durée

Plus petit écart que le test a de bonnes chances de détecter s’il existe, avec une puissance de 80 % et un risque de 5 %. Plus il est petit, plus il faut de visiteurs : viser un effet deux fois plus petit demande environ quatre fois plus de visiteurs.

Calculateur de durée

Écart entre la variante et l’originale, rapporté à l’originale : B / A − 1. Un effet positif signifie que la variante fait mieux, en proportion de la valeur de départ.

Le moteur statistique

Plage des écarts réels compatibles avec les données, au niveau de 95 %. Probant affiche toujours l’écart avec sa fourchette : entièrement au-dessus de zéro, la variante gagne ; si elle contient zéro, rien n’est prouvé.

Les règles du verdict

Métrique qui ne doit pas se dégrader (taux de retour, vitesse d’affichage, erreurs), avec une limite fixée dans le plan. Un garde-fou n’arrête le test que si toute sa fourchette dépasse la limite : une fourchette qui la chevauche ne prouve pas de dégât.

Les règles du verdict · Garde-fous

Fourchette que l’on peut relire à tout moment, et sur laquelle on peut s’arrêter au premier franchissement sans gonfler le risque (Johari, Pekelis et Walsh, 2017). Elle est plus large qu’une fourchette classique. Probant s’en sert pour les garde-fous des déploiements.

Les déploiements

Ce que chaque visiteur exposé laisse une fois retirés le coût des produits, les remises et la livraison. Une variante peut augmenter le chiffre d’affaires et rogner la marge, par exemple en faisant payer davantage de livraisons offertes.

Mesurer la marge

Part du trafic qui voit la nouvelle version pendant un déploiement progressif. Probant passe au palier suivant quand la durée minimale est écoulée et qu’aucun garde-fou n’est franchi ; pour passer à tout le trafic, chaque garde-fou doit être entièrement du bon côté de sa limite.

Déploiements

Moment fixé dans le plan où Probant lit le test pour décider. Entre deux contrôles, la fourchette du jour s’affiche, mais elle ne suffit pas à conclure. Un plan en prévoit trois par défaut, également espacés.

Les contrôles prévus

Probabilité de détecter l’effet visé s’il existe vraiment. Probant planifie à 80 % : un vrai effet de la taille visée passe inaperçu dans 20 % des cas.

Calculateur de durée

Retrait automatique d’une version en cours de déploiement dès qu’un garde-fou est franchi, c’est-à-dire dès que toute sa fourchette toujours valide dépasse la limite. Tout le trafic revient à l’originale.

Déploiements

Correction qui rapproche l’écart mesuré de la moyenne des tests passés, d’autant plus que le test est petit. C’est ainsi que Probant corrige le biais du gagnant.

Le biais du gagnant

Probabilité de déclarer un gagnant alors que les deux versions se valent. Probant le tient à 5 % sur l’ensemble du test, contrôles compris. Lire un test chaque jour au seuil classique le fait grimper bien au-delà.

Le piège du coup d’œil

Écart divisé par son erreur type : combien de fois l’écart dépasse le bruit attendu. À chaque point de contrôle, Probant compare le score z à la borne d’O’Brien-Fleming.

Les contrôles prévus

Sous-ensemble des visiteurs (mobile, ordinateur, nouveaux, déjà clients) sur lequel on relit le résultat. Un écart entre segments n’est présenté comme réel qu’après un test de différence, corrigé par la méthode de Holm.

Le moteur statistique

Les visiteurs ne se répartissent pas entre les versions comme prévu (« sample ratio mismatch »), signe d’un défaut d’affectation. Probant le vérifie dans chaque test par un test du khi-deux : sous une valeur p de 0,001, le verdict est bloqué, quel que soit l’écart.

Les règles du verdict

Part des visiteurs qui passent commande, ou qui font l’action mesurée par le test.

Calculateur de durée

Test où les deux versions sont identiques. Tout gagnant déclaré y est faux : simuler des tests A/A mesure le risque réel d’une façon de lire les résultats.

Le piège du coup d’œil · Simulateur A/A

Probabilité d’observer un écart au moins aussi grand si les deux versions se valaient. Sous 5 %, l’écart est dit significatif ; chez Probant, cela revient à une fourchette à 95 % qui exclut zéro.

Le moteur statistique

Version modifiée de la page, comparée à l’originale, la version actuelle. L’originale est le bras A, la variante le bras B.