Une fourchette par jour
Chaque barre est l’écart du jour et sa fourchette à 95 %. Elle se resserre à mesure que les visiteurs arrivent. Faites défiler pour avancer dans le test.
Probant décide à des moments fixés avant le lancement.
Le plan fixe la métrique, l’effet visé, la durée et trois contrôles avant le premier visiteur. À chaque contrôle, une borne dit s’il est permis de conclure ; le verdict suit des règles appliquées toujours dans le même ordre.
Plan · Barre de livraison gratuite
- Métrique principale
- CA par visiteur
- Effet détectable
- 5,5 %
- Visiteurs prévus
- 58 900
- Durée
- 18 jours, 3 contrôles
- Garde-fous
- Taux de retour ≤ +5,0 % · Vitesse mobile ≤ +4,0 %
Le plan est figé au lancement.
Changer de métrique ou de durée après avoir vu les premiers chiffres, c’est choisir la question d’après la réponse. Probant fixe tout avant le premier visiteur, et le rapport juge le test sur ce plan-là.
- Une métrique principale
- Celle qui dit ce que le changement rapporte. Les autres sont lues à côté, sans pouvoir la remplacer après coup.
- L’effet visé
- Le plus petit écart que le test doit pouvoir voir. Il fixe le nombre de visiteurs nécessaires.
- La durée
- Calculée à partir de l’effet visé et du trafic de la zone testée, surcoût des contrôles compris : c’est le calcul du calculateur de durée.
- Les contrôles
- Leurs jours et leurs bornes sont connus avant le lancement. Un écart prometteur ne permet pas d’en ajouter un.
- Le risque et la puissance
- 5 % de risque de déclarer un faux gagnant, 80 % de chances de voir l’effet visé s’il existe.
- Les garde-fous
- Chacun avec sa limite. Un test qui en franchit un est bloqué, quel que soit le gain sur la métrique principale.
Trois contrôles, des bornes strictes au début.
À chaque contrôle, Probant calcule le score z de la métrique principale, l’écart divisé par son erreur type, et le compare à une borne d’O’Brien-Fleming. Tant que la borne n’est pas franchie, le test continue.
1,96
z 2,30
z 2,32
z 3,09
- Jour 6, contrôle 1z = 2,30, au-dessus du seuil classique mais sous la borne de 3,47 : le test continue.
- Jour 12, contrôle 2z = 2,32, au-dessus du seuil classique mais sous la borne de 2,45 : le test continue.
- Jour 18, contrôle 3z = 3,09, au-delà de la borne de 2,00 : le test peut conclure.
Au jour 6, l’écart dépassait déjà le seuil classique de 1,96. Un outil qui lit chaque jour aurait annoncé un gagnant ; Probant a attendu le jour 18. Pourquoi lire chaque jour fabrique des gagnants.
La borne du contrôle k sur K vaut C·√(K/k) : très haute au premier regard, proche du seuil classique au dernier. Le risque total reste à 5 %, pour +1,7 % de visiteurs seulement.
Les bornes selon le nombre de contrôles, pour un risque de 5 % et une puissance de 80 %
| Contrôles | Borne à chaque contrôle | Visiteurs en plus |
|---|---|---|
| 1 | 1,96 | aucun |
| 2 | 2,80 · 1,98 | +0,8 % |
| 3 par défaut | 3,47 · 2,45 · 2,00 | +1,7 % |
| 4 | 4,05 · 2,86 · 2,34 · 2,02 | +2,4 % |
| 5 | 4,56 · 3,23 · 2,63 · 2,28 · 2,04 | +2,8 % |
Sources : O’Brien et Fleming, « A multiple testing procedure for clinical trials », Biometrics, 1979 ; constantes et facteurs de surcoût tabulés par Jennison et Turnbull, « Group Sequential Methods with Applications to Clinical Trials », 2000, chapitre 2.
Le test de la démonstration, jour par jour.
18 jours, 3 contrôles prévus. Barre de livraison gratuite, boutique de démonstration.
Jour 6
La fourchette du jour passe au-dessus de zéro. Un outil qui lit chaque jour annoncerait déjà un gagnant.
Contrôle 1 : z = 2,30, sous la borne de 3,47. Probant attend le contrôle suivant.
Jour 12
La fourchette du jour reste au-dessus de zéro. La borne se rapproche du seuil classique, sans être franchie.
Contrôle 2 : z = 2,32, sous la borne de 2,45. Probant attend le contrôle suivant.
Jour 18
Probant.
Afficher la progression vers la livraison offerte augmente le CA par visiteur de +6,0 % et la marge de +3,0 %.
Contrôle 3 : z = 3,09, au-dessus de la borne de 2,00.
Le verdict suit six règles, dans cet ordre.
Le moteur applique les mêmes règles à chaque test. Les deux premières bloquent le résultat : elles le rendent douteux ou interdisent la mise en production. Les suivantes ne regardent que la fourchette de la métrique principale.
- 1
La répartition des visiteurs
Un test du khi-deux compare les visiteurs reçus par chaque version à la répartition prévue. Sous une valeur p de 0,001, le résultat est bloqué : l’affectation est suspecte, quel que soit l’écart affiché.
Voir le cas dans la démoRépartition anormale. - 2
Les garde-fous
Chaque garde-fou a une limite fixée dans le plan. Il bloque le test si toute sa fourchette dépasse la limite ; une fourchette qui la chevauche ne prouve pas de dégât. Toutes les causes de blocage sont listées ensemble, pour être corrigées en une fois.
Voir le cas dans la démoArrêté par un garde-fou. - 3
Un gagnant
La fourchette de la métrique principale est entièrement au-dessus de zéro, une fois l’échantillon prévu atteint. Avant, seule une fourchette toujours valide peut conclure.
Voir le cas dans la démoProbant. - 4
Un perdant
La fourchette est entièrement sous zéro : la variante fait moins bien que l’originale.
Probant. - 5
Pas d’effet notable
L’échantillon prévu est atteint et toute la fourchette tient entre −1 % et +1 % : s’il existe un effet, il est négligeable.
Voir le cas dans la démoPas d’effet détectable. - 6
Pas encore tranché
Dans tous les autres cas. Avant l’échantillon prévu, le test continue jusqu’au contrôle suivant. Après, la fourchette contient zéro mais dépasse la marge : le rapport dit combien de jours il faudrait pour trancher.
Voir le cas dans la démoPas encore probant…
Avant l’échantillon prévu, un gagnant ou un perdant n’est retenu que si la décision est séquentielle : c’est le rôle des bornes des contrôles. Sinon, le moteur rappelle que l’échantillon n’est pas atteint.
Le test de la démo : « Effet positif : l’intervalle va de +2,2 % à +10,0 %, entièrement au-dessus de 0. »
Pendant un déploiement, les garde-fous se relisent en continu.
Une fois le gagnant choisi, la nouvelle version passe par paliers à une part croissante du trafic. Là, il faut pouvoir s’arrêter à tout moment : Probant lit les garde-fous avec des fourchettes toujours valides, qui restent justes même relues à chaque contrôle.
Une fourchette plus large, qu’on peut relire sans fausser le risque.
Une fourchette classique n’est juste qu’une fois, à la date prévue. La fourchette toujours valide (mSPRT, Johari, Pekelis et Walsh, 2017) peut être relue aussi souvent qu’on veut, et l’on peut s’arrêter au premier franchissement sans gonfler le risque. Le prix : elle est plus large.
Pour décider d’un test, trois contrôles prévus coûtent moins cher (+1,7 % de visiteurs). Pour surveiller un déploiement, où l’on veut pouvoir arrêter à tout moment, la fourchette toujours valide est le bon outil.
Taux de retour · Recommandations « Vous aimerez aussi »
Palier 50 %, boutique de démonstration. Écart mesuré : +85,1 %.
Fourchette classique+50,2 % à +119,9 %
Fourchette toujours valide+27,0 % à +143,2 %
Toute la fourchette toujours valide dépasse la limite : retour arrière automatique, tout le trafic revient à l’originale.
La méthode, point par point.
Le piège du coup d’œilPourquoi lire un test chaque jour fabrique des gagnants.Lire la page Le biais du gagnantPourquoi le gain annoncé est presque toujours trop beau.Lire la page Le moteur statistiqueLes méthodes, leurs sources et leurs vérifications.Lire la page GlossaireFourchette, SRM, garde-fou, effet détectable…Lire la page Vérifier un rapportRecalculer l’empreinte d’un plan scellé, sans nous croire sur parole.Lire la page
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris