Un test qui abîme quelque chose s’arrête seul.
Une variante peut augmenter le CA et faire grimper les retours, ralentir le mobile ou casser une page. Les garde-fous surveillent ce qui ne doit pas se dégrader, et agissent sans attendre personne.
Taux de retour : 7,8 % → 14,5 % des commandes. Hausse de +85 %, au-delà de la tolérance de +25 %.
Lire la transcription
Et si la variante abîmait quelque chose ? Chaque garde-fou suit une métrique qui ne doit pas se dégrader, et arrête le test dès que le dégât est prouvé.
Chaque garde-fou a sa limite, fixée au plan. Il n’est franchi que si toute sa fourchette dépasse la limite. Taux de retour : -12,3 % à +11,1 % pour une limite de +5,0 %, à surveiller.
Une hausse sûre, mais encore sous la limite. Sur Recommandations « Vous aimerez aussi », la hausse du taux de retour est certaine dès le 7 nov., mais pas encore au-delà de +25 % : le test continue.
Une dégradation prouvée arrête le test. Le 10 nov. à 05:12, toute la fourchette dépasse +25 % : taux de retour de 7,8 % à 14,5 %. Les visiteurs retrouvent l’originale.
Une répartition anormale bloque le test. Sur « Checkout en une page », B n’a reçu que 47,2 % des visiteurs : résultats masqués, et le diagnostic pointe Safari iOS.
Le test arrêté et ses garde-fous sont dans la démo, sans inscription.
Des limites écrites avant, lues à chaque contrôle.
Trois situations de la boutique de démonstration : un gagnant sous surveillance, un test bloqué par une panne d’affectation, un déploiement coupé par un garde-fou.
Chaque garde-fou a une limite, fixée dans le plan.
Un garde-fou n’est franchi que si toute sa fourchette dépasse la limite : la dégradation est alors démontrée. Une fourchette qui chevauche la limite reste « à surveiller ». C’est le cas du taux de retour de « Barre de livraison gratuite » : -12,3 % à +11,1 %, pour une limite de +5,0 %.
- Pendant le test, un garde-fou franchi bloque le verdict : pas de gagnant possible
- Les limites sont visibles dans le plan, avant le premier visiteur
- Dans la limite
- Toute la fourchette reste sous la limite.
- À surveiller
- La fourchette chevauche la limite.
- Dépassé
- Toute la fourchette est au-delà : dégradation démontrée.
Une répartition anormale bloque le test.
Si B reçoit moins de visiteurs que prévu, les deux groupes ne se ressemblent plus : B a perdu ceux pour qui la page a échoué. Sur « Checkout en une page », B n’a reçu que 47,2 % des visiteurs. Le diagnostic par navigateur pointe Safari iOS : il y manque 1 108 visiteurs dans B, alors que les autres navigateurs sont équilibrés.
- Test du khi-deux à chaque lecture, au seuil de 0,001 pour éviter les fausses alertes
- Résultats masqués jusqu’au diagnostic
- Données écartées au redémarrage : une répartition faussée ne se corrige pas après coup
| Navigateur | A | B | Part de B | p |
|---|---|---|---|---|
| Safari iOS | 2 960 | 1 852 | 38,5 % | < 0,001 |
| Chrome Android | 3 380 | 3 379 | 50,0 % | 0,99 |
| Chrome ordinateur | 2 640 | 2 641 | 50,0 % | 0,99 |
| Safari macOS | 1 474 | 1 474 | 50,0 % | 1,00 |
Une dégradation prouvée ramène tout le monde sur l’originale.
Pendant un déploiement, les garde-fous sont relus à chaque contrôle avec une fourchette toujours valide : on peut la regarder aussi souvent qu’on veut sans multiplier les fausses alertes. Sur Recommandations « Vous aimerez aussi », le taux de retour est passé de 7,8 % à 14,5 % des commandes, une hausse de +85 % au-delà de la tolérance de +25 %. Retour à l’originale le 10 nov. à 05:12.
- Le CA par visiteur ne compensait pas : +0,2 %, fourchette -15,6 % à +15,9 %
Dans le détail.
- Garde-fous
- Taux de retour, Vitesse mobile (LCP), Erreurs JavaScript, CA par visiteur dans la démonstration ; chacun avec sa limite et son sens (hausse ou baisse à éviter).
- Règle
- Franchi quand toute la fourchette est au-delà de la limite ; à surveiller quand elle la chevauche ; dans la limite sinon.
- Pendant le test
- Fourchette à 95 % de chaque garde-fou dans le rapport ; un garde-fou franchi bloque le verdict.
- Pendant un déploiement
- Fourchettes toujours valides (mSPRT, Johari, Pekelis et Walsh, 2017), relues à chaque contrôle du palier ; retour arrière automatique au premier franchissement.
- Répartition
- Khi-deux sur les visiteurs de chaque version, au seuil de 0,001, puis navigateur par navigateur pour trouver la cause.
- Espace réel
- Chaque garde-fou a sa limite, réglée sur la métrique (5 % proposés par défaut). Pendant un test comme pendant un déploiement, la règle est relue au fil des événements reçus, avec des fourchettes toujours valides ; un franchissement arrête le test ou ramène les visiteurs sur l’originale.
Questions fréquentes.
Un garde-fou peut-il se déclencher par hasard ?
Rarement, et c’est voulu : il faut que toute la fourchette dépasse la limite. Les fourchettes toujours valides gardent ce risque sous contrôle même quand on les relit à chaque contrôle, ce qu’un intervalle classique ne permet pas.
Pourquoi Recommandations « Vous aimerez aussi » n’a-t-il pas été arrêté plus tôt ?
Dès le 7 nov., la hausse des retours était certaine, mais pas encore prouvée au-delà de +25 %. Le test a donc continué jusqu’au 10 nov. à 05:12. Pour arrêter plus tôt, il suffit d’abaisser la tolérance dans le plan.
Quand le contrôle a-t-il lieu ?
Dans la démonstration, à chaque contrôle quotidien. Dans un espace réel, la règle est relue au fil des événements reçus, au plus une fois toutes les 5 minutes par test ou par déploiement, et avant toute montée de palier.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris