Qu’est-ce qu’un test A/B ? Définition, étapes et exemple

Qu’est-ce qu’un test A/B ?

Un test A/B est une expérience : une partie des visiteurs voit la page telle qu’elle est (la version A, l’originale), les autres voient une version modifiée (B, la variante), et l’on compare ce que font les deux groupes. En anglais, on parle d’« A/B test » ou d’« A/B testing ». Comme les visiteurs sont répartis au hasard, les deux groupes se ressemblent en tout, sauf la page qu’ils voient : un écart net entre eux vient donc de la modification, et pas de la saison, d’une campagne ou d’un jour de soldes.

C’est ce qui distingue un test d’une comparaison « avant, après ». Mettre la nouvelle page en ligne et comparer le mois suivant au mois précédent mélange l’effet de la page et tout ce qui a changé entre-temps. Dans un test A/B, les deux versions tournent en même temps, sur le même trafic.

Le test se juge sur une métrique principale choisie avant le lancement : un taux de conversion, un chiffre d’affaires par visiteur, une marge, un lead qualifié. Des garde-fous surveillent ce que la variante ne doit pas abîmer, comme la vitesse de la page ou le taux de retour. Les mots du domaine sont définis dans le glossaire.

Pourquoi répartir les visiteurs au hasard ?

Parce que c’est ce qui rend les deux groupes comparables. Si l’on montrait la variante aux visiteurs du matin et l’originale à ceux du soir, ou aux mobiles d’un côté et aux ordinateurs de l’autre, l’écart mesuré dirait surtout la différence entre ces publics.

Le tirage doit aussi être stable : un visiteur qui revient doit revoir la même version, sinon il compte dans les deux groupes. Probant tire chaque visiteur dans l’un de 10 000 seaux à partir de son identifiant, toujours le même pour le même visiteur, et chaque seau appartient à une version.

Dernière précaution : vérifier que la répartition réelle correspond à celle prévue. Sur la barre de livraison, 30 650 visiteurs ont vu l’originale et 30 590 la variante, soit 50,0 % et 50,0 %. Un écart plus grand que ce que permet le hasard, un SRM, trahit presque toujours un défaut technique : il faut alors corriger et recommencer, pas interpréter le résultat.

Comment se déroule un test A/B ?

En six étapes, dont la moitié se joue avant le premier visiteur.

1. Une hypothèse. Ce que l’on change, et pourquoi cela devrait aider : « afficher la somme restant à dépenser avant la livraison offerte fera grossir les paniers ».
2. Une métrique principale et des garde-fous, fixés avant de voir le moindre chiffre.
3. Un plan : l’effet que l’on veut pouvoir détecter, le nombre de visiteurs nécessaire, la durée en jours et les dates des contrôles.
4. La variante, construite et vérifiée sur la vraie page, avec un éditeur visuel ou dans le code.
5. Le test lui-même, qui tourne jusqu’au contrôle prévu, pendant que les garde-fous sont suivis.
6. La décision : mettre la variante en ligne, la retirer, ou constater qu’on ne peut pas trancher.

Combien de visiteurs et combien de temps ?

Autant que le plan l’exige, et ce plan se calcule. Il dépend du trafic des pages testées, de la valeur actuelle de la métrique et de l’effet que l’on veut pouvoir voir. Plus cet effet est petit, plus il faut de visiteurs pour le distinguer du hasard.

Sur la barre de livraison, le CA par visiteur de l’originale valait 24,58 €. Pour voir un effet de +5,5 %, avec un risque de conclure à tort de 5 % et une puissance de 80 %, le moteur a prévu 58 900 visiteurs, soit 18 jours de trafic, et trois contrôles : jour 6, jour 12, jour 18.

Le calculateur de durée fait le même calcul sur vos chiffres, sans compte. Si la durée obtenue est déraisonnable, mieux vaut viser un effet plus grand, une métrique plus fréquente ou une page plus visitée que de lancer un test qui ne pourra pas conclure.

Comment lire le résultat d’un test A/B ?

Avec une fourchette, pas avec un chiffre seul. Au jour 18, la variante faisait +6,0 % sur le CA par visiteur, avec une fourchette à 95 % de +2,2 % à +10,0 %. Toute la fourchette est du bon côté de zéro : l’effet est positif, et sa taille réelle se situe probablement dans cet intervalle. Le rapport de Probant le dit en une phrase : « Probant. » (gain prouvé).

Les autres métriques nuancent la lecture. La marge par visiteur progresse moins (+3,0 %, de -0,7 % à +6,7 %) et sa fourchette chevauche zéro : la livraison offerte coûte une partie de ce qu’elle rapporte. C’est tout le sujet de l’article « Mesurer la marge, pas seulement le chiffre d’affaires ».

Enfin, le gain mesuré d’une variante gagnante est en moyenne trop beau. Corrigé à partir des tests passés de la boutique, celui de la barre de livraison passe de +6,0 % à +4,9 % : c’est ce chiffre qu’il faut promettre. L’explication est dans l’article sur le biais du gagnant.

Quelles erreurs faussent un test A/B ?

Quatre erreurs reviennent souvent, et chacune fabrique des gagnants qui n’en sont pas.

• Regarder chaque jour et s’arrêter au premier écart « significatif ». Sur 1 000 tests A/A simulés de 18 jours, où les deux versions sont identiques, cette habitude déclare un gagnant dans 21,8 % des cas ; lus aux contrôles prévus, les mêmes tests n’en déclarent que 5,6 %. Le détail est dans l’article « Regarder un test chaque jour fabrique des gagnants ».
• Changer de métrique après coup. Si l’on choisit, à la fin, la métrique qui a le mieux bougé parmi toutes celles suivies, on trouve presque toujours un « gagnant ». La métrique principale se fixe avant le lancement ; les autres se lisent avec une correction pour leur nombre.
• Ignorer une répartition anormale. Un écart de visiteurs entre A et B signale un défaut de mesure ; le résultat qui va avec ne vaut rien, quel qu’il soit.
• Juger sur le chiffre d’affaires seul quand la variante touche aux prix, aux remises ou aux frais de port : la marge peut ne pas suivre.

La façon dont Probant s’en protège, contrôles prévus, garde-fous et verdicts bloqués, est décrite sur la page « Comment Probant décide » ; les garde-fous arrêtent seuls un test qui abîme quelque chose.

Test A/B, test A/A, test multivarié : quelles différences ?

Le test A/B compare une variante à l’originale. Quand on compare plusieurs variantes à la fois, on parle de test A/B/n : le principe ne change pas, mais il faut plus de visiteurs, et le risque d’erreur se partage entre les comparaisons.

Le test A/A oppose une page à elle-même. Il ne cherche aucun gain : il sert à vérifier l’installation et à mesurer le risque réel d’une façon de lire les résultats. Le simulateur A/A le montre en quelques secondes.

Le test multivarié croise plusieurs changements à la fois (un titre, une image, un bouton) pour mesurer l’effet de chacun et leurs interactions. Il répond à plus de questions, au prix d’un trafic bien plus important.

Quel outil pour faire un test A/B ?

Un outil de tests A/B fait quatre choses : répartir les visiteurs, afficher la bonne version sans faire clignoter la page, mesurer les conversions, et calculer le résultat. Les outils diffèrent surtout sur la méthode statistique, le traitement du coup d’œil, les garde-fous, le poids du script, l’hébergement des données, le consentement et le prix. Nos comparatifs mettent Probant face aux principaux, d’après leur documentation publique, sources à l’appui.

Probant fixe le plan avant le lancement, conclut aux contrôles prévus, chiffre le résultat en euros de marge et corrige le biais du gagnant. La démo montre le test de ce guide et quelques autres, sans inscription.

Questions fréquentes