Aller au contenu
Hébergé en Europe. Les données de vos tests sont stockées dans l’Union européenne.Hébergé et stocké en EuropeEn savoir plus
probant.
Se connecterCréer mon espace
De l’idée à la mise en production, dans un seul outil.Vue d’ensemble du produit

Préparer

Décider

Déployer

Capitaliser

Éditeur visuelCréez la variante sans développeur, avec l’assistant.Plan et duréeLa durée calculée avant le premier visiteur.IdéesChaque idée estimée d’après vos tests passés.Métriques et margeObjectifs sans code, marge calculée sur vos commandes.
RapportsUn verdict en une phrase, chiffré en euros : CA et marge.Sessions et cartes de clicsVoir ce que les visiteurs font de chaque variante.Garde-fousUn test qui abîme quelque chose s’arrête seul.
DéploiementsPar paliers, avec retour arrière automatique.PersonnalisationUne expérience pour une audience, mesurée face à une part témoin.Drapeaux de fonctionnalitéUne fonction activée par règles, coupée d’un geste.
BibliothèqueLes effets de vos tests terminés, sur une même échelle.Installation et intégrationsDeux lignes de code, côté navigateur ou serveur.Équipe et gouvernanceRôles, validation des lancements, journal d’audit.
Explorer la démo Tarifs
Les règles qui décident d’un verdict, fixées avant le lancement.Toute la méthode

La méthode, pas à pas

Comment Probant décideLe piège du coup d’œilLe biais du gagnantLe moteur statistiqueGlossaireVérifier un rapport
MéthodeLe biais du gagnantPourquoi le gain annoncé est, en moyenne, trop beau.Voir la correction
CA par visiteur · Barre de livraison gratuite
Écart mesuré+6,0 %
Après correction+4,9 %
+125 700 €par mois après correction, au lieu de +153 300 €

Corrigé avec les 48 tests terminés de la boutique de démonstration.

Rejouez la simulation avec votre nombre de tests et votre durée.Simulateur A/A
Par zone du site et par profil.Tous les cas d’usage

Vous êtes…

Savoir ce qui rapporte, sans statisticien.

Les fonctions qui comptent pour vous :

RapportsUn verdict en une phrase, chiffré en euros : CA et marge.Métriques et margeObjectifs sans code, marge calculée sur vos commandes.Éditeur visuelCréez la variante sans développeur, avec l’assistant.Le cas d’usage en détail
Panier · boutique de démonstrationBarre de livraison gratuiteProbant. Gain prouvé+125 700 € par mois · CA par visiteur +6,0 %, fourchette +2,2 % à +10,0 %

Calculé par le moteur sur un test de la démo.

Par zone du sitePanier et livraisonFiche produitTunnel de paiementNavigation mobilePages catégorie
Explorer la démo
Blog, documentation et outils.Toutes les ressources
Simulateur A/AMesurez vous-même le coût d’un coup d’œil.Pourquoi lire un test chaque jour fabrique de faux gagnants.Lancer le simulateur
BlogMéthode, mesure et retours d’expérience.
12 nov.Qu’est-ce qu’un test A/B ? Définition, étapes et exemple7 nov.Mesurer la marge, pas seulement le chiffre d’affaires7 nov.Le biais du gagnant : pourquoi le gain annoncé ne se réalise pas
Tous les articles
Calculateur de duréeCombien de jours pour voir l’effet que vous visez.DocumentationInstaller le script, le consentement, les événements.Tutoriels vidéoInstaller, lancer un test, lire un rapport, en vidéo.ComparatifsProbant face aux autres outils, sources à l’appui.AB TastyKameleoonVWOOptimizelyAdobe TargetDynamic Yield+11 autres
Vérifier un résultatVotre gagnant tient-il ? Fourchette, SRM et lectures répétées.Livraison offerteCe que coûte un seuil de livraison offerte, et ce qu’il doit rapporter.NouveautésCe qui a changé dans Probant, date par date.Format des études de casContexte, test, résultat et décision, sur la boutique de démonstration.Migrer vers ProbantImporter l’historique d’AB Tasty, VWO ou Kameleoon, relu par Probant.
Articles, documentation et outils de calcul, en accès libre.
Un forfait fixe, jamais de dépassement.Voir les tarifs

Combien de visiteurs testez-vous par mois ?

Un visiteur testé : chaque visiteur distinct qui voit un test ou un déploiement dans le mois. C’est le seul réglage du prix.

Facturation
Votre forfaitEssentiel590 €/moisou 5 900 € par anPour une boutique qui teste en continu, jusqu’au chiffre d’affaires par visiteur.
  • Jusqu’à 250 000 visiteurs testés par mois
  • Toutes les fonctions, tests illimités dans le volume
  • Aucun dépassement facturé
Choisir Essentiel
La facture ne dépasse jamais le forfait : une fois le volume atteint, les tests en cours continuent.Questions sur la facturation

Votre test A/B est-il vraiment gagnant ?

Saisissez les visiteurs et les conversions de chaque version, ou leur chiffre d’affaires. Le moteur de Probant donne la fourchette de l’écart, contrôle la répartition des visiteurs, et tient compte du nombre de fois où vous avez regardé le résultat.

Valeurs préremplies : le test « Barre de livraison gratuite » de la boutique de démonstration (Maison Lune, fictive), au jour 18.

Métrique principale
Originale (A)
Variante (B)

Celle-ci comprise. Chaque regard où vous auriez pu arrêter le test compte : c’est ce qui fausse le seuil de 5 %.

Options : répartition prévue, effet visé, vos tests passés

Elle donne la puissance réelle du test ; sans elle, l’outil suppose 80 %, comme les plans de Probant.

Votre part de gagnants remplace les 10 % par défaut dans le risque de faux positif.

Verdict

Probant. Gain prouvé

Le taux de conversion progresse de +3,9 %, fourchette de +0,7 % à +7,2 %.

Taux de conversion
20,0 % → 20,8 %
Valeur p
0,016score z 2,40, seuil 1,96
Répartition (SRM)
normalevaleur p 0,808, alerte sous 0,001

Même prouvé, un gagnant peut être faux : avec 10 % d’idées qui marchent (valeur publiée par défaut) et une puissance de 80 %, 22 % des gagnants de ce type n’ont aucun effet réel (Kohavi, Deng et Vermeer, 2022). Le gain annoncé, lui, est en moyenne trop beau : Probant le corrige sur vos tests passés.

Pourquoi le gain annoncé est trop beau

Le même résultat, lu une fois ou chaque jour.

Taux de conversion du test « Barre de livraison gratuite » : 20,0 % pour l’originale, 20,8 % pour la variante, soit +3,9 % (score z 2,40). Lu une seule fois, à la fin prévue, le résultat franchit le seuil de 1,96 : la variante gagne.

Lu chaque jour pendant 18 jours, le même chiffre ne prouve plus rien : à ce rythme, 23,7 % des tests sans aucun effet réel déclarent un gagnant, au lieu de 5 %. C’est pourquoi Probant fixe ses contrôles avant le lancement et les lit avec les bornes d’O’Brien-Fleming.

Quatre contrôles, tous faits par le moteur.

  1. L’écart et sa fourchette.

    Écart relatif B / A − 1, testé sur la différence des moyennes ; sa fourchette à 95 % est celle de Fieller, qui ne contredit jamais la valeur p. Voir la fourchette et la valeur p.

  2. La répartition des visiteurs.

    Test du khi-deux contre la répartition prévue ; sous 0,001, le verdict est bloqué. Voir le SRM.

  3. Les lectures répétées.

    Pour une lecture, le seuil classique ; jusqu’à 5 lectures, la dernière borne d’O’Brien-Fleming (Jennison et Turnbull, 2000) ; au-delà, aucun seuil connu. Le vrai risque vient d’une simulation de tests A/A, comme sur le simulateur A/A.

  4. Le risque de faux positif.

    Parmi les gagnants déclarés dans les mêmes conditions, la part qui n’a aucun effet réel (Kohavi, Deng et Vermeer, « A/B Testing Intuition Busters », KDD 2022). Voir aussi le biais du gagnant.

Avant le test, le calculateur de durée dit combien de visiteurs il faut. Le calcul tourne dans votre navigateur ; aucune donnée n’est envoyée.

Questions fréquentes.

Mon test est significatif : puis-je l’arrêter ?

Seulement si vous ne l’avez regardé qu’une fois, à la fin prévue. Chaque regard où vous auriez pu l’arrêter augmente le risque de faux gagnant : lu chaque jour pendant 18 jours au seuil de 5 %, un test sans aucun effet réel déclare un gagnant dans 23,7 % des cas. Indiquez le nombre de regards : l’outil applique le seuil qui garde le risque annoncé.

Qu’est-ce que le contrôle SRM ?

Il vérifie que les visiteurs se sont répartis entre les versions comme prévu, par un test du khi-deux. Sous une valeur p de 0,001, un défaut d’affectation ou de mesure est presque certain, et l’écart observé ne veut plus rien dire, même s’il paraît net.

Pourquoi un gagnant prouvé peut-il être faux ?

Parce que la plupart des idées testées ne changent rien. Avec 10 % d’idées qui marchent, une puissance de 80 % et un seuil de 5 %, 22 % des gagnants déclarés n’ont aucun effet réel (Kohavi, Deng et Vermeer, 2022). Indiquez votre propre part de gagnants pour un chiffre qui vous ressemble.

Pourquoi l’outil ne corrige-t-il pas le gain du biais du gagnant ?

Parce qu’il faut pour cela les tests passés de votre équipe : ils disent quelle taille d’effet est plausible chez vous. Aucune valeur publiée n’est assez sûre pour les remplacer. Probant fait cette correction dans chaque rapport, sur votre bibliothèque de tests.

Mes données sont-elles envoyées quelque part ?

Non. Le calcul tourne dans votre navigateur ; rien n’est envoyé ni gardé.

Préparer ce test

Le plan d’un test calcule la même durée avec le trafic mesuré de votre boutique, fixe ses contrôles et les scelle avant le premier visiteur.

Préparer ce testCréer mon espace
  • Démo ouverte, sans inscription
  • Création gratuite, sans dépassement facturé
  • Base et calcul à Amsterdam, chez Scaleway