Vérifier un rapport, sans nous croire sur parole.
Au lancement, Probant fige le plan d’un test et en calcule l’empreinte : le SHA-256 de son contenu, écrit d’une seule façon. Recalculez-la : si un seul caractère du plan avait changé depuis, l’empreinte ne correspondrait plus.
L’empreinte couvre la règle du test, fixée avant le premier visiteur.
Le plan scellé contient tout ce qui décide du verdict, et rien de ce qui arrive après.
- l’hypothèse ;
- les métriques et leur rôle : principale, secondaires, garde-fous avec leur limite, plafonnement des valeurs extrêmes ;
- l’effet minimal visé, le risque et la puissance, le nombre de points de contrôle ;
- les effectifs prévus par variante, le total et la durée prévue, avec le trafic déclaré pour les calculer ;
- la répartition entre variantes, avec l’empreinte des modifications de chaque variante ;
- le ciblage : zone, part du trafic, groupe témoin, pages, appareils, audience, programmation.
Les résultats, le verdict et la décision viennent après le scellement : l’empreinte ne les couvre pas, ils se relisent contre elle. Le rapport signale chaque écart au plan (changement après le lancement, arrêt hors point de contrôle, prolongation), et le rapport client compte, pour chaque test, les critères de qualité qu’il remplit.
Un contenu, une seule écriture.
Le plan est écrit en JSON canonique : les clés triées par ordre de leurs caractères, à chaque niveau, sans espace ni retour à la ligne, chaînes et nombres écrits comme le fait JSON.stringify, champs absents omis. L’empreinte est le SHA-256 de ce texte en UTF-8, en hexadécimal.
Exemple : {"metrics":[{"role":"primary","key":"commande"}],"hypothesis":"Livrée jeudi","plan":{"mde":0.05,"looks":3}} s’écrit
{"hypothesis":"Livrée jeudi","metrics":[{"key":"commande","role":"primary"}],"plan":{"looks":3,"mde":0.05}}et son empreinte est 2b9082a9379c3dddf14b71f62c5ffeb8dc96bc26e64b080791337b79150ef7c1.
Recalculer l’empreinte d’un plan scellé.
Dans le rapport, sous un test, « Ce qui a été scellé » montre la forme canonique et un bouton pour la copier. Calculez son SHA-256 avec l’outil de votre choix, puis comparez-le à l’empreinte affichée, caractère pour caractère.
macOS
pbpaste | shasum -a 256
Linux
xclip -selection clipboard -o | sha256sum
Windows (PowerShell)
$t = Get-Clipboard -Raw [Convert]::ToHexString([Security.Cryptography.SHA256]::HashData([Text.Encoding]::UTF8.GetBytes($t))).ToLower()
Ou ici, dans votre navigateur.
Pour essayer : le plan scellé du test « Barre de livraison gratuite » de la boutique de démonstration, dont l’empreinte est afae87f72c7fa1101232d14742c574feeb41866f386f9523d072e17a1dfc1b9b.
{"allocation":[{"changes":"4f53cda18c2baa0c","key":"a","name":"Originale","weight":1},{"changes":"fa0f0d11b6fccd1b","key":"b","name":"Barre de progression","weight":1}],"declared":{"baseline":{"kind":"mean","mean":24.58,"sd":58.28126285522647},"dailyVisitors":3272},"hypothesis":"Si le panier montre ce qui manque pour la livraison offerte, les clients ajouteront un article plutôt que de payer la livraison : le CA par visiteur augmentera.","metrics":[{"aggregation":"visitor","capPercentile":null,"direction":null,"eventName":"commande","key":"ca","kind":"mean","limit":null,"name":"CA par visiteur","role":"primary"},{"aggregation":"visitor","capPercentile":null,"direction":null,"eventName":"marge","key":"marge","kind":"mean","limit":null,"name":"Marge par visiteur","role":"secondary"},{"aggregation":"visitor","capPercentile":null,"direction":null,"eventName":"commande","key":"conversion","kind":"proportion","limit":null,"name":"Taux de conversion","role":"secondary"},{"aggregation":"visitor","capPercentile":null,"direction":"increase-is-bad","eventName":"retour","key":"retours","kind":"proportion","limit":500,"name":"Taux de retour","role":"guardrail"},{"aggregation":"visitor","capPercentile":null,"direction":"increase-is-bad","eventName":"lcp","key":"lcp","kind":"mean","limit":400,"name":"Vitesse mobile (LCP)","role":"guardrail"}],"plan":{"alpha":0.05,"armSizes":null,"looks":3,"mde":0.05520567661771653,"perArm":29450,"plannedDays":18,"power":0.8,"totalVisitors":58900},"targeting":{"endsAt":null,"holdoutShare":0.05,"rules":{"urlPattern":"/panier"},"startsAt":null,"trafficShare":1,"zone":"Panier"},"version":1}La méthode est publiée, avec ses sources.
Fourchettes à 95 %, contrôle de répartition, bornes d’O’Brien-Fleming, biais du gagnant, risque de faux positif : chaque calcul cite sa source et se vérifie contre des valeurs de référence, sur la page du moteur.
La qualité des décisions compte, test par test : ce que chacun a appris (un gain, une perte détectée, ou un « pas d’effet » dont la fourchette exclut l’effet visé au plan), et sept critères comptés à part (le septième, la décision tenue dans la durée, pour les tests suivis en abonnements), sans note globale. Sous dix tests, une part se lit en nombre de tests ; au-delà, elle porte sa fourchette de Wilson.
La méthode, point par point.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris