Probant ou Optimizely
Les deux outils comparés point par point, d’après la documentation publique d’Optimizely, consultée le 7 novembre 2026. Chaque affirmation sur Optimizely renvoie à sa source.
Ce qu’Optimizely propose.
Optimizely se présente comme « la plateforme IA pour le marketing » : CMS, expérimentation, commerce, personnalisation et analytics.1 Son offre Web Experimentation propose un éditeur visuel pour tester vite, ou un contrôle côté serveur.2 Ses communiqués de presse sont datés de New York.3
Probant s’adresse aux sites qui veulent des tests A/B dont le verdict tient : un plan fixé avant le lancement, et des garde-fous suivis jusqu’au déploiement. Il mesure ce que vaut vraiment chaque conversion : la marge d’une commande, le lead qualifié ou signé, l’abonnement payé.
Les différences, point par point.
À gauche, ce que dit la documentation publique d’Optimizely, chaque phrase avec sa source. À droite, ce que fait Probant. « Non mentionné » signifie que rien n’a été trouvé dans cette documentation : ce n’est pas la preuve qu’une fonction n’existe pas.
| Point comparé | Optimizely | Probant |
|---|---|---|
| Méthode statistique | Stats Engine : expérimentation séquentielle, sans horizon fixe.4 Feature Experimentation propose aussi le fréquentiste à horizon fixe et le bayésien, avec a priori non informatifs.56 | Fréquentiste, avec un plan séquentiel fixé avant le lancement : effet visé, durée et points de contrôle. Le verdict s’écrit en une phrase, avec une fourchette à 95 %. |
| Coup d’œil (peeking) | Les résultats se suivent en continu et restent « toujours valides », grâce au contrôle du taux de fausses découvertes.7 | On ne décide qu’aux points de contrôle prévus, avec les bornes d’O’Brien-Fleming : très strictes au début, proches du seuil classique à la fin. Pendant un déploiement, les fourchettes sont toujours valides (mSPRT) : on peut les consulter à tout moment. |
| Répartition des visiteurs (SRM) | Détection automatique séquentielle (SSRM) pour les tests A/B du Stats Engine.8 Elle a des limites, dont une durée de 45 jours au plus.9 En cas de SRM, la documentation recommande de mettre l’expérience en pause immédiatement.10 | La répartition des visiteurs est contrôlée par un test du khi-deux à chaque lecture du rapport. En cas de déséquilibre, le test passe au statut « bloqué » : aucun gagnant n’est annoncé. |
| Garde-fous | Alertes sur métriques garde-fous, par e-mail ou Slack.11 Pause automatique en option, désactivée par défaut, appliquée au contrôle planifié suivant, pas en temps réel.1213 | Les métriques garde-fous sont suivies avec leur fourchette ; un garde-fou n’est franchi que si toute la fourchette dépasse la limite. Un garde-fou franchi bloque le verdict du test, arrête seul un test en cours et, pendant un déploiement, ramène les visiteurs sur l’originale automatiquement. |
| Déploiements progressifs | Feature Rollouts : déploiement progressif (10 %, 25 %, 50 %, 100 %), avec mesure à chaque palier.14 La fonction est en bêta.15 Un guide décrit la montée progressive du trafic.16 | Paliers 25 % → 50 % → 100 % par défaut, 10 % → 25 % → 50 % → 100 % en mode prudent. Retour arrière automatique quand un garde-fou est franchi ; un visiteur exposé le reste aux paliers suivants. |
| Multi-armed bandit | Répartition « multi-armed bandit » : selon leur documentation, elle ne produit pas de signification statistique et pousse le trafic vers les variantes qui réussissent le mieux.17 | Test d’optimisation : échantillonnage de Thompson, réalloué au plus une fois par jour, avec une part minimale par variante. Il maximise un taux de conversion, ou un montant par visiteur comme le chiffre d’affaires : probabilité d’acheter et panier moyen tirés de leurs lois, valeurs plafonnées au centile comme dans un test A/B. En option, des parts par appareil (mobile, tablette, ordinateur) : un tirage par appareil, chacun avec son apprentissage et son plancher. Un visiteur garde toujours sa variante : une nouvelle répartition ne vaut que pour les visiteurs arrivés après elle. Dit à l’écran : il maximise les conversions (ou le montant par visiteur) pendant le test, il ne prouve pas qu’une variante est meilleure. L’écart se lit époque par époque (et appareil par appareil), sans gagnant proclamé ; l’export CSV donne la même lecture. |
| Revenu et marge par visiteur | Revenu par visiteur et par visiteur payeur dans les résultats.18 Plafonnement ou winsorisation des valeurs extrêmes.19 Marge par visiteur : non mentionnée dans leur documentation publique (consultée le 7 novembre 2026). | CA et marge par visiteur, chacun avec sa fourchette ; le gain est chiffré en euros. La marge est calculée sur le serveur, à partir des commandes rapprochées, du coût de chaque produit (Shopify ou CSV) et des frais de la boutique ; pas de verdict en marge sous 90 % du CA couvert par des coûts connus. |
| Biais du gagnant | Non mentionné dans leur documentation publique (consultée le 7 novembre 2026). | Le gain annoncé est corrigé du biais du gagnant, par rétrécissement bayésien vers les effets des tests passés de la boutique. |
| Mode bayésien | Bayésien proposé en Feature Experimentation, à côté du fréquentiste à horizon fixe.5 A priori non informatifs.6 | En option, désactivée par défaut : une lecture bayésienne à côté du verdict, avec la probabilité que la variante fasse mieux, l’intervalle de crédibilité et la perte attendue de chaque choix. L’a priori est centré sur zéro et aussi large que les effets mesurés par les tests arrêtés de la boutique ; tant qu’ils sont trop peu nombreux pour l’estimer, pas de lecture : aucun a priori par défaut n’est inventé. La décision suit toujours le plan scellé ; quand les deux lectures divergent, le rapport dit pourquoi. |
| Comparaisons multiples | Contrôle du taux de fausses découvertes par une version hiérarchisée de Benjamini-Hochberg, sur métriques et variantes.20 Ce contrôle n’est plus maintenu quand on segmente les résultats.21 | Les comparaisons de segments sont corrigées par la méthode de Holm. Avec plusieurs variantes, le risque d’erreur se partage entre les comparaisons (Bonferroni). |
| Test multivarié | Plan factoriel complet : toutes les combinaisons sont testées.22 Il montre comment les éléments interagissent.23 Au-delà de 25 combinaisons, même un site à fort trafic peine à conclure.24 | Plan factoriel complet généré par Probant : de deux à quatre sections, chacune de deux à quatre niveaux, seize combinaisons au plus, chacune servie comme une variante. Effets principaux de chaque section sur tout le trafic et interactions entre deux sections, corrigés par la méthode de Holm sur les comparaisons annoncées au plan. Le plan dit, au trafic mesuré de l’espace, si le test peut conclure, et propose de retirer un niveau ou une section ; aucune meilleure combinaison n’est proclamée sans contrôle. |
| Réduction de variance (CUPED) | CUPED disponible en Web Experimentation, pour les métriques numériques seulement.2526 Par défaut, sur les trois premières métriques de décision.27 | CUPED appliqué aux rapports des tests réels, sur l’historique de chaque visiteur avant sa première exposition ; sans historique, l’écart reste brut et le rapport le dit. |
| Éditeur visuel | Le nouvel éditeur visuel s’affiche en surcouche de la page, sans iframe.28 Une extension de navigateur, Web Companion, l’ouvre depuis le navigateur.29 | Deux façons d’éditer, qui produisent les mêmes modifications : un aperçu de la page chargé par Probant, sans ses scripts, ou la vraie page du site, scripts compris. Sur le site, l’éditeur est chargé par le script déjà installé, avec un lien signé, de courte durée, pour un brouillon et une variante ; sans extension de navigateur. Il n’envoie à Probant que les modifications choisies. |
| Widgets | Modèles d’expérience prêts à l’emploi : compte à rebours, bandeau en haut ou en bas de page, pop-up avec image.303132 | Bandeau, compte à rebours, pop-in, badge, réassurance, barre d’action, date de livraison, preuve sociale, code promo, livraison offerte et enquête, réglés sans code dans l’éditeur et gardés dans la bibliothèque de l’espace pour d’autres tests. Un widget n’est qu’une suite de modifications ordinaires : textes échappés, liens en https ou vers le site, styles posés sans attribut style, donc sans assouplir une politique CSP stricte. Le compte à rebours suit le fuseau du site et disparaît à l’échéance ; la pop-in s’ouvre à l’arrivée, à l’intention de sortie ou après défilement, se ferme au clavier et ne réapparaît plus de la visite si le consentement le permet. Leurs petits modules ne se chargent que pour les visiteurs de la variante. La date de livraison est recalculée chez le visiteur (heure limite, jours ouvrés, jours fériés) ; la preuve sociale compte exactement les achats reçus sur une semaine glissante et ne s’affiche qu’à partir d’un seuil : Probant n’affiche jamais de faux « X personnes regardent ce produit ». L’enquête pose une question à réponses fermées ou une échelle de recommandation, sans texte libre ; chaque réponse part avec les conversions, après l’accord du visiteur quand l’espace l’exige, et se lit par variante, avec sa fourchette. |
| Script et clignotement | Snippet synchrone pour éviter le clignotement.33 Il contient les expériences en cours, les audiences, les objectifs et jQuery ; chaque expérience est limitée à 1 048 572 octets.3435 Performance Edge fait l’affectation en périphérie de réseau, avec un « microsnippet ».36 Poids de référence du snippet : non mentionné dans leur documentation publique (consultée le 7 novembre 2026). | Script de moins de 6,5 Ko compressé, chargé en asynchrone, qui ne masque jamais la page. Affectation côté serveur possible, pour un affichage sans aucun clignotement. |
| Permissions fines | Feature Experimentation : rôles par projet, affinés par environnement, par drapeau et par audience.37 Web Experimentation : la plupart des rôles de collaborateur valent projet par projet.38 | Quatre rôles fixes, et des rôles personnalisés que le propriétaire compose à partir d’un catalogue de permissions nommées : préparer, lancer et arrêter, déployer, approuver un lancement, écrire le JavaScript des variantes, gérer les drapeaux, les métriques, la marge, les membres, les clés. Aucune élévation : la facturation, les rôles, le transfert et la suppression de l’espace restent au propriétaire ; on n’attribue jamais plus que ses propres permissions, et une clé d’API ne dépasse pas celles de son auteur. |
| Hébergement des données | Hébergement UE en option, « là où applicable ».39 Sous-traitants d’hébergement pour Web et Feature Experimentation : AWS (États-Unis) et Google Cloud (États-Unis, Europe).4041 Hébergement en France : non mentionnée dans leur documentation publique (consultée le 7 novembre 2026). | Base de données et fonctions en région Paris (Supabase, Vercel cdg1). |
| Consentement par défaut | Par défaut, le snippet dépose ses cookies : il faut appeler l’API optOut avant lui pour l’en empêcher.4243 Autre voie : charger le snippet par un tag manager, après consentement.44 | Consentement exigé par défaut : aucun cookie, aucune affectation et aucun envoi avant l’accord du visiteur. Accord donné en cours de lecture : la page ne change pas sous les yeux du visiteur, sa variante commence à la page suivante. Cookie interne au site, de 390 jours au plus, jamais prolongé. |
| Modèle de prix | Pas de prix publics : devis personnalisé.45 Facturation à l’usage, fondée sur les utilisateurs actifs mensuels (MAU).46 La documentation traite des dépassements de MAU.47 | Forfait mensuel fixe, sans dépassement : la facture ne dépasse jamais le forfait choisi. |
Ce qu’Optimizely fait aussi.
Ces points, Probant les partage avec Optimizely. Ils ne sont pas propres à Probant.
Des statistiques séquentielles
Des déploiements par paliers
10 %, 25 %, 50 %, 100 %, les mêmes paliers que le mode prudent de Probant, en bêta.1415
Une détection SRM automatique
Détection séquentielle pour les tests A/B du Stats Engine.8
Une pause automatique sur garde-fou
En option, par métrique garde-fou.12
Un contrôle des comparaisons multiples
Benjamini-Hochberg hiérarchisé, sur métriques et variantes.20
L’affectation côté serveur
Contrôle côté serveur, ou affectation en périphérie de réseau avec Performance Edge.236
Quand choisir Optimizely plutôt que Probant.
D’après la documentation publique d’Optimizely.
Vous voulez une suite marketing complète
CMS, expérimentation, commerce, personnalisation et analytics chez un même éditeur.1
Probant se concentre sur l’expérimentation : tests, déploiements, feature flags et personnalisation mesurée.
Vous suivez beaucoup de métriques par test
Le contrôle du taux de fausses découvertes couvre métriques et variantes.20
Vous voulez CUPED et l’affectation en périphérie
CUPED sur les métriques numériques, et Performance Edge.2536
Chez Probant aussi, CUPED s’applique aux rapports, sur l’historique de chaque visiteur avant sa première exposition.
Vous achetez sur devis, à l’usage
Ce qui distingue Probant.
Ces points ne figurent pas dans la documentation publique d’Optimizely, consultée le 7 novembre 2026. Une absence de mention n’est pas une preuve d’absence : s’ils comptent pour vous, posez la question à Optimizely.
La marge par visiteur
Probant mesure le CA et la marge par visiteur, chacun avec sa fourchette.
OptimizelyLa marge par visiteur n’est pas mentionnée dans leur documentation publique (consultée le 7 novembre 2026).
En savoir plusLa correction du biais du gagnant
Le gain annoncé est corrigé par rétrécissement bayésien vers les effets des tests passés de la boutique.
OptimizelyUne correction du biais du gagnant n’est pas mentionnée dans leur documentation publique (consultée le 7 novembre 2026).
En savoir plusUn SRM qui bloque le verdict
Un déséquilibre de répartition fait passer le test au statut « bloqué » : aucun gagnant n’est annoncé.
OptimizelyLa documentation d’Optimizely recommande une mise en pause immédiate, à faire soi-même.10 Un blocage automatique n’y est pas mentionné (consultée le 7 novembre 2026).
Un poids de script publié
Le script de Probant pèse moins de 6,5 Ko compressé et ne masque jamais la page.
OptimizelyUn poids de référence du snippet n’est pas mentionné dans leur documentation publique (consultée le 7 novembre 2026).
En savoir plusUn hébergement en France
Base de données et fonctions en région Paris (Supabase, Vercel cdg1).
OptimizelyOptimizely propose un hébergement UE en option.39 Un hébergement en France n’est pas mentionné dans leur documentation publique (consultée le 7 novembre 2026).
Questions fréquentes.
Optimizely corrige-t-il l’effet du coup d’œil ?
Oui : son Stats Engine est séquentiel et ses résultats restent valides en suivi continu.47 Le contrôle des fausses découvertes n’est plus maintenu quand on segmente les résultats.21 Probant corrige les comparaisons de segments par la méthode de Holm.
Optimizely propose-t-il des déploiements progressifs ?
Oui, en bêta : 10 %, 25 %, 50 %, 100 %, avec mesure à chaque palier.1415 Chez Probant, chaque palier est surveillé par les garde-fous, avec retour automatique à l’originale.
Sources.
Pages officielles d’Optimizely, consultées le 7 novembre 2026. Les citations sont reproduites dans leur langue d’origine.
- Source 1 : www.optimizely.com/company/press/free-to-grow
Optimizely is the AI platform for marketing, built for the experience-makers who shape how brands show up in the world.
- Source 2 : www.optimizely.com/products/web-experimentation
Run experiments wherever your customers are. Use a visual editor for fast web testing, or go deeper with server-side control.
- Source 4 : docs.optimizely.com/experimentation-strategy/docs/how-and-why-statistical-significance-changes-over-time-in-optimizely-experimentation
Optimizely's Stats Engine uses sequential experimentation, not the fixed-horizon experiments you see on other platforms.
- Source 5 : docs.optimizely.com/experimentation-strategy/docs/statistical-analysis-methods-overview
Optimizely Feature Experimentation offers the following statistical analysis methods for running A/B tests:
- Source 6 : docs.optimizely.com/experimentation-strategy/docs/bayesian-statistics
the current version of Bayesian statistics uses uninformed priors
- Source 7 : docs.optimizely.com/experimentation-strategy/docs/statistical-analysis-methods-overview
Monitor results continuously during the experiment. The results are always valid because Optimizely controls the false discovery rate.
- Source 8 : docs.optimizely.com/experimentation-strategy/docs/optimizely-s-automatic-sample-ratio-mismatch-detection
Optimizely Experimentation's automatic SRM detection uses a statistical method called sequential sample ratio mismatch (SSRM).
- Source 9 : docs.optimizely.com/experimentation-strategy/docs/optimizely-s-automatic-sample-ratio-mismatch-detection
That are running for 45 days or less.
- Source 10 : docs.optimizely.com/experimentation-strategy/docs/take-action-now-srm-detected-experiment-health
The experiment should be paused immediately to investigate the issue.
- Source 11 : docs.optimizely.com/web-experimentation/docs/guardrail-alerts
Guardrail alerts let you configure metric alerts that protect business-important metrics during an experiment.
- Source 12 : docs.optimizely.com/web-experimentation/docs/guardrail-alerts
This setting applies per guardrail metric and is off by default.
- Source 13 : docs.optimizely.com/web-experimentation/docs/guardrail-alerts
The pause happens at the next scheduled check after the breach, not in real time.
- Source 14 : docs.optimizely.com/feature-experimentation/docs/run-feature-rollouts-in-feature-experimentation
Roll out a feature progressively (10%, 25%, 50%, then 100%) and measure impact at each stage.
- Source 15 : docs.optimizely.com/feature-experimentation/docs/run-feature-rollouts-in-feature-experimentation
This feature is currently in beta.
- Source 16 : docs.optimizely.com/experimentation-strategy/docs/controlled-traffic-allocation-ramping
Ramping is when you gradually expose traffic to new test variations.
- Source 17 : docs.optimizely.com/experimentation-strategy/docs/experimentation-distribution-methods
MAB optimizations do not generate statistical significance. Instead, they push traffic to the better-performing variations.
- Source 18 : docs.optimizely.com/web-experimentation/docs/configure-revenue-tracking
you can see the revenue earned per visitor, revenue per paying visitor, purchases, and the total revenue earned per variation on the Optimizely Experimentation Results page.
- Source 19 : docs.optimizely.com/web-experimentation/docs/outlier-management
Optimizely lets you choose between two outlier management methods: metric capping (capping at a specified metric value) and Winsorization (capping at a specified percentile).
- Source 20 : docs.optimizely.com/experimentation-strategy/docs/false-discovery-rate-control
Optimizely's Stats Engine uses a tiered version of the Benjamini-Hochberg procedure for false discovery rate control to correct statistical significance across multiple metrics and variations.
- Source 21 : docs.optimizely.com/experimentation-strategy/docs/false-discovery-rate-control
But, when you segment results, the false discovery rate control is not maintained.
- Source 22 : docs.optimizely.com/web-experimentation/docs/experiment-types-in-web-experimentation
Testing all possible combinations of a multivariate test is also known as full factorial testing.
- Source 23 : docs.optimizely.com/web-experimentation/docs/experiment-types-in-web-experimentation
reveals information about how they interact with one another
- Source 24 : docs.optimizely.com/web-experimentation/docs/experiment-types-in-web-experimentation
Even a site with reasonably high traffic can have trouble completing a test with more than 25 combinations.
- Source 25 : docs.optimizely.com/web-experimentation/docs/uvn0-cuped-controlled-experiment-using-pre-experiment-data
CUPED (Controlled-experiment Using Pre-Experiment Data) is a statistical method that reduces variance in A/B tests
- Source 26 : docs.optimizely.com/web-experimentation/docs/uvn0-cuped-controlled-experiment-using-pre-experiment-data
This feature is available only for numeric metrics: it is mathematically inapplicable to conversion metrics.
- Source 27 : docs.optimizely.com/web-experimentation/docs/uvn0-cuped-controlled-experiment-using-pre-experiment-data
By default, CUPED applies only to the first three decision-making metrics in the experiment.
- Source 28 : support.optimizely.com/hc/en-us/articles/37424389168013-New-Visual-Editor
The new Visual Editor is a WYSIWYG (What You See Is What You Get) editor that uses an overlay instead of an iframe.
- Source 29 : support.optimizely.com/hc/en-us/articles/37424389168013-New-Visual-Editor
Optimizely Web Companion is a browser extension that opens the Visual Editor for Web Experimentation directly from your browser.
- Source 30 : docs.optimizely.com/web-experimentation/docs/get-started-with-experience-templates
Countdown timer – Displays a countdown timer. For example, use this to count down to the start of an event.
- Source 31 : docs.optimizely.com/web-experimentation/docs/get-started-with-experience-templates
Displays information at the top or bottom of the page.
- Source 32 : docs.optimizely.com/web-experimentation/docs/get-started-with-experience-templates
Displays a pop-up with an image.
- Source 33 : docs.optimizely.com/web-experimentation/docs/load-snippet-synchronously-and-asynchronously
Optimizely Web Experimentation uses a synchronous snippet to prevent flickering and a balanced content delivery network (CDN) system to make sure the impact on the page is minimized.
- Source 34 : docs.optimizely.com/web-experimentation/docs/page-load-speed
The snippet contains the information of any running experiments, all audience and goal definitions, and the jQuery library.
- Source 35 : docs.optimizely.com/web-experimentation/docs/HnnD-site-performance-best-practices
Each experiment is limited to a maximum of 1,048,572 bytes.
- Source 36 : docs.optimizely.com/performance-edge/docs/overview
Optimizely Performance Edge is designed to improve page performance by performing targeting and variation assignment tasks at the Edge instead of in the browser.
- Source 37 : docs.optimizely.com/feature-experimentation/docs/granular-roles-and-permissions-in-feature-experimentation
Granular roles and permissions let you control access to environments, flags, and audiences with precision.
- Source 38 : docs.optimizely.com/web-experimentation/docs/5nV4-manage-collaborators
Most collaborator roles are project-specific, giving you different collaborator statuses across different projects.
- Source 39 : www.optimizely.com/trust-center/optimizely-eu-data-privacy
If you choose to select the EU Data Hosting (where applicable), your data will be stored in EU data centers ensuring that you have full control over data location.
- Source 40 : www.optimizely.com/legal/sub-processors/third-party
Web & Feature Experimentation Amazon Web Services Inc. Cloud hosting and infrastructure provider United States
- Source 41 : www.optimizely.com/legal/sub-processors/third-party
Web & Feature Experimentation Google Cloud Cloud Service Provider United States, Europe
- Source 42 : docs.optimizely.com/experimentation-strategy/docs/configure-cookie-and-local-storage-consent
Since a cookie opt-in option is not required in all regions or for all cookies, Optimizely Web Experimentation does not set the optimizelyOptOut cookie by default.
- Source 43 : docs.optimizely.com/experimentation-strategy/docs/configure-cookie-and-local-storage-consent
Add the code above the Optimizely Web Experimentation snippet on your page. Otherwise, the JavaScript snippet will run and set the tracking cookie(s) and storage items on your visitor.
- Source 44 : docs.optimizely.com/experimentation-strategy/docs/configure-cookie-and-local-storage-consent
If you use a tag manager on your site, you can use conditional logic in the tag manager to load the Optimizely Web Experimentation JavaScript snippet only if a visitor has provided consent.
- Source 45 : www.optimizely.com/plans
Get pricing tailored to your business. Tell us about your goals and requirements, and our team will put together a personalized Optimizely quote that fits your needs.
- Source 46 : docs.optimizely.com/experimentation-strategy/docs/review-impression-usage
Starting in September 2020, Optimizely Experimentation introduced a simplified usage billing component: Monthly Active Users (MAUs).
- Source 47 : docs.optimizely.com/experimentation-strategy/docs/troubleshoot-mau-overages
If your Monthly Usage Information reports more Monthly Active Users (MAUs) than expected, work through this article to identify the cause.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris