Aller au contenu
Hébergé et stocké en Europe. Vos données ne partent jamais aux États-Unis.Hébergé et stocké en EuropeEn savoir plus

Probant ou Optimizely

Les deux outils comparés point par point, d’après la documentation publique d’Optimizely, consultée le 7 novembre 2026. Chaque affirmation sur Optimizely renvoie à sa source.

47 sources tirées de 30 pages officielles, consultées le 7 novembre 2026.

Ce qu’Optimizely propose.

Optimizely se présente comme « la plateforme IA pour le marketing » : CMS, expérimentation, commerce, personnalisation et analytics.1 Son offre Web Experimentation propose un éditeur visuel pour tester vite, ou un contrôle côté serveur.2 Ses communiqués de presse sont datés de New York.3

Probant s’adresse aux sites qui veulent des tests A/B dont le verdict tient : un plan fixé avant le lancement, et des garde-fous suivis jusqu’au déploiement. Il mesure ce que vaut vraiment chaque conversion : la marge d’une commande, le lead qualifié ou signé, l’abonnement payé.

Les différences, point par point.

À gauche, ce que dit la documentation publique d’Optimizely, chaque phrase avec sa source. À droite, ce que fait Probant. « Non mentionné » signifie que rien n’a été trouvé dans cette documentation : ce n’est pas la preuve qu’une fonction n’existe pas.

Probant et Optimizely, point par point. Les appels de note renvoient aux sources, en bas de page.
Point comparéOptimizelyProbant
Méthode statistiqueStats Engine : expérimentation séquentielle, sans horizon fixe.4 Feature Experimentation propose aussi le fréquentiste à horizon fixe et le bayésien, avec a priori non informatifs.56Fréquentiste, avec un plan séquentiel fixé avant le lancement : effet visé, durée et points de contrôle. Le verdict s’écrit en une phrase, avec une fourchette à 95 %.
Coup d’œil (peeking)Les résultats se suivent en continu et restent « toujours valides », grâce au contrôle du taux de fausses découvertes.7On ne décide qu’aux points de contrôle prévus, avec les bornes d’O’Brien-Fleming : très strictes au début, proches du seuil classique à la fin. Pendant un déploiement, les fourchettes sont toujours valides (mSPRT) : on peut les consulter à tout moment.
Répartition des visiteurs (SRM)Détection automatique séquentielle (SSRM) pour les tests A/B du Stats Engine.8 Elle a des limites, dont une durée de 45 jours au plus.9 En cas de SRM, la documentation recommande de mettre l’expérience en pause immédiatement.10La répartition des visiteurs est contrôlée par un test du khi-deux à chaque lecture du rapport. En cas de déséquilibre, le test passe au statut « bloqué » : aucun gagnant n’est annoncé.
Garde-fousAlertes sur métriques garde-fous, par e-mail ou Slack.11 Pause automatique en option, désactivée par défaut, appliquée au contrôle planifié suivant, pas en temps réel.1213Les métriques garde-fous sont suivies avec leur fourchette ; un garde-fou n’est franchi que si toute la fourchette dépasse la limite. Un garde-fou franchi bloque le verdict du test, arrête seul un test en cours et, pendant un déploiement, ramène les visiteurs sur l’originale automatiquement.
Déploiements progressifsFeature Rollouts : déploiement progressif (10 %, 25 %, 50 %, 100 %), avec mesure à chaque palier.14 La fonction est en bêta.15 Un guide décrit la montée progressive du trafic.16Paliers 25 % → 50 % → 100 % par défaut, 10 % → 25 % → 50 % → 100 % en mode prudent. Retour arrière automatique quand un garde-fou est franchi ; un visiteur exposé le reste aux paliers suivants.
Multi-armed banditRépartition « multi-armed bandit » : selon leur documentation, elle ne produit pas de signification statistique et pousse le trafic vers les variantes qui réussissent le mieux.17Test d’optimisation : échantillonnage de Thompson, réalloué au plus une fois par jour, avec une part minimale par variante. Il maximise un taux de conversion, ou un montant par visiteur comme le chiffre d’affaires : probabilité d’acheter et panier moyen tirés de leurs lois, valeurs plafonnées au centile comme dans un test A/B. En option, des parts par appareil (mobile, tablette, ordinateur) : un tirage par appareil, chacun avec son apprentissage et son plancher. Un visiteur garde toujours sa variante : une nouvelle répartition ne vaut que pour les visiteurs arrivés après elle. Dit à l’écran : il maximise les conversions (ou le montant par visiteur) pendant le test, il ne prouve pas qu’une variante est meilleure. L’écart se lit époque par époque (et appareil par appareil), sans gagnant proclamé ; l’export CSV donne la même lecture.
Revenu et marge par visiteurRevenu par visiteur et par visiteur payeur dans les résultats.18 Plafonnement ou winsorisation des valeurs extrêmes.19 Marge par visiteur : non mentionnée dans leur documentation publique (consultée le 7 novembre 2026).CA et marge par visiteur, chacun avec sa fourchette ; le gain est chiffré en euros. La marge est calculée sur le serveur, à partir des commandes rapprochées, du coût de chaque produit (Shopify ou CSV) et des frais de la boutique ; pas de verdict en marge sous 90 % du CA couvert par des coûts connus.
Biais du gagnantNon mentionné dans leur documentation publique (consultée le 7 novembre 2026).Le gain annoncé est corrigé du biais du gagnant, par rétrécissement bayésien vers les effets des tests passés de la boutique.
Mode bayésienBayésien proposé en Feature Experimentation, à côté du fréquentiste à horizon fixe.5 A priori non informatifs.6En option, désactivée par défaut : une lecture bayésienne à côté du verdict, avec la probabilité que la variante fasse mieux, l’intervalle de crédibilité et la perte attendue de chaque choix. L’a priori est centré sur zéro et aussi large que les effets mesurés par les tests arrêtés de la boutique ; tant qu’ils sont trop peu nombreux pour l’estimer, pas de lecture : aucun a priori par défaut n’est inventé. La décision suit toujours le plan scellé ; quand les deux lectures divergent, le rapport dit pourquoi.
Comparaisons multiplesContrôle du taux de fausses découvertes par une version hiérarchisée de Benjamini-Hochberg, sur métriques et variantes.20 Ce contrôle n’est plus maintenu quand on segmente les résultats.21Les comparaisons de segments sont corrigées par la méthode de Holm. Avec plusieurs variantes, le risque d’erreur se partage entre les comparaisons (Bonferroni).
Test multivariéPlan factoriel complet : toutes les combinaisons sont testées.22 Il montre comment les éléments interagissent.23 Au-delà de 25 combinaisons, même un site à fort trafic peine à conclure.24Plan factoriel complet généré par Probant : de deux à quatre sections, chacune de deux à quatre niveaux, seize combinaisons au plus, chacune servie comme une variante. Effets principaux de chaque section sur tout le trafic et interactions entre deux sections, corrigés par la méthode de Holm sur les comparaisons annoncées au plan. Le plan dit, au trafic mesuré de l’espace, si le test peut conclure, et propose de retirer un niveau ou une section ; aucune meilleure combinaison n’est proclamée sans contrôle.
Réduction de variance (CUPED)CUPED disponible en Web Experimentation, pour les métriques numériques seulement.2526 Par défaut, sur les trois premières métriques de décision.27CUPED appliqué aux rapports des tests réels, sur l’historique de chaque visiteur avant sa première exposition ; sans historique, l’écart reste brut et le rapport le dit.
Éditeur visuelLe nouvel éditeur visuel s’affiche en surcouche de la page, sans iframe.28 Une extension de navigateur, Web Companion, l’ouvre depuis le navigateur.29Deux façons d’éditer, qui produisent les mêmes modifications : un aperçu de la page chargé par Probant, sans ses scripts, ou la vraie page du site, scripts compris. Sur le site, l’éditeur est chargé par le script déjà installé, avec un lien signé, de courte durée, pour un brouillon et une variante ; sans extension de navigateur. Il n’envoie à Probant que les modifications choisies.
WidgetsModèles d’expérience prêts à l’emploi : compte à rebours, bandeau en haut ou en bas de page, pop-up avec image.303132Bandeau, compte à rebours, pop-in, badge, réassurance, barre d’action, date de livraison, preuve sociale, code promo, livraison offerte et enquête, réglés sans code dans l’éditeur et gardés dans la bibliothèque de l’espace pour d’autres tests. Un widget n’est qu’une suite de modifications ordinaires : textes échappés, liens en https ou vers le site, styles posés sans attribut style, donc sans assouplir une politique CSP stricte. Le compte à rebours suit le fuseau du site et disparaît à l’échéance ; la pop-in s’ouvre à l’arrivée, à l’intention de sortie ou après défilement, se ferme au clavier et ne réapparaît plus de la visite si le consentement le permet. Leurs petits modules ne se chargent que pour les visiteurs de la variante. La date de livraison est recalculée chez le visiteur (heure limite, jours ouvrés, jours fériés) ; la preuve sociale compte exactement les achats reçus sur une semaine glissante et ne s’affiche qu’à partir d’un seuil : Probant n’affiche jamais de faux « X personnes regardent ce produit ». L’enquête pose une question à réponses fermées ou une échelle de recommandation, sans texte libre ; chaque réponse part avec les conversions, après l’accord du visiteur quand l’espace l’exige, et se lit par variante, avec sa fourchette.
Script et clignotementSnippet synchrone pour éviter le clignotement.33 Il contient les expériences en cours, les audiences, les objectifs et jQuery ; chaque expérience est limitée à 1 048 572 octets.3435 Performance Edge fait l’affectation en périphérie de réseau, avec un « microsnippet ».36 Poids de référence du snippet : non mentionné dans leur documentation publique (consultée le 7 novembre 2026).Script de moins de 6,5 Ko compressé, chargé en asynchrone, qui ne masque jamais la page. Affectation côté serveur possible, pour un affichage sans aucun clignotement.
Permissions finesFeature Experimentation : rôles par projet, affinés par environnement, par drapeau et par audience.37 Web Experimentation : la plupart des rôles de collaborateur valent projet par projet.38Quatre rôles fixes, et des rôles personnalisés que le propriétaire compose à partir d’un catalogue de permissions nommées : préparer, lancer et arrêter, déployer, approuver un lancement, écrire le JavaScript des variantes, gérer les drapeaux, les métriques, la marge, les membres, les clés. Aucune élévation : la facturation, les rôles, le transfert et la suppression de l’espace restent au propriétaire ; on n’attribue jamais plus que ses propres permissions, et une clé d’API ne dépasse pas celles de son auteur.
Hébergement des donnéesHébergement UE en option, « là où applicable ».39 Sous-traitants d’hébergement pour Web et Feature Experimentation : AWS (États-Unis) et Google Cloud (États-Unis, Europe).4041 Hébergement en France : non mentionnée dans leur documentation publique (consultée le 7 novembre 2026).Base de données et fonctions en région Paris (Supabase, Vercel cdg1).
Consentement par défautPar défaut, le snippet dépose ses cookies : il faut appeler l’API optOut avant lui pour l’en empêcher.4243 Autre voie : charger le snippet par un tag manager, après consentement.44Consentement exigé par défaut : aucun cookie, aucune affectation et aucun envoi avant l’accord du visiteur. Accord donné en cours de lecture : la page ne change pas sous les yeux du visiteur, sa variante commence à la page suivante. Cookie interne au site, de 390 jours au plus, jamais prolongé.
Modèle de prixPas de prix publics : devis personnalisé.45 Facturation à l’usage, fondée sur les utilisateurs actifs mensuels (MAU).46 La documentation traite des dépassements de MAU.47Forfait mensuel fixe, sans dépassement : la facture ne dépasse jamais le forfait choisi.

Ce qu’Optimizely fait aussi.

Ces points, Probant les partage avec Optimizely. Ils ne sont pas propres à Probant.

  • Des statistiques séquentielles

    Résultats suivis en continu, « toujours valides ».47

  • Des déploiements par paliers

    10 %, 25 %, 50 %, 100 %, les mêmes paliers que le mode prudent de Probant, en bêta.1415

  • Une détection SRM automatique

    Détection séquentielle pour les tests A/B du Stats Engine.8

  • Une pause automatique sur garde-fou

    En option, par métrique garde-fou.12

  • Un contrôle des comparaisons multiples

    Benjamini-Hochberg hiérarchisé, sur métriques et variantes.20

  • L’affectation côté serveur

    Contrôle côté serveur, ou affectation en périphérie de réseau avec Performance Edge.236

Quand choisir Optimizely plutôt que Probant.

D’après la documentation publique d’Optimizely.

  • Vous voulez une suite marketing complète

    CMS, expérimentation, commerce, personnalisation et analytics chez un même éditeur.1

    Probant se concentre sur l’expérimentation : tests, déploiements, feature flags et personnalisation mesurée.

  • Vous suivez beaucoup de métriques par test

    Le contrôle du taux de fausses découvertes couvre métriques et variantes.20

  • Vous voulez CUPED et l’affectation en périphérie

    CUPED sur les métriques numériques, et Performance Edge.2536

    Chez Probant aussi, CUPED s’applique aux rapports, sur l’historique de chaque visiteur avant sa première exposition.

  • Vous achetez sur devis, à l’usage

    Devis personnalisé, facturation fondée sur les MAU.4546

Ce qui distingue Probant.

Ces points ne figurent pas dans la documentation publique d’Optimizely, consultée le 7 novembre 2026. Une absence de mention n’est pas une preuve d’absence : s’ils comptent pour vous, posez la question à Optimizely.

  • La marge par visiteur

    Probant mesure le CA et la marge par visiteur, chacun avec sa fourchette.

    OptimizelyLa marge par visiteur n’est pas mentionnée dans leur documentation publique (consultée le 7 novembre 2026).

    En savoir plus
  • La correction du biais du gagnant

    Le gain annoncé est corrigé par rétrécissement bayésien vers les effets des tests passés de la boutique.

    OptimizelyUne correction du biais du gagnant n’est pas mentionnée dans leur documentation publique (consultée le 7 novembre 2026).

    En savoir plus
  • Un SRM qui bloque le verdict

    Un déséquilibre de répartition fait passer le test au statut « bloqué » : aucun gagnant n’est annoncé.

    OptimizelyLa documentation d’Optimizely recommande une mise en pause immédiate, à faire soi-même.10 Un blocage automatique n’y est pas mentionné (consultée le 7 novembre 2026).

  • Un poids de script publié

    Le script de Probant pèse moins de 6,5 Ko compressé et ne masque jamais la page.

    OptimizelyUn poids de référence du snippet n’est pas mentionné dans leur documentation publique (consultée le 7 novembre 2026).

    En savoir plus
  • Un hébergement en France

    Base de données et fonctions en région Paris (Supabase, Vercel cdg1).

    OptimizelyOptimizely propose un hébergement UE en option.39 Un hébergement en France n’est pas mentionné dans leur documentation publique (consultée le 7 novembre 2026).

Questions fréquentes.

Optimizely corrige-t-il l’effet du coup d’œil ?

Oui : son Stats Engine est séquentiel et ses résultats restent valides en suivi continu.47 Le contrôle des fausses découvertes n’est plus maintenu quand on segmente les résultats.21 Probant corrige les comparaisons de segments par la méthode de Holm.

Optimizely propose-t-il des déploiements progressifs ?

Oui, en bêta : 10 %, 25 %, 50 %, 100 %, avec mesure à chaque palier.1415 Chez Probant, chaque palier est surveillé par les garde-fous, avec retour automatique à l’originale.

Où Optimizely héberge-t-il les données ?

Un hébergement UE est proposé en option ; ses sous-traitants d’hébergement sont aux États-Unis et en Europe.394041 Probant héberge base de données et fonctions en région Paris.

Combien coûte Optimizely ?

Optimizely ne publie pas de prix : devis personnalisé, facturation fondée sur les MAU.4546 Probant est vendu au forfait mensuel fixe, sans dépassement : la facture ne dépasse jamais le forfait choisi.

Sources.

Pages officielles d’Optimizely, consultées le 7 novembre 2026. Les citations sont reproduites dans leur langue d’origine.

  1. Source 1 : www.optimizely.com/company/press/free-to-grow
    Optimizely is the AI platform for marketing, built for the experience-makers who shape how brands show up in the world.
  2. Source 2 : www.optimizely.com/products/web-experimentation
    Run experiments wherever your customers are. Use a visual editor for fast web testing, or go deeper with server-side control.
  3. Source 3 : www.optimizely.com/company/press/free-to-grow
    NEW YORK, June 22, 2026
  4. Source 4 : docs.optimizely.com/experimentation-strategy/docs/how-and-why-statistical-significance-changes-over-time-in-optimizely-experimentation
    Optimizely's Stats Engine uses sequential experimentation, not the fixed-horizon experiments you see on other platforms.
  5. Source 5 : docs.optimizely.com/experimentation-strategy/docs/statistical-analysis-methods-overview
    Optimizely Feature Experimentation offers the following statistical analysis methods for running A/B tests:
  6. Source 6 : docs.optimizely.com/experimentation-strategy/docs/bayesian-statistics
    the current version of Bayesian statistics uses uninformed priors
  7. Source 7 : docs.optimizely.com/experimentation-strategy/docs/statistical-analysis-methods-overview
    Monitor results continuously during the experiment. The results are always valid because Optimizely controls the false discovery rate.
  8. Source 8 : docs.optimizely.com/experimentation-strategy/docs/optimizely-s-automatic-sample-ratio-mismatch-detection
    Optimizely Experimentation's automatic SRM detection uses a statistical method called sequential sample ratio mismatch (SSRM).
  9. Source 10 : docs.optimizely.com/experimentation-strategy/docs/take-action-now-srm-detected-experiment-health
    The experiment should be paused immediately to investigate the issue.
  10. Source 11 : docs.optimizely.com/web-experimentation/docs/guardrail-alerts
    Guardrail alerts let you configure metric alerts that protect business-important metrics during an experiment.
  11. Source 12 : docs.optimizely.com/web-experimentation/docs/guardrail-alerts
    This setting applies per guardrail metric and is off by default.
  12. Source 13 : docs.optimizely.com/web-experimentation/docs/guardrail-alerts
    The pause happens at the next scheduled check after the breach, not in real time.
  13. Source 14 : docs.optimizely.com/feature-experimentation/docs/run-feature-rollouts-in-feature-experimentation
    Roll out a feature progressively (10%, 25%, 50%, then 100%) and measure impact at each stage.
  14. Source 16 : docs.optimizely.com/experimentation-strategy/docs/controlled-traffic-allocation-ramping
    Ramping is when you gradually expose traffic to new test variations.
  15. Source 17 : docs.optimizely.com/experimentation-strategy/docs/experimentation-distribution-methods
    MAB optimizations do not generate statistical significance. Instead, they push traffic to the better-performing variations.
  16. Source 18 : docs.optimizely.com/web-experimentation/docs/configure-revenue-tracking
    you can see the revenue earned per visitor, revenue per paying visitor, purchases, and the total revenue earned per variation on the Optimizely Experimentation Results page.
  17. Source 19 : docs.optimizely.com/web-experimentation/docs/outlier-management
    Optimizely lets you choose between two outlier management methods: metric capping (capping at a specified metric value) and Winsorization (capping at a specified percentile).
  18. Source 20 : docs.optimizely.com/experimentation-strategy/docs/false-discovery-rate-control
    Optimizely's Stats Engine uses a tiered version of the Benjamini-Hochberg procedure for false discovery rate control to correct statistical significance across multiple metrics and variations.
  19. Source 21 : docs.optimizely.com/experimentation-strategy/docs/false-discovery-rate-control
    But, when you segment results, the false discovery rate control is not maintained.
  20. Source 22 : docs.optimizely.com/web-experimentation/docs/experiment-types-in-web-experimentation
    Testing all possible combinations of a multivariate test is also known as full factorial testing.
  21. Source 23 : docs.optimizely.com/web-experimentation/docs/experiment-types-in-web-experimentation
    reveals information about how they interact with one another
  22. Source 24 : docs.optimizely.com/web-experimentation/docs/experiment-types-in-web-experimentation
    Even a site with reasonably high traffic can have trouble completing a test with more than 25 combinations.
  23. Source 25 : docs.optimizely.com/web-experimentation/docs/uvn0-cuped-controlled-experiment-using-pre-experiment-data
    CUPED (Controlled-experiment Using Pre-Experiment Data) is a statistical method that reduces variance in A/B tests
  24. Source 26 : docs.optimizely.com/web-experimentation/docs/uvn0-cuped-controlled-experiment-using-pre-experiment-data
    This feature is available only for numeric metrics: it is mathematically inapplicable to conversion metrics.
  25. Source 27 : docs.optimizely.com/web-experimentation/docs/uvn0-cuped-controlled-experiment-using-pre-experiment-data
    By default, CUPED applies only to the first three decision-making metrics in the experiment.
  26. Source 28 : support.optimizely.com/hc/en-us/articles/37424389168013-New-Visual-Editor
    The new Visual Editor is a WYSIWYG (What You See Is What You Get) editor that uses an overlay instead of an iframe.
  27. Source 29 : support.optimizely.com/hc/en-us/articles/37424389168013-New-Visual-Editor
    Optimizely Web Companion is a browser extension that opens the Visual Editor for Web Experimentation directly from your browser.
  28. Source 30 : docs.optimizely.com/web-experimentation/docs/get-started-with-experience-templates
    Countdown timer – Displays a countdown timer. For example, use this to count down to the start of an event.
  29. Source 31 : docs.optimizely.com/web-experimentation/docs/get-started-with-experience-templates
    Displays information at the top or bottom of the page.
  30. Source 33 : docs.optimizely.com/web-experimentation/docs/load-snippet-synchronously-and-asynchronously
    Optimizely Web Experimentation uses a synchronous snippet to prevent flickering and a balanced content delivery network (CDN) system to make sure the impact on the page is minimized.
  31. Source 34 : docs.optimizely.com/web-experimentation/docs/page-load-speed
    The snippet contains the information of any running experiments, all audience and goal definitions, and the jQuery library.
  32. Source 35 : docs.optimizely.com/web-experimentation/docs/HnnD-site-performance-best-practices
    Each experiment is limited to a maximum of 1,048,572 bytes.
  33. Source 36 : docs.optimizely.com/performance-edge/docs/overview
    Optimizely Performance Edge is designed to improve page performance by performing targeting and variation assignment tasks at the Edge instead of in the browser.
  34. Source 37 : docs.optimizely.com/feature-experimentation/docs/granular-roles-and-permissions-in-feature-experimentation
    Granular roles and permissions let you control access to environments, flags, and audiences with precision.
  35. Source 38 : docs.optimizely.com/web-experimentation/docs/5nV4-manage-collaborators
    Most collaborator roles are project-specific, giving you different collaborator statuses across different projects.
  36. Source 39 : www.optimizely.com/trust-center/optimizely-eu-data-privacy
    If you choose to select the EU Data Hosting (where applicable), your data will be stored in EU data centers ensuring that you have full control over data location.
  37. Source 40 : www.optimizely.com/legal/sub-processors/third-party
    Web & Feature Experimentation Amazon Web Services Inc. Cloud hosting and infrastructure provider United States
  38. Source 41 : www.optimizely.com/legal/sub-processors/third-party
    Web & Feature Experimentation Google Cloud Cloud Service Provider United States, Europe
  39. Source 42 : docs.optimizely.com/experimentation-strategy/docs/configure-cookie-and-local-storage-consent
    Since a cookie opt-in option is not required in all regions or for all cookies, Optimizely Web Experimentation does not set the optimizelyOptOut cookie by default.
  40. Source 43 : docs.optimizely.com/experimentation-strategy/docs/configure-cookie-and-local-storage-consent
    Add the code above the Optimizely Web Experimentation snippet on your page. Otherwise, the JavaScript snippet will run and set the tracking cookie(s) and storage items on your visitor.
  41. Source 44 : docs.optimizely.com/experimentation-strategy/docs/configure-cookie-and-local-storage-consent
    If you use a tag manager on your site, you can use conditional logic in the tag manager to load the Optimizely Web Experimentation JavaScript snippet only if a visitor has provided consent.
  42. Source 45 : www.optimizely.com/plans
    Get pricing tailored to your business. Tell us about your goals and requirements, and our team will put together a personalized Optimizely quote that fits your needs.
  43. Source 46 : docs.optimizely.com/experimentation-strategy/docs/review-impression-usage
    Starting in September 2020, Optimizely Experimentation introduced a simplified usage billing component: Monthly Active Users (MAUs).
  44. Source 47 : docs.optimizely.com/experimentation-strategy/docs/troubleshoot-mau-overages
    If your Monthly Usage Information reports more Monthly Active Users (MAUs) than expected, work through this article to identify the cause.

Probant Ou pas encore…

Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.

  • Démo ouverte, sans inscription
  • Forfait fixe, jamais de dépassement
  • Données hébergées à Paris