Probant ou Kameleoon
Les deux outils comparés point par point, d’après la documentation publique de Kameleoon, consultée le 7 novembre 2026. Chaque affirmation sur Kameleoon renvoie à sa source.
Ce que Kameleoon propose.
Kameleoon est une société française, dont l’adresse figure à Paris.1 Elle se présente comme une plateforme unifiée d’expérimentation, de feature management et de personnalisation par IA, pour les marketeurs, les product managers et les développeurs, sur le web, le mobile et le serveur.2 Elle met en avant l’expérimentation par prompt (PBX).3 Elle revendique plus de 1 000 marques.4
Probant s’adresse aux sites qui veulent des tests A/B dont le verdict tient : un plan fixé avant le lancement, et des garde-fous suivis jusqu’au déploiement. Il mesure ce que vaut vraiment chaque conversion : la marge d’une commande, le lead qualifié ou signé, l’abonnement payé.
Les différences, point par point.
À gauche, ce que dit la documentation publique de Kameleoon, chaque phrase avec sa source. À droite, ce que fait Probant. « Non mentionné » signifie que rien n’a été trouvé dans cette documentation : ce n’est pas la preuve qu’une fonction n’existe pas.
| Point comparé | Kameleoon | Probant |
|---|---|---|
| Méthode statistique | Trois approches au choix : fréquentiste, bayésienne et séquentielle.5 Le cadre fréquentiste est celui que la documentation présente par défaut.6 En bayésien, a priori non informatifs par défaut.7 | Fréquentiste, avec un plan séquentiel fixé avant le lancement : effet visé, durée et points de contrôle. Le verdict s’écrit en une phrase, avec une fourchette à 95 %. |
| Coup d’œil (peeking) | Le test séquentiel donne un intervalle de confiance valide à tout moment de l’expérience.8 Il repose sur une séquence de confiance à mélange gaussien, issue de l’inférence « always valid » (Howard et al., 2021).910 | On ne décide qu’aux points de contrôle prévus, avec les bornes d’O’Brien-Fleming : très strictes au début, proches du seuil classique à la fin. Pendant un déploiement, les fourchettes sont toujours valides (mSPRT) : on peut les consulter à tout moment. |
| Répartition des visiteurs (SRM) | Détection native par test du khi-deux, seuil de 0,001 sur la p-value.11 Contrôles toutes les heures pendant les premières 24 heures, puis chaque jour.12 En cas de SRM, la documentation demande de mettre d’abord l’expérience en pause.13 | La répartition des visiteurs est contrôlée par un test du khi-deux à chaque lecture du rapport. En cas de déséquilibre, le test passe au statut « bloqué » : aucun gagnant n’est annoncé. |
| Garde-fous | Conditions de rollback : Kameleoon met l’expérience en pause quand un objectif franchit le seuil défini, vérifié environ toutes les 5 minutes.1415 Une feature peut aussi être coupée automatiquement, règle par règle ou pour tout l’environnement.16 | Les métriques garde-fous sont suivies avec leur fourchette ; un garde-fou n’est franchi que si toute la fourchette dépasse la limite. Un garde-fou franchi bloque le verdict du test, arrête seul un test en cours et, pendant un déploiement, ramène les visiteurs sur l’originale automatiquement. |
| Déploiements progressifs | Livraison progressive vers une audience croissante, en pourcentage ou par étapes prédéfinies.1718 Rollback fondé sur la performance des KPI.19 | Paliers 25 % → 50 % → 100 % par défaut, 10 % → 25 % → 50 % → 100 % en mode prudent. Retour arrière automatique quand un garde-fou est franchi ; un visiteur exposé le reste aux paliers suivants. |
| Multi-armed bandit | Bandit manchot et bandit contextuel listés dans leurs offres.2021 | Test d’optimisation : échantillonnage de Thompson, réalloué au plus une fois par jour, avec une part minimale par variante. Il maximise un taux de conversion, ou un montant par visiteur comme le chiffre d’affaires : probabilité d’acheter et panier moyen tirés de leurs lois, valeurs plafonnées au centile comme dans un test A/B. En option, des parts par appareil (mobile, tablette, ordinateur) : un tirage par appareil, chacun avec son apprentissage et son plancher. Un visiteur garde toujours sa variante : une nouvelle répartition ne vaut que pour les visiteurs arrivés après elle. Dit à l’écran : il maximise les conversions (ou le montant par visiteur) pendant le test, il ne prouve pas qu’une variante est meilleure. L’écart se lit époque par époque (et appareil par appareil), sans gagnant proclamé ; l’export CSV donne la même lecture. |
| Revenu et marge par visiteur | Revenu par visite ou par visiteur et panier moyen, avec un intervalle de crédibilité en mode bayésien.22 Winsorisation des objectifs de revenu et métriques de ratio.2324 Marge par visiteur : non mentionnée dans leur documentation publique (consultée le 7 novembre 2026). | CA et marge par visiteur, chacun avec sa fourchette ; le gain est chiffré en euros. La marge est calculée sur le serveur, à partir des commandes rapprochées, du coût de chaque produit (Shopify ou CSV) et des frais de la boutique ; pas de verdict en marge sous 90 % du CA couvert par des coûts connus. |
| Biais du gagnant | Non mentionné dans leur documentation publique (consultée le 7 novembre 2026). | Le gain annoncé est corrigé du biais du gagnant, par rétrécissement bayésien vers les effets des tests passés de la boutique. |
| Mode bayésien | Mode bayésien au choix, parmi trois approches.5 A priori non informatifs par défaut.7 | En option, désactivée par défaut : une lecture bayésienne à côté du verdict, avec la probabilité que la variante fasse mieux, l’intervalle de crédibilité et la perte attendue de chaque choix. L’a priori est centré sur zéro et aussi large que les effets mesurés par les tests arrêtés de la boutique ; tant qu’ils sont trop peu nombreux pour l’estimer, pas de lecture : aucun a priori par défaut n’est inventé. La décision suit toujours le plan scellé ; quand les deux lectures divergent, le rapport dit pourquoi. |
| Comparaisons multiples | Correction de Holm–Šidák, choisie pour être plus puissante que Holm-Bonferroni.25 | Les comparaisons de segments sont corrigées par la méthode de Holm. Avec plusieurs variantes, le risque d’erreur se partage entre les comparaisons (Bonferroni). |
| Test multivarié | Toutes les combinaisons des variations sont créées automatiquement.26 Plus de sections demandent plus de trafic pour un résultat fiable.27 | Plan factoriel complet généré par Probant : de deux à quatre sections, chacune de deux à quatre niveaux, seize combinaisons au plus, chacune servie comme une variante. Effets principaux de chaque section sur tout le trafic et interactions entre deux sections, corrigés par la méthode de Holm sur les comparaisons annoncées au plan. Le plan dit, au trafic mesuré de l’espace, si le test peut conclure, et propose de retirer un niveau ou une section ; aucune meilleure combinaison n’est proclamée sans contrôle. |
| Réduction de variance (CUPED) | CUPED disponible, à partir des données des visiteurs existants.28 Uniquement avec la méthode fréquentiste, pas en séquentiel ni en bayésien.29 | CUPED appliqué aux rapports des tests réels, sur l’historique de chaque visiteur avant sa première exposition ; sans historique, l’écart reste brut et le rapport le dit. |
| Éditeur visuel | L’éditeur graphique se charge directement par-dessus le site, dans le navigateur, depuis une page où le script est installé.3031 | Deux façons d’éditer, qui produisent les mêmes modifications : un aperçu de la page chargé par Probant, sans ses scripts, ou la vraie page du site, scripts compris. Sur le site, l’éditeur est chargé par le script déjà installé, avec un lien signé, de courte durée, pour un brouillon et une variante ; sans extension de navigateur. Il n’envoie à Probant que les modifications choisies. |
| Widgets | Le Widget Studio crée bandeaux, pop-ins et comptes à rebours, jusqu’à une date ou pour quelques heures.3233 Version gratuite du Widget Studio incluse ; version premium sur demande.34 | Bandeau, compte à rebours, pop-in, badge, réassurance, barre d’action, date de livraison, preuve sociale, code promo, livraison offerte et enquête, réglés sans code dans l’éditeur et gardés dans la bibliothèque de l’espace pour d’autres tests. Un widget n’est qu’une suite de modifications ordinaires : textes échappés, liens en https ou vers le site, styles posés sans attribut style, donc sans assouplir une politique CSP stricte. Le compte à rebours suit le fuseau du site et disparaît à l’échéance ; la pop-in s’ouvre à l’arrivée, à l’intention de sortie ou après défilement, se ferme au clavier et ne réapparaît plus de la visite si le consentement le permet. Leurs petits modules ne se chargent que pour les visiteurs de la variante. La date de livraison est recalculée chez le visiteur (heure limite, jours ouvrés, jours fériés) ; la preuve sociale compte exactement les achats reçus sur une semaine glissante et ne s’affiche qu’à partir d’un seuil : Probant n’affiche jamais de faux « X personnes regardent ce produit ». L’enquête pose une question à réponses fermées ou une échelle de recommandation, sans texte libre ; chaque réponse part avec les conversions, après l’accord du visiteur quand l’espace l’exige, et se lit par variante, avec sa fourchette. |
| Script et clignotement | Le tag asynchrone masque toute la page par une règle CSS pendant le téléchargement du script, 750 ms au plus par défaut.3536 Kameleoon indique que ce masquage peut produire une page blanche et retarder le First Contentful Paint.37 Fichier applicatif de 29 kB compressé (Brotli).38 | Script de moins de 6,5 Ko compressé, chargé en asynchrone, qui ne masque jamais la page. Affectation côté serveur possible, pour un affichage sans aucun clignotement. |
| Permissions fines | Rôles prédéfinis (Super Admin, Admin, Technical, Marketing, Production), attribués par utilisateur et par projet ; plusieurs rôles se cumulent.39 | Quatre rôles fixes, et des rôles personnalisés que le propriétaire compose à partir d’un catalogue de permissions nommées : préparer, lancer et arrêter, déployer, approuver un lancement, écrire le JavaScript des variantes, gérer les drapeaux, les métriques, la marge, les membres, les clés. Aucune élévation : la facturation, les rôles, le transfert et la suppression de l’espace restent au propriétaire ; on n’attribue jamais plus que ses propres permissions, et une clé d’API ne dépasse pas celles de son auteur. |
| Hébergement des données | Clients regroupés en clusters par pays, chacun hébergé physiquement dans son pays : les clients français partagent le cluster français.4041 Résidence des données UE ou États-Unis selon l’offre, ou sur mesure en Enterprise.42 Ville et hébergeur du cluster français : non mentionnés dans leur documentation publique (consultée le 7 novembre 2026). | Base de données et fonctions en région Paris (Supabase, Vercel cdg1). |
| Consentement par défaut | Plusieurs politiques : « consentement requis », où Kameleoon ne fonctionne pas normalement avant l’accord, ou « consentement non requis », où il démarre aussitôt.4344 Un mode différé affiche les variantes sans écrire ni envoyer de données avant le consentement.45 | Consentement exigé par défaut : aucun cookie, aucune affectation et aucun envoi avant l’accord du visiteur. Accord donné en cours de lecture : la page ne change pas sous les yeux du visiteur, sa variante commence à la page suivante. Cookie interne au site, de 390 jours au plus, jamais prolongé. |
| Modèle de prix | Offre d’entrée PBX Starter à partir de 495 $ par mois, pour 10 expériences et 50 000 visiteurs testés par mois.46 Enterprise sur devis.47 Sur Starter, les expériences s’arrêtent quand le quota est atteint.48 Essai gratuit de 30 jours, sans carte bancaire.49 | Forfait mensuel fixe, sans dépassement : la facture ne dépasse jamais le forfait choisi. |
Ce que Kameleoon fait aussi.
Ces points, Probant les partage avec Kameleoon. Ils ne sont pas propres à Probant.
Un test séquentiel « always valid »
Une séquence de confiance valide à tout moment, de la même famille que les fourchettes mSPRT des déploiements de Probant.910
Une correction des comparaisons multiples
Holm–Šidák, une variante de la méthode de Holm.25
Une détection SRM native
Des arrêts automatiques sur seuil
Pause automatique d’une expérience, ou coupure d’une feature, quand un seuil est franchi.1416
Des déploiements progressifs
Un hébergement en France
Les clients français sont hébergés dans un cluster situé en France.4041
Un mode « consentement requis »
Kameleoon ne fonctionne pas normalement tant que le consentement n’est pas donné.43
Quand choisir Kameleoon plutôt que Probant.
D’après la documentation publique de Kameleoon.
Vous voulez personnalisation et feature management avec les tests
Kameleoon réunit expérimentation, feature management et personnalisation par IA, sur le web, le mobile et le serveur.2
Probant propose aussi des feature flags, et une personnalisation toujours mesurée contre une part témoin de l’audience.
Vous voulez choisir votre méthode statistique
Fréquentiste, bayésien ou séquentiel, au choix.5
Probant applique un plan séquentiel fréquentiste, fixé avant le lancement.
Vous voulez CUPED en mode fréquentiste
CUPED est disponible en mode fréquentiste.2829
Chez Probant aussi, CUPED s’applique aux rapports, sur l’historique de chaque visiteur avant sa première exposition.
Vous voulez un prix d’entrée public et un essai
À partir de 495 $ par mois, avec un essai gratuit de 30 jours.4649
Chez Probant, la démo est ouverte sans inscription, et créer un espace est gratuit.
Ce qui distingue Probant.
Ces points ne figurent pas dans la documentation publique de Kameleoon, consultée le 7 novembre 2026. Une absence de mention n’est pas une preuve d’absence : s’ils comptent pour vous, posez la question à Kameleoon.
La marge par visiteur
Probant mesure le CA et la marge par visiteur, chacun avec sa fourchette.
KameleoonLa marge par visiteur n’est pas mentionnée dans leur documentation publique (consultée le 7 novembre 2026).
En savoir plusLa correction du biais du gagnant
Le gain annoncé est corrigé par rétrécissement bayésien vers les effets des tests passés de la boutique.
KameleoonUne correction du biais du gagnant n’est pas mentionnée dans leur documentation publique (consultée le 7 novembre 2026).
En savoir plusUn SRM qui bloque le verdict
Un déséquilibre de répartition fait passer le test au statut « bloqué » : aucun gagnant n’est annoncé.
KameleoonLa documentation de Kameleoon décrit une alerte et demande de mettre soi-même l’expérience en pause.13 Un blocage automatique n’y est pas mentionné (consultée le 7 novembre 2026).
Une région d’hébergement précise
Base de données et fonctions en région Paris (Supabase, Vercel cdg1).
KameleoonKameleoon héberge ses clients français en France.40 La ville et l’hébergeur du cluster ne sont pas mentionnés dans leur documentation publique (consultée le 7 novembre 2026).
Questions fréquentes.
Kameleoon fait-il du test séquentiel, comme Probant ?
Oui : son mode séquentiel donne un intervalle valide à tout moment de l’expérience.8 La documentation présente le cadre fréquentiste comme celui par défaut.6 Probant fixe ses points de contrôle avant le lancement (O’Brien-Fleming) et utilise des fourchettes toujours valides pendant les déploiements.
Où Kameleoon héberge-t-il les données ?
Les clients français sont hébergés dans le cluster français, situé en France.4041 Les offres proposent une résidence des données UE ou États-Unis.42 Probant héberge base de données et fonctions en région Paris.
Sources.
Pages officielles de Kameleoon, consultées le 7 novembre 2026. Les citations sont reproduites dans leur langue d’origine.
- Source 2 : kameleoon.com/llms.txt
Kameleoon is a unified experimentation, feature management, and AI-driven personalization platform used by marketers, product managers, and developers to run A/B tests, manage feature flags, and deliver personalized experiences across web, mobile, and server-side environments.
- Source 3 : kameleoon.com/llms.txt
Kameleoon pioneered Prompt-Based Experimentation (PBX), an AI capability that lets teams build, launch, and analyze experiments from natural-language prompts.
- Source 5 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/choosing-the-right-statistical-method-for-ab-testing
Kameleoon supports three statistical approaches for interpreting your results: Frequentist, Bayesian, and sequential testing.
- Source 6 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/statistical-significance
To help you decide, Kameleoon uses the frequentist statistical framework, which assesses how likely the observed data is if the "null" hypothesis is true.
- Source 7 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/bayesian
However, Kameleoon's A/B testing uses non-informative priors by default.
- Source 8 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/choosing-the-right-statistical-method-for-ab-testing
Provides a valid confidence interval at any point during the experiment's runtime.
- Source 9 : storage.googleapis.com/kameleoon-storage-documentation/user-manual/pdf/statistics-at-kameleoon.pdf
Kameleoon has chosen to use a Gaussian mixture asymptotic confidence sequence for its sequential tests
- Source 10 : storage.googleapis.com/kameleoon-storage-documentation/user-manual/pdf/statistics-at-kameleoon.pdf
It is based on always valid inference which was proposed by Howard et al. (2021)
- Source 11 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/sample-ratio-mismatch
Kameleoon uses a threshold of 0.001 for the p-value; an experiment tests positive for SRM if the p-value falls below this threshold.
- Source 12 : docs.kameleoon.com/user-manual/experiment-analytics/analyze-results/results-page-tabs/health-menu
They run hourly during the first 24 hours after you activate an experiment, and daily afterward for all active experiments.
- Source 13 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/sample-ratio-mismatch
Open the experiment Results page. Pause the experiment first to prevent further biased data collection.
- Source 14 : docs.kameleoon.com/user-manual/experimentation/web-experimentation/configure-and-launch/automatically-rollback-an-experiment
Define a performance threshold for a goal, and Kameleoon automatically pauses the experiment when the goal's performance crosses that threshold
- Source 15 : docs.kameleoon.com/user-manual/experimentation/web-experimentation/configure-and-launch/automatically-rollback-an-experiment
Kameleoon checks each condition approximately every 5 minutes.
- Source 16 : docs.kameleoon.com/user-manual/experimentation/feature-experimentation/using-the-rollout-planner/validation-and-rollback/automatically-rollback-a-feature
Choose whether to turn off only the selected rule or turn off the toggle for the entire environment.
- Source 17 : docs.kameleoon.com/user-manual/experimentation/feature-experimentation/using-the-rollout-planner/rules-and-targeting/define-progressive-delivery-rules
Progressive rollouts let you spread out large feature releases by gradually rolling them out to an increasing audience.
- Source 18 : www.kameleoon.com/plans
Percentage-based rollouts or set pre-defined stages and timelines for rollouts
- Source 22 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/bayesian
When you hover over non-binomial metrics, such as Revenue per visit/visitor or Average cart value, an overlay appears.
- Source 23 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/winsorization
If your custom goal includes a Revenue metric, Kameleoon applies Winsorization to it.
- Source 25 : storage.googleapis.com/kameleoon-storage-documentation/user-manual/pdf/statistics-at-kameleoon.pdf
we chose to implement the Holm–Šidák method as it is more powerful than the Holm-Bonferroni method
- Source 26 : docs.kameleoon.com/user-manual/experimentation/web-experimentation/advanced-experiment-types/setting-up-multivariate-tests
Kameleoon automatically creates all possible combinations from the variations you design.
- Source 27 : docs.kameleoon.com/user-manual/experimentation/web-experimentation/advanced-experiment-types/setting-up-multivariate-tests
the more sections you create, the more traffic you need to get usable, reliable results.
- Source 28 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/cuped
Controlled-experiment Using Pre-Experiment Data (CUPED) uses data from existing visitors to accelerate reliable experimentation and personalization results.
- Source 29 : docs.kameleoon.com/user-manual/experiment-analytics/statistical-methods/cuped
CUPED only works with the Frequentist statistical method. It doesn't work with Sequential testing or Bayesian.
- Source 30 : docs.kameleoon.com/user-manual/experimentation/web-experimentation/graphic-based-experiments/getting-started-with-the-graphic-editor
It loads directly on top of your website in the browser, letting you click on any element and modify it without writing code.
- Source 31 : docs.kameleoon.com/user-manual/experimentation/web-experimentation/graphic-based-experiments/getting-started-with-the-graphic-editor
Navigate to a webpage on which you have installed the Kameleoon script.
- Source 32 : docs.kameleoon.com/user-manual/assets/widgets/create-a-widget-with-the-widget-studio/create-a-widget
A widget is a banner, pop-in, countdown, survey, or other piece of content
- Source 33 : docs.kameleoon.com/user-manual/assets/widgets/create-a-widget-with-the-widget-studio/create-a-widget
choose Till date to end the countdown on a date several days away, or Timer to count down in hours.
- Source 35 : docs.kameleoon.com/developer-docs/web-experimentation/technical-concepts/flicker-management-and-performance
The snippet includes a “blocking CSS rule” that initially hides all the content on the page while the browser downloads the script.
- Source 36 : docs.kameleoon.com/developer-docs/web-experimentation/technical-concepts/flicker-management-and-performance
By default, this variable has the value 750 milliseconds.
- Source 37 : docs.kameleoon.com/developer-docs/web-experimentation/technical-concepts/flicker-management-and-performance
Hiding the page until the Kameleoon application file loads or the timeout expires can cause a white page and a slower First Contentful Paint (FCP).
- Source 38 : docs.kameleoon.com/developer-docs/web-experimentation/technical-concepts/flicker-management-and-performance
The application file, created using TypeScript, has a size of just 29 kB (compressed with Brotli), which minimizes loading time on the first page.
- Source 39 : docs.kameleoon.com/user-manual/account-and-team-management/users-and-teams/user-roles
You assign roles per user and per project. If a user has multiple roles, Kameleoon merges their permissions and grants the combined access.
- Source 40 : docs.kameleoon.com/developer-docs/web-experimentation/self-hosting/simple-self-hosting-and-on-premises-options
Kameleoon groups customers into clusters based on their geographic location (country). For example, French customers share data within the French data cluster, while German customers share data within the German clusters.
- Source 41 : docs.kameleoon.com/developer-docs/web-experimentation/self-hosting/simple-self-hosting-and-on-premises-options
Kameleoon always physically hosts a country's cluster in a data center on that country's soil to ensure data confidentiality and compliance with regional data privacy laws.
- Source 43 : docs.kameleoon.com/developer-docs/privacy-and-compliance/consent-management
Consent required: With this policy, consent must be explicitly obtained from the visitor. Until it is given, the legal consent will be considered to be "unknown" and Kameleoon will not operate normally.
- Source 44 : docs.kameleoon.com/developer-docs/privacy-and-compliance/consent-management
Consent not required: With this policy, consent is not explicitly required for this website and module. Kameleoon assumes it is granted automatically and starts immediately in full-featured mode.
- Source 45 : docs.kameleoon.com/developer-docs/privacy-and-compliance/consent-management
In this mode, Kameleoon does not send any data to tracking servers nor write any data to the device. However, it will still display experiments (or personalizations) normally, if the visitor triggers the associated segment.
- Source 46 : www.kameleoon.com/plans
Starting from $495/month Build up to 10 experiments and test 50,000 visitors per month.
- Source 47 : www.kameleoon.com/plans
Custom Unlimited Experiments. Unlimited tested traffic. Advanced capabilities.
- Source 48 : www.kameleoon.com/plans
At 90% of your quota, you’ll be notified by email and in-app. At 100%, experiments stop running.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris