Probant ou Shoplift
Les deux outils comparés point par point, d’après la documentation publique de Shoplift, consultée le 11 novembre 2026. Chaque affirmation sur Shoplift renvoie à sa source.
Ce que Shoplift propose.
Shoplift se présente comme la plateforme d’A/B testing et de CRO native de Shopify, pour les marques en croissance.1 Fondée en 2021, elle a son siège à New York.2 Ses résultats sont bayésiens, avec une probabilité de gagner.3
Probant s’adresse aux sites qui veulent des tests A/B dont le verdict tient : un plan fixé avant le lancement, et des garde-fous suivis jusqu’au déploiement. Il mesure ce que vaut vraiment chaque conversion : la marge d’une commande, le lead qualifié ou signé, l’abonnement payé.
Les différences, point par point.
À gauche, ce que dit la documentation publique de Shoplift, chaque phrase avec sa source. À droite, ce que fait Probant. « Non mentionné » signifie que rien n’a été trouvé dans cette documentation : ce n’est pas la preuve qu’une fonction n’existe pas.
| Point comparé | Shoplift | Probant |
|---|---|---|
| Méthode statistique | Moteur bayésien unique (« Probability to Win » et écart avec fourchette). Aucun mode fréquentiste n’est documenté ; l’éditeur revendique explicitement ne pas viser la significativité classique.3 | Fréquentiste, avec un plan séquentiel fixé avant le lancement : effet visé, durée et points de contrôle. Le verdict s’écrit en une phrase, avec une fourchette à 95 %. |
| Coup d’œil (peeking) | Pas de test séquentiel documenté : un verdict n’est donné que si la probabilité reste au-dessus d’un seuil pendant plusieurs jours (« stability hold »). À l’inverse, une option arrête automatiquement le test dès que la significativité est atteinte.45 | On ne décide qu’aux points de contrôle prévus, avec les bornes d’O’Brien-Fleming : très strictes au début, proches du seuil classique à la fin. Pendant un déploiement, les fourchettes sont toujours valides (mSPRT) : on peut les consulter à tout moment. |
| Répartition des visiteurs (SRM) | Aucun contrôle SRM automatique documenté dans l’app. Le guide API suggère de surveiller soi-même l’écart de répartition dans un script d’alerte Slack.6 | La répartition des visiteurs est contrôlée par un test du khi-deux à chaque lecture du rapport. En cas de déséquilibre, le test passe au statut « bloqué » : aucun gagnant n’est annoncé. |
| Garde-fous | Aucune métrique garde-fou native n’est documentée. Le guide API propose d’écrire un script (par exemple avec Claude) qui alerte et peut mettre en pause un test en échec.7 | Les métriques garde-fous sont suivies avec leur fourchette ; un garde-fou n’est franchi que si toute la fourchette dépasse la limite. Un garde-fou franchi bloque le verdict du test, arrête seul un test en cours et, pendant un déploiement, ramène les visiteurs sur l’originale automatiquement. |
| Déploiements progressifs | Appliquer la variante gagnante est possible pour les tests de thème et de modèle.8 Un déploiement par paliers avec retour arrière automatique n’est pas mentionné dans leur documentation publique (consultée le 11 novembre 2026). | Paliers 25 % → 50 % → 100 % par défaut, 10 % → 25 % → 50 % → 100 % en mode prudent. Retour arrière automatique quand un garde-fou est franchi ; un visiteur exposé le reste aux paliers suivants. |
| Multi-armed bandit | La répartition ne se modifie pas pendant un test, pour garder la même distribution jusqu’à la fin.9 | Test d’optimisation : échantillonnage de Thompson, réalloué au plus une fois par jour, avec une part minimale par variante. Il maximise un taux de conversion, ou un montant par visiteur comme le chiffre d’affaires : probabilité d’acheter et panier moyen tirés de leurs lois, valeurs plafonnées au centile comme dans un test A/B. En option, des parts par appareil (mobile, tablette, ordinateur) : un tirage par appareil, chacun avec son apprentissage et son plancher. Un visiteur garde toujours sa variante : une nouvelle répartition ne vaut que pour les visiteurs arrivés après elle. Dit à l’écran : il maximise les conversions (ou le montant par visiteur) pendant le test, il ne prouve pas qu’une variante est meilleure. L’écart se lit époque par époque (et appareil par appareil), sans gagnant proclamé ; l’export CSV donne la même lecture. |
| Revenu et marge par visiteur | Revenu par visiteur et panier moyen peuvent être l’objectif du test ; l’écart est affiché avec une fourchette d’incertitude.1011 La page comparative de Shoplift attribue à Intelligems un suivi du profit, à partir des coûts des produits.12 La marge par visiteur n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). | CA et marge par visiteur, chacun avec sa fourchette ; le gain est chiffré en euros. La marge est calculée sur le serveur, à partir des commandes rapprochées, du coût de chaque produit (Shopify ou CSV) et des frais de la boutique ; pas de verdict en marge sous 90 % du CA couvert par des coûts connus. |
| Biais du gagnant | Une correction du biais du gagnant n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). | Le gain annoncé est corrigé du biais du gagnant, par rétrécissement bayésien vers les effets des tests passés de la boutique. |
| Mode bayésien | « Probability to Win » et écart (lift) affiché avec une fourchette ; étapes Leaning, High Confidence, Clear Winner. Prior et perte attendue non documentés.13 | En option, désactivée par défaut : une lecture bayésienne à côté du verdict, avec la probabilité que la variante fasse mieux, l’intervalle de crédibilité et la perte attendue de chaque choix. L’a priori est centré sur zéro et aussi large que les effets mesurés par les tests arrêtés de la boutique ; tant qu’ils sont trop peu nombreux pour l’estimer, pas de lecture : aucun a priori par défaut n’est inventé. La décision suit toujours le plan scellé ; quand les deux lectures divergent, le rapport dit pourquoi. |
| Comparaisons multiples | Une correction des comparaisons multiples n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). | Les comparaisons de segments sont corrigées par la méthode de Holm. Avec plusieurs variantes, le risque d’erreur se partage entre les comparaisons (Bonferroni). |
| Test multivarié | Ni A/B/n ni multivarié : un test compare un original et une variante ; l’éditeur propose de lancer plusieurs tests en parallèle avec exclusion mutuelle.14 | Plan factoriel complet généré par Probant : de deux à quatre sections, chacune de deux à quatre niveaux, seize combinaisons au plus, chacune servie comme une variante. Effets principaux de chaque section sur tout le trafic et interactions entre deux sections, corrigés par la méthode de Holm sur les comparaisons annoncées au plan. Le plan dit, au trafic mesuré de l’espace, si le test peut conclure, et propose de retirer un niveau ou une section ; aucune meilleure combinaison n’est proclamée sans contrôle. |
| Réduction de variance (CUPED) | Une réduction de variance (CUPED) n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). | CUPED appliqué aux rapports des tests réels, sur l’historique de chaque visiteur avant sa première exposition ; sans historique, l’écart reste brut et le rapport le dit. |
| Éditeur visuel | Pas d’éditeur visuel propre : la variante (template ou thème dupliqué) se modifie dans l’éditeur de thème Shopify. Les tests « API » exécutent du JavaScript écrit par un développeur.1516 | Deux façons d’éditer, qui produisent les mêmes modifications : un aperçu de la page chargé par Probant, sans ses scripts, ou la vraie page du site, scripts compris. Sur le site, l’éditeur est chargé par le script déjà installé, avec un lien signé, de courte durée, pour un brouillon et une variante ; sans extension de navigateur. Il n’envoie à Probant que les modifications choisies. |
| Widgets | Lift Assist fournit des sections de thème prêtes à tester, stylées avec les couleurs et polices de la boutique ; inclus à partir de l’offre Advanced.17 | Bandeau, compte à rebours, pop-in, badge, réassurance, barre d’action, date de livraison, preuve sociale, code promo, livraison offerte et enquête, réglés sans code dans l’éditeur et gardés dans la bibliothèque de l’espace pour d’autres tests. Un widget n’est qu’une suite de modifications ordinaires : textes échappés, liens en https ou vers le site, styles posés sans attribut style, donc sans assouplir une politique CSP stricte. Le compte à rebours suit le fuseau du site et disparaît à l’échéance ; la pop-in s’ouvre à l’arrivée, à l’intention de sortie ou après défilement, se ferme au clavier et ne réapparaît plus de la visite si le consentement le permet. Leurs petits modules ne se chargent que pour les visiteurs de la variante. La date de livraison est recalculée chez le visiteur (heure limite, jours ouvrés, jours fériés) ; la preuve sociale compte exactement les achats reçus sur une semaine glissante et ne s’affiche qu’à partir d’un seuil : Probant n’affiche jamais de faux « X personnes regardent ce produit ». L’enquête pose une question à réponses fermées ou une échelle de recommandation, sans texte libre ; chaque réponse part avec les conversions, après l’accord du visiteur quand l’espace l’exige, et se lit par variante, avec sa fourchette. |
| Script et clignotement | Snippet shoplift.liquid placé juste après <head>, ajouté automatiquement. Pendant un test, l’anti-flicker masque la page, en général moins de 150 ms ; impact annoncé de 1 à 2 points Lighthouse (2 à 4 points sur la page tarifs). Poids non publié ; conversions suivies côté serveur via le Web Pixel Shopify.181920 | Script de moins de 6,5 Ko compressé, chargé en asynchrone, qui ne masque jamais la page. Affectation côté serveur possible, pour un affichage sans aucun clignotement. |
| Permissions fines | L’accès suit la permission d’application de Shopify.21 Des rôles personnalisés ou des permissions fines ne sont pas mentionnés dans leur documentation publique (consultée le 11 novembre 2026). | Quatre rôles fixes, et des rôles personnalisés que le propriétaire compose à partir d’un catalogue de permissions nommées : préparer, lancer et arrêter, déployer, approuver un lancement, écrire le JavaScript des variantes, gérer les drapeaux, les métriques, la marge, les membres, les clés. Aucune élévation : la facturation, les rôles, le transfert et la suppression de l’espace restent au propriétaire ; on n’attribue jamais plus que ses propres permissions, et une clé d’API ne dépasse pas celles de son auteur. |
| Hébergement des données | Les données sont transférées et traitées aux États-Unis ; l’infrastructure repose sur Google Cloud.2223 Une région d’hébergement dans l’UE n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). | Base de données et fonctions en région Paris (Supabase, Vercel cdg1). |
| Consentement par défaut | Par défaut, Shoplift lit l’API Customer Privacy de Shopify et n’enregistre les données analytiques qu’après consentement. L’affectation à une variante (cookies et stockage navigateur) a lieu sans consentement, et les événements mis en file avant le consentement sont envoyés une fois celui-ci donné.24252627 | Consentement exigé par défaut : aucun cookie, aucune affectation et aucun envoi avant l’accord du visiteur. Accord donné en cours de lecture : la page ne change pas sous les yeux du visiteur, sa variante commence à la page suivante. Cookie interne au site, de 390 jours au plus, jamais prolongé. |
| Modèle de prix | Prix public selon les visiteurs uniques mensuels de tout le site (pas seulement testés). Core dès 99 $/mois (74 $ en annuel), Advanced 399 $/mois (prix, API, personnalisation), Pro 999 $/mois. En cas de dépassement, les tests sont mis en pause jusqu’à la remise à zéro ou une montée en gamme.28293031 | Forfait mensuel fixe, sans dépassement : la facture ne dépasse jamais le forfait choisi. |
Ce que Shoplift fait aussi.
Ces points, Probant les partage avec Shoplift. Ils ne sont pas propres à Probant.
Le revenu par visiteur, avec sa fourchette
Revenu par visiteur et panier moyen peuvent être l’objectif du test ; l’écart est affiché avec une fourchette d’incertitude.1011
Des widgets prêts à l’emploi
Lift Assist fournit des sections de thème prêtes à tester, stylées avec les couleurs et polices de la boutique ; inclus à partir de l’offre Advanced.17
Une lecture bayésienne
« Probability to Win » et écart (lift) affiché avec une fourchette ; étapes Leaning, High Confidence, Clear Winner. Prior et perte attendue non documentés.13
Quand choisir Shoplift plutôt que Probant.
D’après la documentation publique de Shoplift.
Vous voulez tester des thèmes Shopify entiers, sans code
Pas d’éditeur visuel propre : la variante (template ou thème dupliqué) se modifie dans l’éditeur de thème Shopify. Les tests « API » exécutent du JavaScript écrit par un développeur.1516
Probant modifie la page dans son éditeur visuel, sur n’importe quel site.
Vous voulez une mesure qui suit l’API de confidentialité de Shopify
Par défaut, Shoplift lit l’API Customer Privacy de Shopify et n’enregistre les données analytiques qu’après consentement. L’affectation à une variante (cookies et stockage navigateur) a lieu sans consentement, et les événements mis en file avant le consentement sont envoyés une fois celui-ci donné.24252627
Probant exige le consentement par défaut : aucun cookie, aucune affectation et aucun envoi avant l’accord du visiteur.
Vous voulez un prix public
Prix public selon les visiteurs uniques mensuels de tout le site (pas seulement testés). Core dès 99 $/mois (74 $ en annuel), Advanced 399 $/mois (prix, API, personnalisation), Pro 999 $/mois. En cas de dépassement, les tests sont mis en pause jusqu’à la remise à zéro ou une montée en gamme.28293031
Probant est vendu au forfait mensuel fixe, sans dépassement.
Ce qui distingue Probant.
Ces points ne figurent pas dans la documentation publique de Shoplift, consultée le 11 novembre 2026. Une absence de mention n’est pas une preuve d’absence : s’ils comptent pour vous, posez la question à Shoplift.
La marge par visiteur
Probant mesure le CA et la marge par visiteur, chacun avec sa fourchette.
ShopliftLa page comparative de Shoplift attribue à Intelligems un suivi du profit, à partir des coûts des produits.12 La marge par visiteur n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026).
En savoir plusLa correction du biais du gagnant
Le gain annoncé est corrigé par rétrécissement bayésien vers les effets des tests passés de la boutique.
ShopliftUne correction du biais du gagnant n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026).
En savoir plusUn SRM qui bloque le verdict
Un déséquilibre de répartition fait passer le test au statut « bloqué » : aucun gagnant n’est annoncé.
ShopliftAucun contrôle SRM automatique documenté dans l’app. Le guide API suggère de surveiller soi-même l’écart de répartition dans un script d’alerte Slack.6 Un blocage automatique du test n’y est pas mentionné (consultée le 11 novembre 2026).
Le consentement exigé par défaut
Aucun cookie, aucune affectation et aucun envoi avant l’accord du visiteur.
ShopliftPar défaut, Shoplift lit l’API Customer Privacy de Shopify et n’enregistre les données analytiques qu’après consentement. L’affectation à une variante (cookies et stockage navigateur) a lieu sans consentement, et les événements mis en file avant le consentement sont envoyés une fois celui-ci donné.24252627 Un consentement exigé par défaut n’y est pas mentionné (consultée le 11 novembre 2026).
Questions fréquentes.
Combien coûte Shoplift ?
Prix public selon les visiteurs uniques mensuels de tout le site (pas seulement testés). Core dès 99 $/mois (74 $ en annuel), Advanced 399 $/mois (prix, API, personnalisation), Pro 999 $/mois. En cas de dépassement, les tests sont mis en pause jusqu’à la remise à zéro ou une montée en gamme.28293031 Probant est vendu au forfait mensuel fixe, sans dépassement : la facture ne dépasse jamais le forfait choisi.
Où Shoplift héberge-t-il les données ?
Les données sont transférées et traitées aux États-Unis ; l’infrastructure repose sur Google Cloud.2223 Une région d’hébergement dans l’UE n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). Probant héberge base de données et fonctions en région Paris.
Shoplift mesure-t-il la marge ?
La page comparative de Shoplift attribue à Intelligems un suivi du profit, à partir des coûts des produits.12 La marge par visiteur n’est pas mentionnée dans leur documentation publique (consultée le 11 novembre 2026). Probant mesure le CA et la marge par visiteur, chacun avec sa fourchette, à partir des commandes et du coût de chaque produit.
Peut-on regarder les résultats de Shoplift en cours de test ?
Pas de test séquentiel documenté : un verdict n’est donné que si la probabilité reste au-dessus d’un seuil pendant plusieurs jours (« stability hold »). À l’inverse, une option arrête automatiquement le test dès que la significativité est atteinte.45 Probant fixe ses points de contrôle avant le lancement (O’Brien-Fleming) et utilise des fourchettes toujours valides pendant les déploiements.
Sources.
Pages officielles de Shoplift, consultées le 11 novembre 2026. Les citations sont reproduites dans leur langue d’origine.
- Source 1 : www.shoplift.ai/press-kit
Shoplift is the Shopify-native A/B testing and conversion rate optimization (CRO) platform built for high-growth DTC brands.
- Source 2 : www.shoplift.ai/press-kit
Founded in 2021 and headquartered in New York City, Shoplift is the only CRO platform to earn "Shopify Plus Certified" status — handpicked by Shopify and less than 0.8% of all Shopify apps have earned this distinction.
- Source 3 : docs.shoplift.ai/analyze/reports/statistical-significance
While a test runs, Shoplift continuously evaluates test results using Bayesian statistical methods.
- Source 4 : docs.shoplift.ai/analyze/reports/statistical-significance
Probability to Win has to hold at or above a level for multiple days before Shoplift assigns a stage. That stability hold is the guardrail that keeps you from acting on a lucky moment instead of a settled result.
- Source 5 : docs.shoplift.ai/test/scheduling-tests
Choose to end the test automatically when statistical significance is achieved, ensuring you only gather data as long as it’s meaningful.
- Source 6 : docs.shoplift.ai/api-reference/public-api-1/shoplift-api/api-guides
Split drift: controlSplit and variantSplit should stay near your configured traffic split. A persistent gap suggests a sample ratio problem worth investigating.
- Source 7 : docs.shoplift.ai/api-reference/public-api-1/shoplift-api/api-guides
Auto-pause on failure. For hard failures, go beyond alerting: call POST /tests/:id/pause and note the pause in the Slack message.
- Source 8 : docs.shoplift.ai/test/implementing-winning-tests
Applying your variant is available for theme and template tests only.
- Source 9 : docs.shoplift.ai/get-started/frequently-asked-questions
You can't adjust the split percentage while a test is running. This ensures accuracy and validity of your results by maintaining the same sample distribution throughout the duration of the test.
- Source 10 : docs.shoplift.ai/analyze/reports/goals
Goals are the primary outcome metrics merchants choose to optimize in their experiments (e.g. Conversion Rate, Average Order Value, Revenue per Visitor).
- Source 11 : docs.shoplift.ai/analyze/reports/statistical-significance
Lift is shown with a range rather than a single point. The range reflects how much uncertainty is still in the estimate.
- Source 12 : www.shoplift.ai/compare/intelligems
Profit optimization Load your product costs into Intelligems manually, and Intelligems's analytics will give you basic profit reporting
- Source 13 : docs.shoplift.ai/analyze/reports/statistical-significance
Probability to Win is the main metric on your report. It's the chance your variant beats the original.
- Source 14 : docs.shoplift.ai/get-started/frequently-asked-questions
Shoplift does not currently support A/B/n testing, but our out-of-the-box mutual exclusion allows you to run multiple tests at once.
- Source 15 : docs.shoplift.ai/get-started/quickstart/edit-your-variant
After duplicating or selecting your variant, you can click "Edit in Shopify" to open the Shopify Theme Editor and make direct edits to your template or theme.
- Source 16 : docs.shoplift.ai/test/javascript-api/overview
API tests require developer involvement. Most merchants will need their developer or agency to write the JavaScript and (for manual API tests) implement the trigger logic.
- Source 17 : docs.shoplift.ai/test/lift-assist-tm/what-is-lift-assist-tm
Lift Assist™ is Shoplift's recommendation engine which dynamically provides theme sections to extend your store's functionality and give you the tools you need to run powerful tests otherwise not capable with your theme.
- Source 18 : docs.shoplift.ai/analyze/tracking/liquid-snippet
A small theme snippet titled shoplift.liquid will be inserted into the /snippets/ directory in your live theme, and is referenced in your theme.liquid file directly after the opening <head> tag.
- Source 19 : www.shoplift.ai/pricing
When tests are live, our anti-flicker script momentarily blanks out your pages to ensure shoppers don't see new experiences, but this is typically resolved within 150 milliseconds (and as low as 90 milliseconds) and is imperceivable to shoppers.
- Source 20 : docs.shoplift.ai/partners-and-developers/performance/pagespeed
When measured against industry standards (such as Google Lighthouse), Shoplift's testing script introduces a negligible performance impact, typically resulting in a minimal 1-2 point reduction in the overall Lighthouse score.
- Source 21 : docs.shoplift.ai/get-started/frequently-asked-questions
Shoplift uses Shopify's permission system. Any staff member with access to your Shopify store and the Shoplift app can access Shoplift by opening the app from the Shopify admin.
- Source 22 : www.shoplift.ai/privacy-policy
The information that we collect through or in connection with the Services is transferred to and processed in the United States for the purposes described above.
- Source 23 : www.shoplift.ai/data-processing-addendum
Google LLC / USA / Infrastructure, storage, logging, crash reporting and DNS (Google Cloud Platform)
- Source 24 : docs.shoplift.ai/partners-and-developers/privacy
By default, Shoplift leverages Shopify’s Customer Privacy API, which determines whether a visitor has granted analytics consent to collect data.
- Source 25 : docs.shoplift.ai/api-reference/javascript-api/javascript-api/setanalyticsconsent
Visitors are always assigned to a variant to ensure a consistent experience.
- Source 26 : docs.shoplift.ai/api-reference/javascript-api/javascript-api/setanalyticsconsent
Syncs all queued events to server (including events queued before consent was granted)
- Source 27 : docs.shoplift.ai/get-started/frequently-asked-questions
Shoplift uses browser storage and cookies to persist test assignments.
- Source 30 : www.shoplift.ai/pricing
Visitor counts are based on total monthly website visitors, not tested visitors.
- Source 31 : docs.shoplift.ai/account/plans-and-billing/subscription-plans
When you exceed the usage limit on your plan, Shoplift will temporarily pause your active tests and prevent new tests from being launched until the overage is resolved.
Probant Ou pas encore…
Créez votre espace, ou explorez d’abord la démo avec les données d’une boutique fictive.
- Démo ouverte, sans inscription
- Forfait fixe, jamais de dépassement
- Données hébergées à Paris