Des méthodes publiées, vérifiées contre leurs valeurs de référence.

Chaque méthode du moteur statistique cite sa source. Chaque calcul se vérifie contre des valeurs de référence, publiées ou calculées à la main.

Voir les méthodes Comment il se vérifie

Ce que le moteur calcule, et d’où cela vient.

41 familles de méthodes, chacune avec ce qu’elle calcule dans Probant et sa source.

Méthodes du moteur statistique, leur usage et leur source
Méthode	Sert à	Source
Loi normale et loi du khi-deux	Seuils, fourchettes, valeurs p et test de répartition ; la loi bêta pour les fourchettes exactes d’une part.	Numerical Recipes, 3ᵉ édition (approximation de Lanczos, gamma et bêta incomplètes, fraction continue de Lentz) ; algorithme d’Acklam affiné par un pas de Halley pour les quantiles.
Écart relatif : test de la différence et fourchette de Fieller	L’écart de chaque métrique, B contre A, et sa fourchette à 95 %.	Test de la différence des deux moyennes, chacune avec sa variance (B. L. Welch, Biometrika 34, 1947) ; fourchette de l’écart relatif par le théorème de Fieller (Journal of the Royal Statistical Society B 16, 1954 ; Deng, Knoblich et Lu, KDD 2018, § 2.1) ; variance d’un taux à 0 ou 100 % d’après Agresti et Caffo (The American Statistician 54, 2000).
Écart entre segments	Dire si l’effet diffère vraiment d’un segment à l’autre (mobile et ordinateur, nouveaux et habitués) ou si l’écart vient du hasard.	Cochran, « The combination of estimates from different experiments », Biometrics 10 (1954) ; Borenstein, Hedges, Higgins et Rothstein, « Introduction to Meta-Analysis » (2009), chapitre 16 ; Altman et Bland, « Interaction revisited », BMJ 326 (2003).
Interactions entre tests simultanés	Pour chaque paire de tests en cours qui partagent des visiteurs : l’effet de l’un change-t-il selon la variante de l’autre ? Différence des différences sur la métrique principale, p-value toujours valide, correction de Holm sur toutes les paires.	Montgomery, « Design and Analysis of Experiments », section 6.2 (plan 2²) ; Rothman, Greenland et Lash, « Modern Epidemiology » (2008), chapitre 5 ; Altman et Bland, « Interaction revisited », BMJ 326 (2003).
Test multivarié : effets principaux et interactions	Plan d’un test multivarié (visiteurs pour chaque effet principal et chaque interaction annoncée), puis lecture section par section : moyenne marginale de chaque niveau, écart à l’originale, interactions d’ordre 2, correction de Holm sur les comparaisons annoncées.	Montgomery, « Design and Analysis of Experiments » (2013), § 3.5 et chapitres 5 et 6 ; Kohavi, Longbotham, Sommerfield et Henne, « Controlled experiments on the web: survey and practical guide » (2009) ; Gelman, Hill et Vehtari, « Regression and Other Stories » (2020), § 16.4.
Puissance et taille d’échantillon	Durée et effet détectable du plan, y compris à répartition inégale (90/10), jours restants d’un test en cours au rythme mesuré, calculateur de durée, coût d’une fourchette plus étroite.	Formule de Fleiss sans correction de continuité pour un taux, à effectifs égaux ou inégaux (Fleiss, Levin et Paik, 2003, § 4.4) ; n = 2(z₁₋α/₂ + z₁₋β)²σ²/δ² pour une moyenne, (1 + 1/r) au lieu de 2 à effectifs inégaux (Chow, Shao et Wang, 2008, § 3.2.1). Vérifiée contre power.prop.test de R.
Contrôle de répartition (SRM)	Vérifie dans chaque test que les visiteurs se répartissent comme prévu ; bloque le verdict sinon.	Test d’adéquation du khi-deux, k − 1 degrés de liberté.
Comparaison des réponses à une enquête	Enquêtes dans la page : les réponses se répartissent-elles de la même façon dans chaque variante qui porte l’enquête ? Chaque part, elle, a sa fourchette de Wilson.	Test d’homogénéité du khi-deux de Pearson (Philosophical Magazine 50, 1900), (lignes − 1)(colonnes − 1) degrés de liberté, présenté par Agresti, « An Introduction to Categorical Data Analysis » (2007) ; condition de validité de Cochran, Biometrics 10 (1954).
Réduction de variance CUPED	Rapports des tests réels : écart ajusté sur la même métrique dans les 14 jours avant la première exposition de chaque visiteur ; catalogue des métriques : durée gagnée.	Deng, Xu, Kohavi et Walker (2013).
Intervalles toujours valides (mSPRT)	Garde-fous des déploiements progressifs, relus à chaque contrôle ; contrôle des interactions entre tests simultanés, relu à chaque lot d’événements.	Johari, Pekelis et Walsh (2017), séquence de confiance du mSPRT à mélange normal.
Bornes d’O’Brien-Fleming	Les contrôles prévus du plan : seuil à franchir à chacun, et surcoût en visiteurs.	Jennison et Turnbull (2000), chapitre 2 : constantes tabulées pour un risque de 5 % et de 1 à 5 contrôles également espacés.
Dépense du risque (Lan et DeMets)	Les points de contrôle d’un test par zones ou par alternance : seuil de chaque point, à des dates fixées au lancement.	Lan et DeMets, 1983 (fonction de dépense de type O’Brien-Fleming) ; Armitage, McPherson et Rowe, 1969 (loi des regards successifs) ; Jennison et Turnbull, 2000, chapitres 3, 7 et 19 ; Jennison et Turnbull, 1989 (fourchettes de confiance répétées).
Futilité par la puissance conditionnelle	Les points de contrôle d’un test par zones ou par alternance : dire quand l’effet visé au plan n’est plus atteignable, sans toucher aux seuils.	Lan et Wittes, 1988 (B-valeur et puissance conditionnelle) ; Jennison et Turnbull, 2000, chapitre 10 ; Lachin, 2005 (seuil de futilité sur la puissance conditionnelle).
Correction de Holm	Métriques secondaires d’un test, corrigées ensemble ; différences entre segments du rapport (appareil, ancienneté).	Holm (1979).
Fourchettes simultanées de Bonferroni	Comparaison des clics entre variantes dans les cartes de clics : une fourchette par élément clé, toutes au même risque global.	Dunn (1961), d’après l’inégalité de Boole.
Mise en commun par inverse des variances	Bibliothèque : effet commun des tests d’un même thème ; estimation des idées.	Borenstein, Hedges, Higgins et Rothstein, « Introduction to Meta-Analysis » (2009), chapitre 11.
Rétrécissement bayésien	Effet attendu une fois déployé, corrigé du biais du gagnant, dans les rapports ; a priori des idées ; échelle des fourchettes toujours valides.	Modèle normal-normal : moyenne de l’écart mesuré et de l’a priori, pondérée par leurs précisions ; a priori estimé sur les tests terminés par la méthode des moments.
Lecture bayésienne à a priori sceptique	En option (Réglages → Statistiques) : à côté du verdict, probabilité que la variante fasse mieux, intervalle de crédibilité et perte attendue de chaque choix, dans le rapport, la bibliothèque et l’API.	Deng, Lu et Chen, « Continuous Monitoring of A/B Tests without Pain » (IEEE DSAA 2016), annexe B, éq. 14 ; Gelman et al., « Bayesian Data Analysis » (3e éd.), § 2.5 et § 5.4 ; Stucchio, « Bayesian A/B Testing at VWO » (2015), § 6.2.
Risque de faux positif d’un gagnant	À côté de chaque gagnant : probabilité qu’il n’ait en réalité aucun effet, d’après le seuil, la puissance atteinte et la part de gagnants des tests passés de l’espace.	Kohavi, Deng et Vermeer, « A/B Testing Intuition Busters » (KDD 2022) ; Wacholder et al. (JNCI, 2004) ; Gelman et al., « Bayesian Data Analysis » (3e éd.), § 2.4.
Différence de deux effets et pente dans le temps	Rapports réels : l’effet des premiers jours face à la suite, sa pente jour après jour, et l’écart entre nouveaux visiteurs et habitués (effet de nouveauté) ; bilan des gains : tests, déploiements et groupe témoin confrontés.	Altman et Bland, BMJ 2003 ; Borenstein, Hedges, Higgins et Rothstein, « Introduction to Meta-Analysis » (2009), chapitre 20.
Rupture d’affichage d’une modification	Affichage réel : dire qu’une modification qui s’appliquait chez les visiteurs exposés a cessé de s’appliquer (thème mis à jour), sans sonner chaque week-end parce que le trafic change.	Pearson (1900) ; Wedderburn, « Quasi-likelihood functions, generalized linear models, and the Gauss-Newton method », Biometrika 61 (1974) ; McCullagh et Nelder, « Generalized Linear Models » (1989).
Absence d’affichage dès le premier jour	Affichage réel : alerter, dès le premier jour et sans référence, quand plus de 5 % des visiteurs exposés ne voient pas une modification (sélecteur faux, page qui n’a pas l’élément), en relisant les relevés à chaque lot.	Robbins, « Statistical methods related to the law of the iterated logarithm », Annals of Mathematical Statistics 41 (1970) ; Lai, « On confidence sequences », Annals of Statistics 4 (1976) ; Ville, « Étude critique de la notion de collectif » (1939).
Fourchette d’une part de tests	Bibliothèque et rapport client : part des tests qui ont appris quelque chose, part de gagnants et critères de qualité, donnés avec leur fourchette à 95 % à partir de dix tests. Affichage réel : part des visiteurs exposés chez qui une modification s’applique, et fourchette exacte d’un jour pour les ruptures.	Wilson, « Probable inference, the law of succession, and statistical inference », JASA 22 (1927) ; Newcombe, « Two-sided confidence intervals for the single proportion », Statistics in Medicine 17 (1998), méthodes 3 et 5 ; Clopper et Pearson, Biometrika 26 (1934) ; Korn et Graubard, Survey Methodology 24 (1998), pour les effectifs efficaces.
Médiane	Bibliothèque : effet typique des gagnants et des perdants.	Hyndman et Fan (1996), définition de type 7.
Plafonnement des valeurs extrêmes	Moyennes des tests réels : valeur par visiteur ramenée au centile choisi sur la métrique (95e, 99e ou 99,9e).	Hyndman et Fan (1996), centile de type 7, celui de R et de PostgreSQL.
Métriques ratio (méthode delta)	Panier moyen et autres rapports de deux sommes, en métrique secondaire d’un test.	Deng, Knoblich et Lu, « Applying the Delta Method in Metric Analytics », KDD 2018.
Centile par page vue (vitesse)	LCP, INP et CLS de chaque variante, lus au 75e centile des pages vues comme les Core Web Vitals, en garde-fou ou en secondaire.	Deng, Knoblich et Lu, « Applying the Delta Method in Metric Analytics », KDD 2018, § 4.2 ; Price et Bonett, J. Statist. Comput. Simul. 72(2), 2002.
Allocation dynamique (échantillonnage de Thompson)	Parts des variantes d’un test d’optimisation, recalculées au plus une fois par jour après l’apprentissage à parts égales, avec une part minimale par variante.	Thompson, Biometrika 25(3/4), 1933 ; Russo, Van Roy, Kazerouni, Osband et Wen, « A Tutorial on Thompson Sampling », 2018 ; Marsaglia et Tsang, ACM TOMS 26(3), 2000 ; part plancher : Offer-Westort, Coppock et Green, AJPS 65(4), 2021.
Allocation dynamique par appareil (un bandit par contexte)	Parts d’un test d’optimisation contextuel : mobile, tablette et ordinateur ont chacun leurs parts, leur apprentissage et leur plancher.	Lattimore et Szepesvári, « Bandit Algorithms », Cambridge University Press, 2020, § 18.1.
Allocation dynamique sur un montant (revenu par visiteur)	Parts d’un test d’optimisation qui maximise un montant par visiteur, comme le chiffre d’affaires, plafonné au centile choisi comme dans les tests A/B.	Gelman, Carlin, Stern, Dunson, Vehtari et Rubin, « Bayesian Data Analysis », 3e éd., 2013, § 2.4 et 3.2 ; Johnson, Kotz et Balakrishnan, « Continuous Univariate Distributions », vol. 2, 1995, chap. 28.
Lecture stratifiée par époque	Écart de chaque variante d’un test d’optimisation, gain par rapport à des parts égales, répartition contrôlée époque par époque (et appareil par appareil pour un test contextuel).	Cochran, « Sampling Techniques », 3e éd., 1977, § 5.2–5.3 ; Zhang, Janson et Murphy, « Inference for Batched Bandits », NeurIPS 2020.
Non-infériorité et équivalence (TOST)	Tests dont l’objectif n’est pas de faire mieux : montrer qu’une refonte n’est pas pire que l’originale au-delà d’une marge choisie au plan, ou que l’écart reste dans ± cette marge. Effectif et verdict, un seul regard à la fin.	Schuirmann, Journal of Pharmacokinetics and Biopharmaceutics 15, 1987 ; Wellek, « Testing Statistical Hypotheses of Equivalence and Noninferiority », 2e éd., 2010 ; Chow, Shao et Wang, « Sample Size Calculations in Clinical Research », 2e éd., 2008, § 3.2 et 4.2.
Loi de Student	Seuils et valeurs p des tests qui comptent peu d’unités : zones, paires de zones, fenêtres d’alternance.	W. S. Gosset (« Student »), Biometrika 6, 1908 ; Abramowitz et Stegun, 26.5 et 26.7 ; bêta incomplète par fraction continue (DLMF 8.17, méthode de Lentz modifiée, Numerical Recipes, 3ᵉ édition).
Corrélation entre visiteurs d’une même zone	Ce que coûte le tirage par zone : combien de visiteurs « valent » les visiteurs d’une zone.	Donner et Koval, 1980 (estimateur d’analyse de variance) ; Kish, Survey Sampling, 1965 (effet de plan) ; Eldridge, Ashby et Kerry, 2006 (zones de tailles inégales).
Écart entre zones	L’écart d’un test tiré par zone, avec ou sans période de référence, et sa fourchette relative.	Donner et Klar, 2000 ; Hayes et Moulton, 2017 (test sur les moyennes de zone) ; Bell et McCaffrey, 2002, Imbens et Kolesár, 2016 (variance robuste corrigée pour peu de zones) ; Bertrand, Duflo et Mullainathan, 2004 (écart des écarts) ; Frison et Pocock, 1992 (ajustement sur la période de référence) ; Fieller, 1954 (fourchette d’un rapport).
Zones appariées	Lecture principale d’un test par zones : chaque zone est comparée à sa jumelle, pondérée par son trafic.	Imai, King et Nall, 2009 (plans par paires) ; Cochran, Sampling Techniques, 1977 (linéarisation d’un rapport) ; Deng, Knoblich et Lu, 2018.
Test par permutation	Seconde lecture d’un test par zones ou par alternance : le verdict exige qu’elle s’accorde avec la première.	R. A. Fisher, The Design of Experiments, 1935 ; Gail et al., 1996 ; Phipson et Smyth, 2010 (valeur p d’un tirage de permutations).
Nombre de zones nécessaire	Le plan d’un test par zones : plus petit écart détectable et nombre de zones ou de paires.	Donner, Birkett et Buck, 1981 ; Bloom, 1995 ; Bloom, Richburg-Hayes et Black, 2007 (covariable de zone).
Alternance dans le temps	L’écart d’un test où toute la boutique passe d’une version à l’autre par fenêtres de temps.	Newey et West, 1987 et 1994 (variance robuste à l’autocorrélation) ; Box et Jenkins, 1970 ; Bojinov, Simchi-Levi et Zhao, 2023 ; Hu et Wager, 2022 (délai de mise à l’écart) ; Jones et Kenward, 2014 (effet de report).
Fourchette d’un rapport (Fieller)	La fourchette de tout écart en pourcentage : par visiteur, par zone ou par créneau.	Fieller, « Some problems in interval estimation », Journal of the Royal Statistical Society B 16(2), 1954.
Règles de verdict	Le statut de chaque test : bloqué, gagnant, perdant, pas d’effet notable, pas tranché.	Règles de Probant, appliquées dans un ordre fixe (pas une méthode publiée).

Chaque méthode, en quelques lignes.

Loi normale et loi du khi-deux

Toutes les autres méthodes s’appuient sur ces deux lois. La fonction de répartition passe par la même gamma incomplète que le khi-deux, ce qui garde la précision loin dans les queues, là où se jouent les petites valeurs p.

Écart relatif : test de la différence et fourchette de Fieller

La valeur p vient du test de la différence entre les deux variantes : il se trompe aussi souvent dans un sens que dans l’autre, ce que ne faisait pas l’ancien calcul sur l’écart en pourcentage. L’écart affiché reste en pourcentage, et sa fourchette réunit tous les écarts que ce même test ne rejette pas : « significatif » et « fourchette qui exclut zéro » disent donc toujours la même chose. Une variante sans aucune conversion n’est jamais lue comme une perte certaine, et quand l’originale est trop proche de zéro, la fourchette en pourcentage est dite non bornée plutôt qu’inventée. Le CA par visiteur compte les visiteurs sans achat pour 0 €.

Écart entre segments

Chaque segment a son écart et son erreur type. Le test Q de Cochran compare ces écarts à leur moyenne pondérée par la précision, au regard d’une loi du khi-deux. Avec peu de segments, le test manque de puissance : un résultat non significatif ne prouve pas que l’effet est le même partout.

Interactions entre tests simultanés

Deux tests qui se chevauchent forment un plan factoriel : chaque visiteur commun voit l’une des quatre combinaisons. Si l’effet du premier test est le même quelle que soit la variante du second, la différence des différences est nulle. Les interactions sont rares ; les mesurer permet de faire tourner les tests ensemble sans découper le trafic.

Test multivarié : effets principaux et interactions

Chaque combinaison est servie comme une variante. Tout le trafic sert à chaque section : la moyenne d’un niveau réunit toutes les combinaisons qui le contiennent. Une interaction compare l’effet d’un niveau selon le niveau d’une autre section ; à ampleur égale, elle demande bien plus de visiteurs qu’un effet principal. Sans interaction concluante, la recommandation suit les effets principaux.

Puissance et taille d’échantillon

Le plan part de l’effet que l’on veut pouvoir détecter et du trafic de la zone pour en déduire le nombre de visiteurs et la durée. À l’inverse, un nombre de visiteurs donne le plus petit effet détectable. Quand un test finit sans trancher, la même relation dit combien de jours il faudrait pour resserrer la fourchette.

Contrôle de répartition (SRM)

Un test prévu à 50/50 qui reçoit nettement plus de visiteurs d’un côté signale un défaut d’affectation : redirection, cache, robot. Les résultats ne sont alors pas fiables, quel que soit l’écart affiché. Le seuil est strict parce que le contrôle est refait à chaque consultation.

Comparaison des réponses à une enquête

Le test dit si l’écart entre les répartitions dépasse ce que le hasard explique, pas laquelle des réponses fait la différence. Les parts se lisent parmi les visiteurs qui ont répondu : une variante peut changer qui répond, si bien que le taux de réponse se compare, lui, sur tous les visiteurs exposés. Trop peu de réponses attendues par case, et le rapport dit que le test n’est pas fiable.

Réduction de variance CUPED

La même métrique, mesurée avant le test, explique une partie des écarts entre visiteurs. La retirer ne biaise pas l’effet, puisqu’elle ne dépend pas de la version vue, mais resserre la fourchette d’autant que la corrélation est forte.

Sans historique avant exposition (site récent, visiteurs nouveaux), l’écart reste brut, et le rapport le dit.

Intervalles toujours valides (mSPRT)

Une fourchette classique n’est valable qu’une fois, à la date prévue. La fourchette toujours valide peut être relue aussi souvent qu’on veut, et l’on peut s’arrêter au premier franchissement sans gonfler le risque. Elle est plus large : c’est le prix de la liberté de regarder.

Bornes d’O’Brien-Fleming

Très strictes au premier contrôle, proches du seuil classique au dernier, elles permettent d’arrêter tôt un test au résultat net tout en gardant le risque total à 5 %. Le moteur refuse les plans qu’il ne sait pas calculer exactement plutôt que d’extrapoler.

Dépense du risque (Lan et DeMets)

Le risque de 5 % se dépense point après point : presque rien au premier, presque tout au dernier. Les points n’ont pas besoin d’être également espacés, et chaque seuil tient compte des points déjà passés : regarder aux dates prévues ne fabrique pas de gagnant.

Futilité par la puissance conditionnelle

À un point de contrôle, si l’effet visé était le vrai écart, quelle chance resterait-il de conclure aux points suivants ? Sous un dixième, le test peut s’arrêter : l’effet visé n’est plus atteignable. C’est une recommandation, jamais un arrêt imposé, et les seuils de décision ne bougent pas : le risque de 5 % reste celui du plan.

Correction de Holm

Comparer plusieurs segments multiplie les occasions de trouver un écart par hasard. La correction de Holm ajuste les valeurs p pour que le risque de se tromper au moins une fois reste celui annoncé.

Fourchettes simultanées de Bonferroni

Montrer plusieurs fourchettes à la fois multiplie les chances qu’une d’elles manque la vraie valeur. Chacune se calcule au risque de 5 % divisé par le nombre de fourchettes : toutes ensemble gardent le risque annoncé.

Mise en commun par inverse des variances

Plusieurs tests sur la même idée donnent chacun une estimation. Chacun pèse selon sa précision : un test dont l’erreur type est deux fois plus petite pèse quatre fois plus. Le modèle suppose que les tests visent le même effet.

Rétrécissement bayésien

Les tests terminés de la boutique donnent l’ordre de grandeur des effets réels. L’écart d’un nouveau gagnant est rapproché de cette moyenne, d’autant plus que le test est petit. Le résultat est le gain que l’on peut raisonnablement attendre.

Dans un espace réel, il faut au moins deux tests terminés et mesurés pour estimer l’a priori ; avant, le rapport montre l’écart brut et le dit.

Lecture bayésienne à a priori sceptique

L’a priori est centré sur zéro, et sa largeur est celle des effets réellement mesurés par les tests passés de la boutique, bruit retiré. Un a priori plat ne fait que reformuler la p-value et gonfle les petits tests chanceux. La décision reste celle du plan scellé ; quand les deux lectures divergent, le rapport dit pourquoi.

Désactivée par défaut. Il faut au moins 10 tests arrêtés et mesurés pour estimer l’a priori ; avant, aucune lecture : aucune largeur publiée et vérifiable ne vaut pour toutes les boutiques.

Risque de faux positif d’un gagnant

Une p-value sous 5 % ne dit pas la probabilité que le gagnant soit faux : elle dépend aussi de la puissance et de la rareté des bonnes idées. Quand une idée sur dix marche, près d’un gagnant sur cinq est un faux positif, même à 80 % de puissance.

Sans tests passés, l’a priori par défaut suppose 10 % de bonnes idées, le bas de la fourchette publiée.

Différence de deux effets et pente dans le temps

Deux estimations tirées de visiteurs différents se comparent par le z de leur différence. Une série d’estimations journalières se résume par une droite pondérée par leur précision : une pente nettement contraire à l’effet dit qu’il s’estompe.

Rupture d’affichage d’une modification

La part d’un jour varie plus que le hasard d’un tirage : le khi-deux de Pearson des jours de référence, rapporté à ses degrés de liberté, mesure cette dispersion, semaine et week-end compris. Les comptes deviennent des effectifs efficaces, et chaque part reçoit sa fourchette exacte de Clopper-Pearson. Rupture quand la borne haute du jour passe sous la borne basse des jours d’avant, au risque des trois sigmas.

Absence d’affichage dès le premier jour

Une fourchette ordinaire relue à chaque lot finit par sonner à tort. Le rapport de vraisemblance mélangé d’une part face à une valeur fixe, lui, garde son risque si souvent qu’on le relise, même quand la part varie d’une heure à l’autre : l’alerte part dès que la preuve est faite, au risque des trois sigmas, et se réarme quand la part redevient normale, démontrée de la même façon.

Fourchette d’une part de tests

Sur peu de tests, une part est très incertaine : 3 tests sur 4, c’est entre 30 et 95 % à 95 %. L’intervalle de Wilson reste dans [0, 1] et juste sur les petits effectifs, là où l’approximation usuelle se trompe ; sous dix tests, Probant n’affiche pas de pourcentage du tout.

Médiane

La valeur du milieu résiste mieux qu’une moyenne à un test exceptionnel.

Plafonnement des valeurs extrêmes

Une commande hors norme pèse plus que des centaines d’autres. Le centile se calcule sur les visiteurs qui ont une valeur, toutes variantes réunies : la fourchette se resserre sans que le plafond favorise une variante.

Métriques ratio (méthode delta)

Le panier moyen rapporte des montants à des commandes, mais c’est le visiteur qui est tiré au hasard : ses commandes ne sont pas indépendantes. La méthode delta donne la variance du rapport en gardant le visiteur comme unité.

Centile par page vue (vitesse)

Les temps d’affichage sont très asymétriques : quelques pages lentes tirent la moyenne. Le 75e centile des pages vues résiste à cette queue, et son intervalle se lit entre deux rangs calculés en tenant compte des pages d’un même visiteur, sans estimer de densité.

Allocation dynamique (échantillonnage de Thompson)

Chaque variante reçoit une part égale à la probabilité qu’elle soit la meilleure, mêlée à des parts égales pour qu’aucune ne descende sous le plancher. Les tirages ont une graine fixe : la même réallocation se rejoue à l’identique. Ce test maximise les conversions pendant qu’il tourne ; il ne prouve pas qu’une variante est meilleure.

Allocation dynamique par appareil (un bandit par contexte)

Une variante peut convenir au mobile et pas à l’ordinateur. Avec peu de contextes, le plus simple et le plus sûr est un bandit indépendant par contexte : chaque appareil a ses comptes et ses tirages, sans emprunter les résultats des autres. Un appareil peu fréquenté reste plus longtemps à parts égales. L’appareil est lu dans le navigateur, et un visiteur le garde d’une visite à l’autre : il garde sa variante.

Allocation dynamique sur un montant (revenu par visiteur)

La plupart des visiteurs n’achètent rien, et quelques paniers sont très gros : le revenu par visiteur se décompose en probabilité d’acheter et en panier moyen des acheteurs. La première suit la loi bêta d’un taux ; le second, une loi de Student centrée sur le panier moyen observé, d’autant plus large que les acheteurs sont peu nombreux. Chaque tirage multiplie les deux, et la variante qui gagne le plus de tirages reçoit le plus de trafic. Une variante sans acheteur prend le panier commun : seule sa probabilité d’acheter la distingue.

Lecture stratifiée par époque

Quand les parts changent, comparer les taux toutes périodes confondues mélange des visiteurs différents (paradoxe de Simpson). L’écart est mesuré dans chaque époque, où la répartition est fixe, puis combiné selon le poids de l’époque : la comparaison se fait à population égale. Pour un test contextuel, chaque appareil d’une époque forme sa propre strate, avec ses propres parts. Pour un montant, chaque strate compare des montants moyens par visiteur, avec leur variance.

Non-infériorité et équivalence (TOST)

La fourchette à 95 % du rapport suffit : « pas pire » quand sa borne basse est au-dessus de −m (test unilatéral à 2,5 %), « équivalent » quand elle tient entière dans ± m (deux tests unilatéraux, Schuirmann). L’effectif suppose un écart réel nul ; il croît comme 1/m². Jamais de « gagnant » : la conclusion porte sur la marge.

Loi de Student

Avec quelques dizaines de zones au lieu de milliers de visiteurs, la loi normale donnerait des fourchettes trop étroites. La loi de Student les élargit d’autant plus que les unités sont peu nombreuses.