Calculateur A/B test SEO

Un résultat est dit significatif au seuil α=5% si la probabilité d'observer un écart aussi grand par hasard (alors que les deux variantes sont en réalité équivalentes) est inférieure à 5%. C'est ce qu'on appelle la p-value. Un test non significatif ne dit pas que les variantes sont identiques — il dit qu'on n'a pas assez de données pour conclure. Il faut soit plus de trafic, soit accepter que la différence n'est pas exploitable.

Les changements SEO côté on-page (title, meta description, H1, schema markup) ont des effets souvent invisibles sur le ranking lui-même mais mesurables sur le CTR. Tester en A/B permet de quantifier objectivement l'effet. Limite : le SEO n'est pas un environnement vraiment A/B — vous ne pouvez pas servir deux titles différents au même utilisateur. La méthode pratique : split test temporel (variante A pendant 4 semaines, variante B les 4 suivantes) avec ajustement saisonnier, ou split par cluster d'URLs comparables.

Dépend de la baseline et de l'effet recherché. Règle de pouce : pour détecter un lift de 10% sur un taux de conversion de 5%, il faut environ 6 000 visiteurs par variante (12k au total) à 95% de confiance, 80% de puissance. Plus le taux de base est faible et plus le lift attendu est petit, plus il faut de trafic. Pour un test SEO sur une page à 100 visites/jour, comptez 2 mois minimum pour avoir un signal exploitable.

Cet outil utilise un Z-test pour deux proportions (approximation normale, idéale quand n*p > 5 et n*(1-p) > 5 — soit en pratique au-delà de quelques centaines de visiteurs par variante). Le Chi² est mathématiquement équivalent en 2x2. Les méthodes bayésiennes (probabilité que B > A) sont plus intuitives mais moins standard côté reporting business — on les ajoutera dans une V2 si la demande est là.