Test A/B en SEO : comment tester une modification sur des groupes de pages

Comment faire un test A/B en SEO, quand le moteur que l'on veut convaincre ne voit qu'une version de chaque page ? La question surgit dès qu'une équipe s'apprête à réécrire les titles d'un catalogue ou à déplacer un bloc de liens : comment saura-t-on si cela a marché ? Ce compte rendu décrit la méthode que Julien Jimenez applique pour y répondre, le test par groupes de pages, aussi appelé split test SEO.

Pourquoi un test A/B classique ne fonctionne pas en SEO

En marketing, un test A/B répartit les visiteurs : la moitié voit la version A d'une page, l'autre la version B, sur la même URL. En référencement naturel, le visiteur qui compte d'abord, c'est Googlebot, et il n'indexe qu'une version de chaque URL. Trois conséquences :

• On ne peut pas répartir le robot. Lui servir tantôt A, tantôt B brouillerait ce qu'il indexe.
• On ne doit pas le traiter à part. Lui montrer une version différente de celle des internautes relève du cloaking. Pour les tests de sites, Google demande une canonical vers l'URL d'origine si la variante a sa propre adresse, une redirection 302 plutôt que 301, et un test limité au temps nécessaire.
• Un test de conversion ne mesure rien côté SEO. Mené dans les règles, il laisse Google indexer la version d'origine : il renseigne sur les visiteurs, pas sur le classement ni sur le taux de clic dans les résultats.

La comparaison « avant/après » sur tout le site ne fait pas mieux. Si le trafic monte trois semaines après une modification générale, impossible de savoir si la hausse vient d'elle, de la saison, d'une mise à jour de Google ou d'un concurrent en recul. Sans groupe témoin, il n'y a pas d'expérience, seulement une coïncidence datée.

Le principe du test A/B SEO par groupes de pages

Puisque l'on ne peut pas partager les visiteurs, on partage les pages. Un ensemble de pages semblables, par exemple les fiches produits d'un catalogue, est réparti au hasard en deux groupes : le groupe test reçoit la modification, et elle seule ; le groupe témoin reste strictement inchangé.

Les deux groupes traversent la même saison, les mêmes mises à jour, les mêmes variations de la demande : seule la modification les distingue. L'effet recherché n'est donc pas « le groupe test a progressé », mais « il a progressé davantage que le témoin, au-delà de leurs variations ordinaires ». C'est la logique de la différence de différences ; des modèles plus fins existent, comme le paquet CausalImpact publié par Google, mais la méthode simple suffit pour décider si les groupes sont bien constitués.

Constituer deux groupes comparables, puis tirer au hasard

Si les deux groupes ne se ressemblent pas au départ, l'écart final racontera leur différence d'origine, pas l'effet de la variable.

Choisir des pages comparables : gabarit, intention, historique

1. Le même gabarit : même code, même structure, même rôle dans le maillage.
2. La même intention de recherche : une fiche transactionnelle ne réagit pas comme un guide d'achat.
3. Un historique exploitable : une page sans impressions ne peut pas montrer qu'elle progresse.

On écarte ensuite les rares pages qui concentrent une large part du trafic (une seule ferait basculer un groupe), les produits saisonniers, les nouveautés et les pages promises à une refonte. Dans le cas type, il reste par exemple 1 200 fiches éligibles : c'est cette liste, et elle seule, que l'on répartit.

Tirer au hasard le groupe test et le groupe témoin

Choisir à la main, c'est presque toujours placer dans le groupe test les pages que l'on juge prometteuses. Le hasard vous protège de vos préférences. Avec un tableur, le tirage stratifié est le plus robuste :

1. Exportez les pages éligibles avec leurs clics et impressions sur la période de référence.
2. Triez-les par impressions et découpez la liste en strates égales, par exemple dix tranches.
3. Dans chaque strate, attribuez un nombre aléatoire avec ALEA(), triez, puis affectez une moitié au test, l'autre au témoin.
4. Vérifiez l'équilibre des totaux et le parallélisme des courbes, puis archivez les deux listes, datées.

Mieux encore, laissez vivre les deux groupes quelques semaines sans rien modifier : c'est un test A/A. S'ils s'écartent déjà, vous connaissez l'amplitude du bruit, ou vous savez que les groupes sont mal faits, avant d'avoir conclu quoi que ce soit.

Fixer la variable et l'indicateur avant de commencer

Un test honnête se décide sur le papier, avant de regarder le moindre chiffre :

Une modification du title agit d'abord sur le taux de clic : on suit le CTR hors marque, car les recherches de marque cliquent de toute façon. Une modification du contenu ou du maillage agit plutôt sur les positions et les impressions. Quant au gel, prévenez les équipes produit, contenu et technique : aucune « petite retouche » du gabarit pendant le test, ou alors sur les deux groupes, avec une mention datée au journal.

Mesurer dans la Search Console : clics, impressions, CTR

Le rapport Performances filtre par URL : il permet de reconstituer les chiffres de chaque groupe.

• Collecte. Au-delà de quelques dizaines d'URL, passez par l'API Search Console ou l'export groupé vers BigQuery : l'export de l'interface est plafonné à 1 000 lignes.
• Agrégation. Additionnez clics et impressions par groupe et par jour, puis recalculez le CTR à partir de ces totaux, sans faire la moyenne des CTR.
• Filtrage. Excluez les requêtes de marque. Une partie des requêtes rares est anonymisée : les totaux par page restent fiables, le détail par requête non.
• Calendrier. Les données consolidées arrivent avec environ deux jours de décalage ; raisonnez en semaines entières.
• Recrawl. Vérifiez dans les logs, ou par l'inspection d'URL, que Googlebot a revu les pages modifiées. Avant cela, le test n'a pas commencé.

Méfiez-vous de la position moyenne : une page qui gagne des impressions sur des requêtes lointaines voit sa moyenne se dégrader alors qu'elle progresse. C'est un indice, jamais un verdict.

Lire l'écart entre les deux groupes sans se raconter d'histoires

Calculer l'effet relatif

Pour chaque groupe, divisez la période de test par la période de référence, puis divisez le ratio du test par celui du témoin. Un résultat de 1 signifie : aucun effet propre. Exemple fictif, pour la mécanique : si le témoin passe de 1 000 à 1 050 clics et le test de 1 000 à 1 155, l'effet propre est de 10 %, et non de 15,5 % : le reste, c'est la saison.

Comparer l'effet au bruit

Le test A/A, ou à défaut la période de référence, donne l'amplitude des variations ordinaires entre les groupes. Un écart du même ordre ne prouve rien. Tracez le rapport test sur témoin semaine par semaine : un effet réel ressemble à une marche qui se maintient, pas à un pic isolé.

Chercher une autre explication

Passez en revue les suspects : une mise à jour datée sur le Google Search Status Dashboard, une promotion sur un seul groupe, un incident d'exploration. Un gain qui s'effrite au bout de deux semaines tient de l'effet de nouveauté. Trois verdicts restent possibles, tous utiles : prouvé, non concluant (on prolonge ou l'on recommence), réfuté (et l'on vient d'éviter un déploiement coûteux).

Check-list : votre protocole de test A/B SEO

Si une case reste vide, le test n'est pas prêt.

• L'hypothèse est écrite, datée et réfutable.
• La population ne contient qu'un gabarit et une intention de recherche.
• Les pages sans historique, saisonnières ou trop dominantes sont écartées.
• Les groupes sont tirés au hasard par strates, puis archivés.
• L'équilibre des groupes est vérifié, idéalement par un test A/A.
• Une seule variable change, sur le seul groupe test, et le gabarit est gelé.
• La durée est fixée en semaines entières avant le lancement.
• Le recrawl des pages modifiées est contrôlé.
• Mises à jour de Google et incidents sont notés au journal d'expériences.
• L'effet est calculé contre le témoin, comparé au bruit, et le verdict consigné.

Questions fréquentes sur les tests A/B en SEO

Conclusion : prouver avant de déployer

Faire un test A/B en SEO, c'est accepter de ne pas savoir à l'avance. La méthode des groupes de pages ne promet aucun gain ; elle garantit que la décision reposera sur une mesure plutôt que sur une conviction. Commencez petit : un gabarit, une variable, une hypothèse.

Pour éprouver une idée sans exposer un site qui fait vivre une entreprise, lisez le compte rendu sur la création d'un site de test SEO ; pour savoir quand vos pages modifiées ont été revues, celui sur le délai d'indexation de Google.