Indexation massive, crawlage massif…

La première question qu’on peut se poser avant de lire la suite c’est pourquoi indexer/ ou demander à Google de repasser sur plusieurs pages d’un coup ? Bon il est vrai que j’ai pas pour l’habitude de faire de l’indexation massive mais la je n’ai pas eu bien le choix. Explications…

Un cas tordu !

Alors qu’un de nos clients se portait plutôt bien en terme de trafic provenant du seo, nous avons eu une drôle de surprise. Baisse de 40% de trafic !  

De nombreuses pages ont perdu en trafic et il a fallu comprendre et expliquer les raisons de cette baisse à notre client. Après avoir regardé plusieurs éléments, nous avons eu un drôle de message dans la Search console.

Le site ne contient pas de robots.txt…

Même si un site doit avoir un robots.txt, ce site ne contenait pas ce fichier. La première question que l’on devait se poser, c’est pourquoi Google nous dit que des urls sont bloquées dans le robots.txt alors que le site n’a en pas ? Ne me parlez pas de la balise noindex, car de la même manière le site n’en contenait pas, aucun changement réalisé par le développeur… Mais WTF !!!!

Bon c’est bien beau de dire des grossièretés, mais si on allait creuser en détail…

Très simplement la première chose a été de récupérer le listing des urls dîtes “bloquées” dans la search console et faire un croisement avec les pages qui avaient perdu du trafic en SEO.

Surprise ! Ca coincide – 30 pages considérées par Google comme exclues dans le robots.txt 

Google tu es bizarre parfois non ?

Dès lors où j’ai pu avoir connaissance de ces pages, la première chose que j’ai testé : Ces pages sont-elles encore indexées ? 

Et voici ce que j’ai pu voir (J’ai volontairement pas mis le site du client)

Un titre totalement réécrit, une description vide alors que tout est bien ok sur le site…

Un peu le même type de résultat quand une page est vraiment bloquée dans le robots.txt 

Baisse de trafic, perte de positions : Que de bonnes nouvelles ! (Mode ironie activé)

Ok on a compris a moitié, mais si on passait aux actes ?

  • La première chose a été de rajouter sur le site un robots.txt lui autorisant de tout crawler (même si je ne suis pas sur que cette action eu un impact sur le résultat final)
  • La deuxième chose a été de (re)soumettre les 30 pages via l’API de search console via ce script récupéré ici (Merci à Audrey !)

10 minutes après cette soumission alors le site avait récupéré toutes les métas, toutes les positions initiales et par conséquent le trafic qu’il avait avant ce bug !

 

Si jamais vous avez déjà connu un exemple similaire, venez vous exprimer sur le blog. Je mettrais les commentaires visibles ! 

A bientôt

 

 

 

 

 

 

 

 

 

 

 

 

 

2 reactions sur “Indexation massive, crawlage massif…

  1. J’ai eu le même souci il y a quelques semaines avec les mêmes conclusion que toi, aucun robot.txt bloqué, ni de baise noindex. La seule solution une re-soumission des url’s et la machine c’est remis en mouvement.

    Pourquoi ? Aucune idée .

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *