Gérer son budget crawl | Optimiz

Gérer son budget crawl

Si votre site est composé de plus de 1000 pages, vous devez vous poser la question du budget crawl. L’idée du budget crawl est simple: Google a pour objectif de limiter l’encombrement de son index avec des contenus (donc des pages HTML) qui n’ont pas d’intérêt spécifique. Pour cela, il va limiter le crawl, c’est à dire la copie de vos contenus dans ses data centers, en faisant passer une partie d’entre eux dans un index « secondaire », ou pire, en refusant de les indexer.

 

Le problème posé par cette limite est que, parfois, Google va refuser d’indexer, au nom de cette limitation du crawl budget, des contenus qui ont une grande importance SEO, alors que son index  est par ailleurs encombré de pages à faible valeur ajoutée.

 

Il vous faut donc avoir une stratégie pour choisir vous-même quelles pages conserver dans l’index, et celles qu’il faut exclure.

 

Par exemple, si Google index soigneusement vos CGV et 12 versions d’un même produit (par exemple, la version bleue, rouge, vert etc…), il y a des chances que par ailleurs quelques pages catégorielles importantes à vos yeux puisse connaître des problèmes d’indexation.. Dommage, non?

 

Comment Google choisit-il les   contenus à indexer et ceux qu’il « recale »? Les règles suivies par le moteur à  ce sujet ne sont pas toujours limpides, mais l’on peut dégager 3 grandes catégories de pages qui sont susceptibles d’encombrer l’index et qu’il convient de faire de désindexer:

  • les pages comprenant du contenu dupliqué du type « canonical »(en général, une variation d’un même produit ou service). Pour reprendre l’exemple ci-dessus, si vous disposez sur un site e-commerce de plusieurs versions d’un même produit, vous devez indiquer à Google une URL « canonique », c’est-à dire l’URL où se situe la version « principale » ou « par défaut » de ce produit. Pour cela, sur chaque page correspondant à une variation du produit, vous allez ajouter un lien dit « canonique » vers cette page « principale ».

 

  • les pages comprenant du contenu dupliqué du type « variation secondaire ». C’est par exemple le cas si vous proposez un produit ou service lié à une géolocalisation spécifique (cours de piano lyon, cour de piano paris, cours de piano marseille…). Bien souvent un seul mot va varier d’une page à l’autre, si aucun contenu textuel majeur n’est proposé. Si 1 seul mot varie dans votre balise title et votre H1 et que le reste de la page est composé d’images, vous allez vous retrouver dans une situation de contenu dupliqué aux yeux de Google. Dans ce type de cas, la solution consiste à créer des contenus uniques pour chaque version, et pour cela, il faut fair épreuve de créactivité, et, probablement, faire appel à des rédacteurs très différents, qui auront tous leur façon de s’exprimer et pourront ainsi créer de vraies variations sémantiques.

 

  • les pages « vides ». Dans la plupart des cas, les propriétaires de sites n’imaginent pas qu’il puisse y avoir un grand nombre de page vides ou quasi vides sur un site. Pourtant, de multiples cas peuvent aboutir à ce type de résultat. Prenons un exemple: si vous utilisez wordpress, il se peut que chaque image que vous allez charger dans votre CMS génère la création d’une page (une URL propre) comportant simplement l’image, le reste étant vide, avec simplement votre menu et vos éléments de navigation. Cela crée un engorgement inutile de votre budget crawl, et n’aide même pas spécifiquement pour le positionnement dans Google image.

 

Si vous écrivez souvent sur le blog de l’entreprise, vous pouvez aussi vous rendre compte qu’un grand nombre de pages n’ont aucun intérêt SEO, et encombrent littéralement l’index de google (comme par exemple les news internes ou la victoire de l’équipe de foot de l’entreprise au tournoi départemental) pour découvrir ces pages intéressantes, vous pouvez procéder de la façon suivante ;

 

  1. Allez sur Google Analytics

 

  1. Rendez-Vous dans acquisition, puis sources de trafic

 

  1. Dans « dimension secondaire », sélectionnez « page de destination ».

Cela vous permet de visualiser les pages de votre site, classées de celle qui génère plus de trafic grâce à Google, à celle qui en génère le moins.

 

  1. Classez maintenant les pages de la moins visitée à la plus visitée, en cliquant sur « sessions » (tête de la 1ère colonne, dans la partie grisé). Toutes le stage payant tè s peu de visites (entre 1 et 10 par mois par exemple, sont clairement des pages que vous pouvez désindexer.

 

Pour désindexer des pages, la méthode la plus sûre est de procéder de la façon suivante:

  1. Ajouter une balise noindex sur la page

 

  1. Dans la search console, désindexez la page provisoirement (oui, il faut le faire car parfois un noindex ne suffit pas, en suivant la méthode suivante: https://support.google.com/webmasters/answer/1663419?hl=fr

 

  1. Placez une balise “NoIndex” sur les pages que vous souhaitez désindexer

 

Enfin, réglez les quelques problèmes techniques les plus fréquents:

 

  • Les pages 404: si elles sont trop nombreuses, les 404  peuvent nuire à l’indexation de Google en envoyer un signal négatif

 

  • Si le site est en HTTP, le passer en https

 

  • Vérifier qu’il n’existe qu’une seule version de chaque page; Par exemple, une page peut exister avec les www. ou sans les www. Si les 2 versions existent, il faut conserver celle dont la page d’accueil a le meilleur truc et citation flow (indice majestic SEO). L’autre doit perte revigorée, page à page, vers la version choisie.

 

  • Les pages générées dynamiquement. Si vos page sont générées dynamiquement, il est possible que l’indexation de la plupart de vos contenu soit impossible ou aléatoire. Il faut alors prcodéde des module sue pré-rendus, en suivant la méthode suivante: (LIEN)

✌️Lire un guide c'est bien, apprendre les savoirs-faire du SEO c'est mieux !

On a préparé pour vous une formation gratuite pour vous apprendre les 10 actions simples qui vont booster votre SEO.

Garantie 100% pratique - avec des bonus incroyables !

CHAPITRE SUIVANT
Chapitre 13 : Conclusion : La méthodologie Optimiz.me

Aller au chapitre suivant arrow_right_alt
Vous aussi vous voulez être en 1ère page de Google ?

Laissez nous vos coordonnées, nous vous contactons dans les 2 heures pour discuter de votre projet.

Prendre un rendez-vous commercial