Le Googlebot : le robot de Google - Optimiz.me

Le Googlebot

Le Googlebot est le nom anglais du robot d’exploration et d’indexation de Google. En réalité, il existe non pas un mais plusieurs milliers de robots Google pour parcourir tout le web.

robot googlebot

Missions du robot Google

De manière schématique nous pouvons dire que le travail du robot se résume à 2 grandes missions :

  • Explorer le web : visiter les pages et suivre les liens contenus dans ces pages.
  • Indexer les pages : stocker le contenu de ces pages sur les serveurs de Google.

Fréquence du crawl

Aujourd’hui les moteurs ont en permanence des robots qui crawlent le web, on parle ainsi de crawl continu par opposition  aux mises à jour mensuelles de l’index qui avaient lieu il y a quelques années.

googlebots au crawl

Les pages dont les contenus sont régulièrement mis à jour (ajout de texte, renouvellement des contenus ou ajout de nouvelles pages) sont visitées plus fréquemment que les pages dites « statiques ».

Les pages d’actualité sont même crawlées et indexées plusieurs fois par jour par les robots.

L’analyse du crawl : savoir quand Googlebot est venu sur votre site

Dans les Google Webmaster Tools (GWT) vous avez accès aux fichiers « log » des serveurs qui répertorient toutes les visites des spiders. Un fichier log (pour logging) est un fichier "journal" qui comprend l'historique des enregistrements survenus sur un système. Il existe également des outils statistiques pour analyser le crawl et identifier les passages des spiders.

Articles similaires 

✌️Lire un guide c'est bien, appliquer les savoirs-faire du SEO c'est mieux !

Essayez dès maintenant le logiciel que nous avons développé, pour booster votre SEO !
Recherche de mots clés, Suivi de positionnement, Préconisations sur les contenus... et bien plus !

Garantie 100% pratique  !

LEÇON SUIVANTE
Leçon 6 : Data center 

Aller à la prochaine leçon arrow_right_alt
Vous aussi vous voulez être en 1ère page de Google ?

Laissez nous vos coordonnées, nous vous contacterons pour discuter de votre projet.

Contactez-nous