Du petit système de classement des pages mis en place à Stanford par Sergueï Brin et Larry Page en 1998 au géant du Web en 2018 ultra-dominant dans le domaine des moteurs de recherche (mais pas que !), vingt années s’écoulent où l’utilisateur a pu constater une très longue évolution faite de touches microscopiques. Des évolutions en termes de design évidemment mais aussi des évolutions parfois beaucoup plus subtiles en termes d’exploration, d’indexation et bien entendu en termes d’algorithme de recherche.

1. Fonctionnement du moteur de recherche Google
2. Exploration par Google Bot
3. Comment revient le robot ?
4. Donner un ordre à Google ?
5. Aller voir ailleurs que sur Google

Google et le fonctionnement de la recherche du moteur

Nous avions déjà pu voir dans l’article sur le fonctionnement d’un moteur de recherche différents moteurs possibles et alternatifs. Cela dit, la domination Google nous pousse à voir ici non pas l’aentreprise et Alphabet en particulier mais la manière dont la recherche est efficiente à ce point pour nombre d’usagers.

L’exploration et l’indexation au commencement

Nous sommes très nombreux sur terre à tenir un blog, à créer des contenus même très réduits sur la toile, sur le Web. Et naturellement il se trouve que les robots d’exploration de Google (il y en a plusieurs !) collectent quantité d’informations sur les éléments déposés sur Internet. En soi, cela représente des milliards de pages Web à observer mais aussi à indexer. Vous pouvez également, si vous le souhaiter, indexer un site sur Google vous-même mais sachez que avant même la saisie ou l’énonciation de la requête de l’internaute, Google a déjà collecté des milliards de milliards de données et organisé ces dernières. L’exploration est un processus complexe que personne ne comprend vraiment, pas même ceux qui l’ont initié (en tous cas aujourd’hui). Le sitemap par exemple qui a encore une utilité aujourd’hui ne permet pas d’imaginer à lui-seul l’indexation des pages . Ce qui est toujours acquis en revanche, c’est bien le fait que le robot d’exploration , en rencontrant un lien a la possibilité de se rendre sur une autre page. Ce sont les liens qui permettent la navigation de celui-ci pur classer et indexer ensuite les pages en fonction de leur contenu, de leur popularité aussi.

Comment va revenir le robot ? Comment l’inviter à revenir via la search console et autrement

Si plusieurs liens pointent vers une page, celle-ci a bien plus de chances d’être explorée mais comme le signale Google lui-même, ce sont les programmes informatiques qui « déterminent les sites à explorer, la fréquence à laquelle l’exploration doit être effectuée, ainsi que le nombre de pages à explorer pour chaque site. »
Si l’on exploite un robots.txt, on peut donner des ordres aux différents bots se baladant sur le web, y compris ceux de Google. De même, l’usage de meta noindex et du nofollow permettent de donner quelques règles que va suivre en théorie le moteur.

Si vous utilisez la Google Search Console, vous aurez aussi la possibilité de forcer un peu l’indexation de certaines pages. Mais cette fonctionnalité est vouée à disparaître en raison du coût qu’elle représente pour Google. Vous imaginez appeler le bot comme on siffle un chien ? Bien trop coûteux au vu du nombre de pages que les webmasters cherchent à indexer.

Ce qui nous amène à cette réflexion : quel autre moyen permet d’assurer un peu la visite du bot sur les nouvelles pages ? En proposant un sitemap bien sûr, mais aussi en créant des contenus assez souvent et facilement accessibles via le site Internet, et en bénéficiant de liens d’autres sites Web. Vous pourrez là encore constater votre budget crawl en allant dnas la Google Search console ; Y sont présentes les statistiques d’exploration de vos pages.

L’histoire de Google tend vers moins d’injonction au moteur Google (sans blague ?)

Ce n’est pas un scoop et de nombreux professionnels s’en rendent compte. Google n’aime pas qu’on lui donne des ordres. Il ne s’agit que d’observer dans quelle mesure il prend en compte les éléments pré-cités ci-dessus pour voir que parfois, le robots txt n’empêche pas pour autant l’apparition d’un lien (je pense au petit WordPress que vous mettez en attente de publication), pour voir qu’un sitemap particulier n’est pas si efficace (en dépit de son optimisation), pour voir qu’une canonical n’est pas interprétée à temps pour contrer un duplicate content, pour observer toujours avec amusement qu’une balise title est tout simplement réinterprétée par me moteur. Parlons-en d’ailleurs de ces metas directives !

Elles remontent au début du Web, se placent entre <head> et <head> sur une page en html, l’en-tête du document Web (LOL). Vous pensez sérieusement que Google n’a pas une autre ambition que de proposer des résultats dictés par nos propres contenus et ces bidules placés dans les documents ? Non, le projet (en dehors de ses aspects financiers prioritaires comme Adwords) a une intention différente : Classer en fonction de la pertinence du contenu, pertinence personnalisée j’entends (ce qui est une hypocrisie totale à moins que vous souhaitiez rester dans votre jus). Rien que cela.

Seulement encore aujourd’hui le moteur peine a changer sa manière de traiter l’information. Et qui pour contester encore aujourd’hui la force d’une balise title bien optimisée ? Et qui pour contester encore aujourd’hui la force d’un backlink cumulant thématique, ancre de lien, positionnement dans le site, antériorité du site, trafic potentiel et âge du domaine ? Qui pour dire que l’on ne peut pas manipuler le moteur ayant une arborescence de site et un maillage interne idoine ? Sérieusement ?

Faire évoluer son rapport à Google en allant ailleurs que sur Google

Non, ces vieilles recettes comme disent certains, si elles peuvent parfois sembler usées n’en sont pas pour autant obsolètes. Quels sont les sites sur des top positions concurrentielles qui ne bénéficient pas de ces bénéfices ? Franchement très peu voire aucun.

Non, la réalité, c’est qu’il faut s’intéresser à d’autres pans du webmarketing, du marketing tout court d’ailleurs. La vidéo YouTube ? A fond les manettes. Le social media ? Bien sûr. Google Ads ? Le remarketing ? Absolument !  Et comment ! Le mailing ciblé ? L’un des meilleurs outils de conversion du web ! Le format papier ? Toujours dans le coup ! La télé ou la radio ? Je suis pour ! En fait, le but, c’est de spammer partout !

On m’a sorti ça récemment et c’est amusant (un leader du web sur une thématique qui se reconnaîtra peut-être) : On pense communauté avant SEO…

Hum, Tout à fait pourvu que le site soit déjà référencé et truste à peu près tous les Keywords dans un marché où les concurrents ne sont pas très bons 😉 je penserai communauté et pourrai même dire que « c’est comme ça qu’il faut penser avant tout ». Sauf qu’une stratégie adaptée à un secteur ne l’est pas pour un autre.

Une source : Quelques infos glanées sur GG