Le monde des moteurs de recherche est finalement en ébullition en cette année 2006. Alors que Google domine partout et encore plus en Europe qu'aux Etats-Unis, les concurrents affutent leurs nouvelles versions pour contrer cette domination très nette (80% du trafic provenant des moteurs de recherche) et s'adapter aux nouveaux usages d'internet (blog, web mobile, etc..).

Cela s'accompagne de bouleversements bien inhabituels dans le monde autrefois fort paisible des robots d'indexation.

Voilà que MSN, Yahoo, Google ou encore Exalead changent la signature (le 'user-agent') de leur robot. Quelques développements "d'optimisation SEO" vont s'en trouver perturbés, à n'en pas douter !

Pour suivre l'apparition de ces nouveaux 'user-agent's, je vous suggère un site bien pratique dans le monde des moteurs de recherche francophones : il liste tous les user-agent connus de robots qui le visitent (tous ceux qui demandent le fichier 'robots.txt') et indique ceux qui sont encore actifs en précisant leur date de dernière visite.

On y trouve notamment les derniers nés de MSN :

msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
msnbot-NewsBlogs/1.0 (+http://search.msn.com/msnbot.htm)
msnbot-Products/1.0 (+http://search.msn.com/msnbot.htm)
msnbot/0.9 (+http://search.msn.com/msnbot.htm)
msnbot/1.0 (+http://search.msn.com/msnbot.htm)

Ou encore la relève du français Exalead:

Exabot/2.0
Exabot/3.0

Pour la nouvelle version d'Exalead 

Premier billet sur ce sujet, à suivre