Robot d'exploration
Un crawler est un programme automatisé qui parcourt les pages web en suivant les liens, pour les analyser et les indexer.
Googlebot est le crawler le plus connu, mais chaque moteur de recherche et chaque IA générative a le sien. Il lit le code HTML, suit les liens internes et externes, et transmet ce qu'il trouve à l'index.
Si un crawler ne peut pas accéder à une page (erreur serveur, blocage dans robots.txt, lien cassé), cette page reste invisible en recherche. Un site bien structuré facilite le passage du crawler et donc l'indexation.