Robots.txt
Le fichier robots.txt indique aux robots des moteurs de recherche quelles parties d'un site ils peuvent explorer ou non.
Placé à la racine du domaine, ce fichier texte simple donne des instructions par robot et par dossier. Il ne garantit pas qu'une page reste hors des résultats de recherche, il empêche seulement son exploration.
Une erreur dans ce fichier peut bloquer l'accès à tout un site sans avertissement visible. Une vérification après chaque mise en production évite ce risque, rare mais coûteux.