Balise meta robots
La balise meta robots indique aux moteurs de recherche si une page doit être indexée et si ses liens doivent être suivis.
Placée dans le head d'une page, elle accepte des valeurs comme noindex (ne pas indexer), nofollow (ne pas suivre les liens) ou leur combinaison. Elle agit page par page, contrairement au fichier robots.txt qui agit à l'échelle du site.
Elle sert par exemple à exclure une page de remerciement ou une page de test des résultats de recherche, sans bloquer le crawl du reste du site. Une balise noindex oubliée sur une page importante peut la faire disparaître de Google.