En détail
Les règles utilisent des lignes User-agent, Disallow et Allow, plus une ligne Sitemap. Il contrôle l'exploration, pas l'indexation : une URL bloquée peut quand même apparaître dans les résultats ; utilisez noindex pour garder une page à l'écart. Ne l'utilisez jamais pour cacher du contenu sensible.