En detalle
Las reglas usan líneas User-agent, Disallow y Allow, más una línea Sitemap. Controla el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo en los resultados, así que use noindex para mantener una página fuera. No lo use nunca para ocultar contenido sensible.