Probador de Robots.txt
Valida tus directivas de rastreo al instante
Control de Rastreadores
Gestiona cómo los bots de los motores de búsqueda perciben y navegan por la estructura de tu sitio web.
Privacidad de Datos
Identifica y bloquea directorios sensibles (como /admin o /privado) para que no aparezcan en los resultados de búsqueda.
Regex y Comodines
Nuestro probador admite patrones de coincidencia avanzados, incluyendo * (comodín) y $ (anclaje final).
Resultados Instantáneos
Validación en tiempo real de tus reglas sin necesidad de subir el archivo a tu servidor primero.
Entendiendo las Reglas de Robots.txt
El archivo `robots.txt` es lo primero que un bot busca al visitar tu sitio. Contiene un conjunto de "directivas" que indican a rastreadores específicos qué partes de tu sitio web no deben visitar. Aunque la mayoría de los bots siguen estas reglas, no son una medida de seguridad, sino más bien una señal de "Prohibido el paso".
Usando nuestro Probador de Robots.txt, puedes depurar conjuntos de reglas complejos y asegurarte de que páginas importantes no estén bloqueadas accidentalmente de ser indexadas por Google o Bing.
Directivas Comunes
- User-agent: Especifica a qué rastreador se aplican las siguientes reglas (ej., `*` para todos, `Googlebot`).
- Disallow: Especifica una ruta que NO debe ser rastreada.
- Allow: Sobrescribe específicamente una regla de Disallow para una subruta.
- Sitemap: Proporciona la URL completa de tu mapa del sitio XML.