Generador de robots.txt
Crea un archivo robots.txt mediante controles visuales, utiliza plantillas, valida errores habituales y descarga el resultado listo para revisar y publicar.
Plantillas predefinidas
Configuración visual
Sitemaps
Sitemap debe utilizar una URL absoluta, por ejemplo https://www.ejemplo.com/sitemap.xml.
Vista previa
Validación automática
Probar una ruta
Simulación orientativa de las reglas creadas en esta página. No sustituye el comportamiento exacto de cada crawler.
Qué puede controlar robots.txt
robots.txt comunica reglas de rastreo a los robots que respetan el protocolo. Para Google, los campos documentados son User-agent, Allow, Disallow y Sitemap. Las rutas de las reglas deben comenzar por una barra.
robots.txt no es una directiva noindex
Bloquear una URL en robots.txt impide o limita su rastreo, pero no debe utilizarse como sustituto de los mecanismos destinados a controlar la indexación. Tampoco es un sistema de seguridad: una ruta escrita en robots.txt es pública.
Plantillas incluidas
La herramienta ofrece configuraciones para permitir todo, bloquear todo, una base SEO general y una plantilla básica para WordPress. Son puntos de partida y deben adaptarse a la estructura real del sitio.
Preguntas frecuentes
¿Dónde debe colocarse robots.txt?
En la raíz del host correspondiente, por ejemplo https://www.ejemplo.com/robots.txt. Un archivo colocado en una subcarpeta no actúa como robots.txt de todo el sitio.
¿robots.txt sirve para impedir que una página aparezca en Google?
No debe utilizarse como mecanismo de noindex. Su función principal es controlar el rastreo.
¿Google admite Crawl-delay?
No. Por ese motivo esta herramienta no genera Crawl-delay como opción de configuración para Google.
Cómo crear un robots.txt
- Elige una plantilla o crea un grupo personalizado.
- Añade las reglas Allow y Disallow necesarias.
- Incluye la URL absoluta del sitemap si procede.
- Revisa la validación y descarga
robots.txt.