Saltar al contenido principal

Generador de robots.txt

Configura grupos de rastreadores, sus reglas y un sitemap opcional antes de exportar el archivo.

Configura tu archivo robots.txt

Grupos de user-agent

Grupo 1

Puedes separar varios user-agent con comas.

Comprueba una URL para un rastreador

Indica un user-agent de producto, una URL absoluta y pega el contenido de robots.txt que quieras revisar.

Datos de la comprobación

Escribe un token sin espacios, por ejemplo GPTBot.

Incluye el protocolo http o https.

La comprobación usa solo el texto que pegues en este navegador: no consulta el servidor ni descarga robots.txt. Es orientativa; no garantiza que un rastreador obedezca la regla ni que la URL no se indexe.

¿Para qué sirve robots.txt?

robots.txt comunica preferencias de rastreo a los buscadores. No protege contenido privado ni garantiza que una URL no se indexe: para esos casos usa controles de acceso y las directivas adecuadas.

Directivas que usa el generador

1User-agent

Identifica el rastreador al que aplica cada grupo, como Googlebot o* para todos. Crea un grupo por cada conjunto de reglas que quieras diferenciar.

2Allow y Disallow

Declaran qué rutas puede o no rastrear cada grupo. Añade reglas solo cuando quieras declarar una directiva y evita bloquear recursos necesarios para renderizar tus páginas.

3Sitemap

Declara la ubicación de tu sitemap con una URL pública y absoluta, por ejemplohttps://example.com/sitemap.xml. Es opcional y solo debes incluirlo si la URL existe y es accesible.

Ejemplo de archivo válido

Un resultado típico combina un grupo abierto con una excepción y la declaración del sitemap. Cópialo como referencia y adapta las rutas a tu sitio:

User-agent: *
Disallow: /privado/
Sitemap: https://example.com/sitemap.xml

Buenas prácticas

  • Declara solo reglas que comprendas:cada directiva cambia cómo los rastreadores recorren tu sitio.
  • No bloquees recursos de renderizado:CSS, JS e imágenes ayudan a entender tus páginas.
  • Publica en la raíz del dominio: el archivo solo tiene efecto en https://example.com/robots.txt.
  • Valida antes de exportar: corrige los errores señalados y copia o descarga exactamente el contenido validado.

Herramientas SEO relacionadas

Continúa con estas utilidades gratuitas:

Generador de Sitemap XML

Crea un sitemap desde URLs validadas

Generador de Meta Tags

Genera un bloque HTML validado

Cómo crear un robots.txt

Genera un archivo robots.txt validado en tres pasos.

  1. 01

    Añade user-agents

    Crea uno o más grupos y escribe el bot o * para todos los rastreadores.

  2. 02

    Define reglas

    Añade rutas Allow o Disallow solo cuando quieras declarar una directiva.

  3. 03

    Valida y exporta

    Corrige los errores y copia o descarga exactamente el contenido validado.

Preguntas frecuentes

Respuestas sobre el funcionamiento, recomendaciones y consideraciones de esta herramienta.

Consultas frecuentes
Genera un archivo robots.txt con los grupos de user-agent, las reglas Allow y Disallow y el sitemap opcional que configuras. Todo se valida y procesa localmente en tu navegador.

Estrategia SEO para tu negocio

Convierte los diagnósticos en oportunidades de venta

Las herramientas detectan problemas. Una estrategia SEO los convierte en prioridades para atraer tráfico cualificado y generar oportunidades comerciales.

  • Prioridades claras para tu web
  • Oportunidades de tráfico y conversión
  • Plan de acción adaptado a tu negocio

Cuéntame sobre tu proyecto