Guia Completa de Robots.txt: Controlar la Indexacion de tu Sitio

Que es el Robots.txt

El archivo robots.txt es un archivo de texto colocado en la raiz de tu sitio web que indica a los robots de exploracion (crawlers) que paginas pueden o no pueden visitar. Es lo primero que Google, Bing y otros motores de busqueda consultan al llegar a tu sitio.

Un robots.txt mal configurado puede impedir la indexacion de paginas importantes o dejar que los robots exploren secciones que preferirías mantener fuera de los resultados de busqueda.

Sintaxis Basica

• User-agent: Identifica el robot afectado. User-agent: * se aplica a todos.
• Disallow: Prohibe la exploracion de una ruta. Disallow: /admin/
• Allow: Autoriza explicitamente una ruta como excepcion.
• Sitemap: Indica la ubicacion de tu sitemap XML.

Reglas Comunes

• Bloquear un directorio: Disallow: /private/
• Bloquear un archivo: Disallow: /pagina-secreta.html
• Bloquear parametros de busqueda: Disallow: /search evita indexar resultados de busqueda interna.
• Permitir todo: User-agent: * y Disallow: sin ruta.

Errores Comunes a Evitar

• Bloquear CSS y JS: Google necesita acceder a tus archivos CSS y JavaScript para renderizar correctamente.
• Usar robots.txt como seguridad: El archivo es publico. Usa autenticacion y meta noindex en su lugar.
• Bloquear imagenes: Si quieres aparecer en Google Images, no prohibas el acceso a tu directorio de imagenes.
• No probar: Un error de sintaxis puede tener consecuencias importantes.

Robots.txt vs Meta Noindex

• robots.txt: Impide el crawl. El robot no visita la pagina. Pero si otros sitios enlazan a ella, puede aparecer en resultados sin contenido.
• meta noindex: El robot visita la pagina pero no la indexa. Es el metodo fiable para retirar una pagina de resultados.

Genera tu Robots.txt

Nuestro generador de robots.txt te ayuda a crear un archivo correctamente formateado, sin riesgo de errores de sintaxis.