Respuesta corta: si tu archivo robots.txt bloquea a los rastreadores de búsqueda de los asistentes de IA, estos no pueden leer tu web cuando buscan información para responder. Es uno de los errores más fáciles de corregir y de los más frecuentes.
Qué es robots.txt
Es un archivo de texto en la raíz de tu dominio (por ejemplo, tuempresa.com/robots.txt) que indica a los rastreadores qué pueden visitar. Algunos plugins de seguridad, CDNs y plantillas bloquean por defecto a los bots que no reconocen, y ahí suelen caer los de IA.
Los rastreadores que conviene conocer
Cada empresa usa varios bots con funciones distintas. Lo importante es separar entrenamiento (usar tu contenido para entrenar modelos) de búsqueda (leer tu web para responder a un usuario en ese momento).
| Empresa | Bot | Para qué |
|---|---|---|
| OpenAI | OAI-SearchBot | Búsqueda en ChatGPT |
| OpenAI | ChatGPT-User | Visitas que hace ChatGPT cuando un usuario se lo pide |
| OpenAI | GPTBot | Entrenamiento de modelos |
| Anthropic | Claude-SearchBot | Búsqueda en Claude |
| Anthropic | Claude-User | Visitas que hace Claude cuando un usuario se lo pide |
| Anthropic | ClaudeBot | Entrenamiento de modelos |
| Perplexity | PerplexityBot | Índice de búsqueda de Perplexity |
| Perplexity | Perplexity-User | Visitas cuando un usuario se lo pide |
| Google-Extended | Control del uso de tu contenido para Gemini; no afecta a tu presencia en la Búsqueda de Google |
Los nombres y el comportamiento de los bots cambian con el tiempo. Revisa la documentación oficial de cada empresa antes de tocar tu configuración.
Una configuración razonable
Si quieres aparecer en las respuestas de los asistentes, deja pasar al menos a los bots de búsqueda y a los de visitas de usuario. Lo de entrenamiento es una decisión de negocio: puedes permitirlo o no.
# Búsqueda y visitas de usuario: permitir
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# Entrenamiento: decide tú (aquí, permitido)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /
Sitemap: https://tuempresa.com/sitemap.xmlErrores frecuentes
- Un
Disallow: /general para todos los bots, heredado de una web en desarrollo. - Bloqueos en el CDN o el firewall (por ejemplo, reglas anti-bots) que no se ven en robots.txt pero devuelven errores a los rastreadores.
- Contenido que solo se carga con JavaScript. Algunos rastreadores no ejecutan JavaScript: si tu texto principal no está en el HTML, puede que no lo lean.
- No tener sitemap o tenerlo desactualizado.
Cómo comprobarlo
Abre tudominio.com/robots.txt en el navegador y busca líneas Disallow que afecten a los bots de la tabla. El diagnóstico de Visaeon lo revisa automáticamente y te dice qué cambiar. Puedes hacerlo gratis aquí.