User-agents de Anthropic
- ClaudeBot — Crawler principal de Anthropic
- anthropic-ai — User-agent alternativo/complementario
- Claude-Web — Para funciones de búsqueda web de Claude
Configuración en robots.txt
Para permitir todos los crawlers de Anthropic (recomendado):
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /Para bloquear (no recomendado para GEO):
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /Claude vs ChatGPT: Diferencias en crawling
| Aspecto | ClaudeBot (Anthropic) | GPTBot (OpenAI) |
|---|---|---|
| Empresa | Anthropic | OpenAI |
| Producto | Claude AI | ChatGPT |
| Uso de datos | Entrenamiento + búsqueda | Entrenamiento + Browse |
| Transparencia | Documentación pública | Documentación pública |
Por qué importa ClaudeBot para GEO
Claude está ganando popularidad rápidamente, especialmente en:
- Usuarios técnicos y developers — Claude es popular entre programadores
- Contenido largo — Claude tiene contexto de 100K+ tokens, ideal para documentos extensos
- Empresas B2B — Muchas empresas usan Claude API para aplicaciones internas
- Investigación — Claude es usado para análisis y síntesis de información
Optimización específica para Claude
- Permitir crawlers — ClaudeBot y anthropic-ai en robots.txt
- Contenido exhaustivo — Claude procesa contextos largos; Quality Nodes de 3000+ palabras funcionan bien
- Estructura clara — Headers jerárquicos que Claude pueda parsear
- llms.txt — Archivo llms.txt con información para Claude
- Datos verificables — Claude es especialmente cuidadoso con precisión factual
Curiosidad: Anthropic, la empresa detrás de Claude, fue fundada por ex-empleados de OpenAI, lo que explica algunas similitudes en cómo sus crawlers funcionan.