Technical SEO
AI Crawlers & llms.txt
Os bots de sistemas de IA generativa que rastreiam sites para treinar modelos ou responder perguntas em tempo real.
Definição
AI Crawlers são user-agents como GPTBot, ClaudeBot, PerplexityBot e Google-Extended, que acessam sites de forma parecida com um crawler de busca tradicional, mas para alimentar respostas de assistentes de IA. O llms.txt é uma convenção emergente, um arquivo em texto simples na raiz do site que resume o conteúdo e aponta para as páginas mais relevantes, pensado especificamente para ser lido por esses sistemas.
Por que importa
Um site tecnicamente acessível para o Googlebot não é automaticamente acessível ou compreensível para um crawler de IA. Bloqueios genéricos de bot, dependência de JavaScript no conteúdo essencial e ausência de um resumo estruturado do site reduzem a chance de a marca ser citada em respostas geradas por LLMs.