llms.txt, e o quanto acreditar nele
A ideia, proposta por Jeremy Howard em 2024, é simples: um ficheiro markdown em /llms.txt que indica a um modelo de linguagem quais as páginas do teu site que valem a pena ler. Robots.txt diz o que o crawler não pode tocar; llms.txt diz o que deve priorizar.
A posição honesta sobre a adoção
Nenhum grande fornecedor de AI se comprometeu a lê-lo. Quem te disser que llms.txt é necessário para visibilidade AI está a vender algo. O que é verdade: a adoção está a crescer em sites de documentação e ferramentas para programadores, o ficheiro é estático e não custa nada servir, e se a convenção se mantiver já estás lá.
É uma aposta barata numa convenção plausível. Vale dez minutos, não vale um projeto.
O que realmente aumenta a visibilidade AI
Por ordem: permitir que crawlers de recuperação acedam à página, depois ter conteúdo estruturado para que uma resposta clara possa ser extraída. Um ficheiro com as tuas URLs não serve para nada se OAI-SearchBot está proibido, ou se cada secção demora três parágrafos a chegar ao ponto.
Verifica o primeiro com o Verificador de crawler AI e o segundo com o Verificador de visibilidade AI também.
Faz a curadoria
Geramos a partir do teu sitemap porque é a única lista completa disponível, mas um sitemap visa a completude e llms.txt visa a seletividade. Vinte páginas que realmente respondem algo valem mais que quatrocentas que incluem o teu arquivo de tags. Apaga generosamente e escreve uma descrição verdadeira de uma linha no topo.