llms.txt generator

llms.txt、その信頼度について

2024年にJeremy Howardが提案したアイデアはシンプルです： /llms.txt 言語モデルにサイト内のどのページを優先的に読むべきか伝えます。robots.txtはクローラーが触れてはいけないものを示し、llms.txtは優先すべきものを示します。

主要なAIベンダーはまだ読み込みを約束していません。llms.txtがAIの可視性に必須だと言う人は何かを売りたいだけです。事実としては、採用はドキュメントサイトや開発ツールで広がりつつあり、ファイルは静的で配信コストもかからず、慣習が続けばあなたも既に対応済みです。

妥当な慣習への安価な賭けです。10分の価値はありますが、プロジェクトにするほどではありません。

順に言うと、まずリトリーバルクローラーがページにアクセスできること、次に明確な回答を抽出できる構造化されたコンテンツがあることです。URL一覧のファイルは、 OAI-SearchBot が禁止されているか、各セクションが要点に達するまでに3段落かかる場合。

まずはこちらでチェックしてください AIクローラーチェッカーそして2つ目は AI visibility checkerを実行してみて同様に。

サイトマップから生成しますが、サイトマップは完全性を目指し、llms.txtは選択性を目指します。実際に回答する20ページは、タグアーカイブを含む400ページより価値があります。大胆に削除し、冒頭に本物の一行説明を書きましょう。

よくある質問

llms.txtとは何？

2024年にJeremy Howardが提案した規約で、/llms.txtにマークダウン形式でサイト内の重要ページをリストアップします。これにより言語モデルはナビゲーションやクッキーバナー、フッターをクロールせずに重要な内容を見つけられます。

AI企業は本当にこれを読むの？

確実ではなく、その点は正直に伝えるべきです。主要なAIベンダーはllms.txtの対応を約束していません。ドキュメントサイトや開発ツールでの採用は増えていますが、コストは静的ファイル1つだけ。今日すぐに効果が出るものではなく、規約への期待を込めた軽い賭けと考えてください。

ファイルはどこに置くの？

ドメインのルートに置きます：https://example.com/llms.txt。一部のサイトはllms-full.txtも公開し、リンクではなく重要ページの全文を含めています。

なぜ最初の100URLだけ？

有用なllms.txtは網羅的ではなく厳選されたものだからです。4000URLのサイトマップ全出力は意味がありません。このファイルは重要なページを示すためのものです。生成結果はドラフトと考え、絞り込んでください。

これはサイトマップと同じ？

いいえ。サイトマップは検索クローラー向けのXMLで網羅性を目指します。llms.txtは言語モデル向けのマークダウンで選択性を重視し、サイトの説明やページの重要性を記述する余地があります。