AIクローラに対応した「llms.txt」と「llms.jsonl」を作る完全ガイド　〜自分のサイトをAIや検索エンジンに正しく認識させる方法〜

Views: 7

はじめに

近年、AI（ChatGPTなどの大規模言語モデル＝LLM）は、
Web上のコンテンツを学習・要約・引用する際に、
構造化されたサイト情報 を参照します。

そのため、これまでの「SEO」だけでなく、
AIクローラ（LLM）に最適化されたメタ情報 の設置が重要になっています。

本記事では、個人サイトやWordPressブログでも簡単に導入できる
「llms.txt」「llms.jsonl」「robots.txt」を作成し、
AIにも検索エンジンにも優しい構成を実現する手順を紹介します。

前提条件

○独自ドメインのWebサイト（例：https://yourdomain.com/）
○FTP / WinSCP / SSH などでサーバーにアクセス可能
○UTF-8 形式のテキストファイルを扱えるエディタ（例：VS Code）
○WordPressを使っている場合は、自動生成される wp-sitemap.xml が有効

llms.txt の作成方法

基本構造

# llms.txt for yourdomain.com
# Owner: yourname
# Description: Structured Markdown index for AI & SEO crawlers
# Format: Markdown, UTF-8

## 投稿
### [記事タイトル1](https://yourdomain.com/post-1/)
カテゴリー: 技術
公開日: 2025-10-01
更新日: 2025-10-03
概要: 本文の概要を一文。

## 固定ページ
### [ホーム](https://yourdomain.com/home/)
カテゴリー: 固定ページ
公開日: 2025-08-01
更新日: 2025-09-01
概要: サイトトップページの紹介。

ポイント

Markdown形式で統一（AI・検索エンジンの両方が解析可能）
UTF-8（BOMなし）で保存
ファイル名は llms.txt
サーバーのルートに配置 → https://yourdomain.com/llms.txt

パーミッション設定

chmod 644 llms.txt

llms.jsonl の作成方法

JSON Lines形式（1行＝1記事）

下記は例です。
{“title”: “記事タイトル1”, “url”: “https://yourdomain.com/post-1/”, “category”: “技術”, “published”: “2025-10-01”, “modified”: “2025-10-03”, “excerpt”: “本文の概要を一文。”, “type”: “post”}
{“title”: “ホーム”, “url”: “https://yourdomain.com/home/”, “category”: “固定ページ”, “published”: “2025-08-01”, “modified”: “2025-09-01”, “excerpt”: “サイトトップページの紹介。”, “type”: “page”}

仕様

○UTF-8（BOMなし、もしくはUTF-8 with BOMでも可）
○ファイル名：llms.jsonl
○1行ごとに記事を定義（機械学習用に最適）

パーミッション設定

chmod 644 llms.jsonl

robots.txt の設定

AIや検索エンジンに llms.txt / llms.jsonl を発見させるために robots.txt に以下を追記します。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# AI・検索エンジン向けファイルを許可
Allow: /llms.txt
Allow: /llms.jsonl

# サイトマップを指定
Sitemap: https://yourdomain.com/wp-sitemap.xml

動作確認

ブラウザで以下を開きます

https://yourdomain.com/llms.txt
https://yourdomain.com/llms.jsonl
それぞれ正しく内容が表示されればOK。

Google Search Console にサイトマップを登録

https://yourdomain.com/wp-sitemap.xml

Bing Webmaster Tools にも同様に登録可能

AIクローラの検出

OpenAIの GPTBot, Anthropicの ClaudeBot, Perplexity, Google-Extended などのAIクローラは自動的にこれらファイルを検出します。

ファイル構成のまとめ

上級編：自動更新の仕組み

WordPress REST APIやPythonスクリプトを使えば、llms.jsonl を自動的に生成・更新することもできます。

まとめ

○llms.txt → AIが読みやすい「見える」構造化リスト
○llms.jsonl → AIが解析しやすい「データ」形式
○robots.txt → それらを案内する地図
この3点を設置すれば、あなたのサイトは AI・検索エンジン・ユーザーすべてにフレンドリー な構造になります。

推奨ファイル構成

/public_html/
├── llms.txt
├── llms.jsonl
├── robots.txt
└── wp-sitemap.xml（WordPressが自動生成）

※UTF-8（BOMなし、もしくはUTF-8 with BOMでも可）使用にするのを忘れると文字化けします。