OAI-SearchBotを許可する方法｜robots.txt設定

ChatGPT Searchに自社サイトを参照してほしいなら、最初にOAI-SearchBotがページを取得できるか確認します。記事を増やしても、クローラーが403で止まっていれば検索回答の候補になりません。

robots.txt、WAF・CDN、応答コード、本文取得、アクセスログの順で見れば、遮断箇所を切り分けられます。

OAI-SearchBotとは

OAI-SearchBotは、ChatGPTの検索機能でWebページを見つけ、回答内の出典へつなげるためのクローラーです。学習用クローラーのGPTBotとは用途が異なります。

ユーザーエージェント	主な用途	判断
OAI-SearchBot	ChatGPT Searchの検索・出典	検索回答に出したいなら許可
GPTBot	生成AIモデルの改善	自社方針に沿って判断
ChatGPT-User	ユーザー操作に伴う取得	個別リクエストの取得を確認

OpenAIは、ChatGPT Searchの検索結果に含めたいサイトはOAI-SearchBotを許可するよう案内しています。ただし、許可しただけで掲載や順位が保証されるわけではありません。

参照：「Publishers and Developers FAQ」｜OpenAI

確認順1：robots.txtを確認する

最初に、サイト直下のrobots.txtでOAI-SearchBotを拒否していないか確認します。WordPressなら「ドメイン/robots.txt」をブラウザで開きます。

行	意味
User-agent: OAI-SearchBot	対象クローラーを指定
Allow: /	サイト全体の取得を許可
Disallow: /private/	特定ディレクトリだけ拒否

全体設定のUser-agent: *で拒否している場合は、個別許可との優先関係も確認します。編集前に現在の内容を保存し、管理画面やステージング環境まで公開しないよう対象を限定してください。

確認順2：WAF・CDNのbot判定を見る

robots.txtで許可していても、CloudflareやサーバーのWAFがbotアクセスを403にすることがあります。管理画面のセキュリティログでユーザーエージェントと応答コードを確認します。

OpenAIは公開済みIPレンジの情報も案内しています。許可リストを設定するときは、固定値を記事からコピーせず、OpenAIの公式情報を都度確認してください。

参照：「OAI-SearchBot IP ranges」｜OpenAI

確認順3：対象URLの応答コードを確認する

重要ページが200を返し、ログインやCookie同意なしで本文を取得できるか見ます。トップページだけ200でも、サービスページや記事が403・404なら不足です。

応答	状態	対応
200	取得可能	本文とcanonicalを確認
301・302	転送	最終URLと転送回数を確認
403	アクセス拒否	WAF・bot設定を確認
404	ページなし	内部リンクとURLを修正
5xx	サーバーエラー	負荷・障害・設定を確認

確認順4：HTMLに本文があるか確認する

画面では読めても、取得直後のHTMLに主要本文がないサイトは注意が必要です。会社名、サービス内容、料金、著者、更新日がHTML本文として確認できる状態を目指します。

JavaScriptを使うこと自体が問題ではありません。読み込み失敗時に空になる、操作しないと文章が出ない、画像内にしか説明がない状態を避けます。

確認順5：ログで再取得を確認する

設定変更後は、アクセスログで取得日時、URL、応答コードを確認します。許可設定を書いただけで完了にしません。

重要URLを一覧にし、クローラーが到達したか、古いURLへ転送されていないかを記録します。その後、固定した質問でChatGPT Searchの引用状況を定点観測します。

許可しても引用されないとき

クロール許可は入口であり、引用される理由までは作りません。会社・サービスの説明が曖昧、他サイトの要約だけ、更新日が不明、一次情報がない場合は内容側を改善します。

自社名が出ない5段階の確認手順で、質問、検索、会社情報、測定まで続けて確認できます。

まとめ

OAI-SearchBotは、robots.txt、WAF・CDN、応答コード、本文取得、ログの順で確認します。許可と引用は別工程なので、技術設定後は情報の具体性と測定へ進みます。