OAI-SearchBotを許可する方法｜robots.txt設定

OAI-SearchBotを許可する設定は、robots.txtへ一行追加して終わりではありません。WAFやCDNが拒否していないか、対象URLが200を返すか、HTMLに本文があるかまで確認します。

この記事では、許可設定と実際の取得成功を分け、ログで確認できる手順を示します。

次の設定について、OAI-SearchBotが対象URLを取得できるか点検してください。
robots.txt、WAF/CDN、HTTP応答、canonical、noindex、HTML本文、アクセスログの順に確認し、許可／拒否／未確認を表にしてください。
IPアドレスやUser-AgentはOpenAI公式情報と照合してください。
robots.txt：［貼り付け］
対象URL：［URL］

OAI-SearchBot・GPTBot・ChatGPT-Userを混同しない

クローラー名ごとに用途が異なるため、目的に合う設定を確認します。OpenAIの公式情報を参照し、第三者の古い一覧だけで判断しないでください。

参照：OpenAI Crawlers｜OpenAI

参照：Publishers and Developers - FAQ｜OpenAI

robots.txtの最小例

User-agent: OAI-SearchBot
Allow: /

Sitemap: https://example.com/sitemap.xml

既存のUser-agent: *やDisallow設定との関係を確認してから反映します。WordPress管理画面の表示だけでなく、公開URLの /robots.txt を直接開いてください。

WAF・CDN・サーバーで拒否していないか

robots.txtが許可でも、セキュリティ機能がUser-AgentやIPで403、429、チャレンジ画面を返すことがあります。公式のIP情報とログを照合します。

取得できても引用されない原因

クロール許可は、ページの有用性や質問との適合を保証しません。本文がJavaScript実行後だけに出る、canonicalが別URL、noindex、会社情報が古い、比較材料がない場合を確認します。

技術合格：200応答、HTML本文あり、canonical正しい、noindexなし。

内容確認：質問への結論、一次情報、比較条件、著者・更新日がある。

変更記録を残す

変更前後で同じ質問と同じURLを確認し、引用の有無を即時効果と断定しません。

まとめ

OAI-SearchBotの確認は、robots.txt、WAF/CDN、HTTP応答、HTML本文、アクセスログの順で行います。許可した後は、質問へ答える一次情報と測定を整えてください。