AI 爬蟲政策（AI-crawler policy）
別稱 AI bot 政策 · GPTBot / ClaudeBot 規則
在 robots.txt 中針對 AI 使用者代理（GPTBot、ClaudeBot、PerplexityBot、Google-Extended）設定明確允許或封鎖的規則。
這是什麼
AI 爬蟲政策是在 robots.txt 中為各家 AI bot 設定具名的 User-agent 群組，針對用於訓練模型或抓取即時答案的爬蟲，例如 GPTBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot（Perplexity）與 Google-Extended（Gemini 與 AI Overviews）。每個群組都明確允許或禁止抓取，而不是仰賴預設的通用規則。請注意 Google-Extended 是訓練／取材用的權杖，而非獨立的爬蟲。
為什麼重要
AI 搜尋與答案引擎會依據這些權杖判斷是否可閱讀、引用或訓練你的內容，因此若不表態，等於把決定權交給各家廠商的預設值。明確的政策讓你能刻意選擇成為 AI 回答可引用的來源（允許），或保護專有內容（封鎖），而非碰運氣。
如何檢查
抓取 curl -s https://example.com/robots.txt，查看是否有具名 GPTBot、ClaudeBot、PerplexityBot 與 Google-Extended 的 User-agent 行及其 Allow/Disallow 指令。確認沒有過於寬鬆的 Disallow: / 意外封鎖所有 AI bot，且語法與各廠商文件所載的代理字串一致。
如何修正
在 robots.txt 為各主要 AI 代理新增明確的 User-agent 區塊，依策略設定 Allow: / 或 Disallow: /，代理名稱須與官方文件完全一致。若想獲得 AI 能見度，可允許答案引擎的 bot 同時對敏感路徑設限；並記住 robots.txt 僅屬建議性質，必須硬性封鎖的內容應改用驗證或 WAF 規則。
相關詞彙
官方參考資料
外部連結，將於新分頁開啟。
把知識化為行動。
親手逐項完成每一項檢查，並轉成可分享的 GEO Score 報告——或在數秒內自動掃描你的網站。