快速結論：OpenAI 的爬蟲其實有兩隻，任務不一樣——GPTBot 抓你的內容去訓練模型，OAI-SearchBot 是 ChatGPT 搜尋引用時去找答案用的。這兩隻在 robots.txt 可以分開設定，官方文件寫得很明白。想被引用又不想被訓練，技術上做得到，只是大部分人根本沒發現這題可以分開答。
這篇寫給檢查過自家 robots.txt、看到「User-agent: GPTBot / Disallow: /」就安心睡覺的你，也寫給還沒檢查過、但已經開始緊張「AI 是不是把我內容都吃光了」的你。
先說我自己的踩坑。半年前我幫一個客戶的網站做健檢，看到 robots.txt 把所有 AI 爬蟲整組封鎖，客戶還挺得意，說「這樣才安全」。我當下的反應跟大部分人一樣：喔，防守做得不錯。
殊不知。後來去查 OpenAI 的爬蟲文件才發現不對勁——他們封的那個 User-agent 名稱，其實同時擋到了幫他們在 ChatGPT 搜尋結果裡露出的那隻爬蟲。等於是花力氣防賊，結果連送快遞的也一起擋在門外（而且快遞被擋了不會按門鈴，就默默走了…）。
本文是〈生成式引擎優化入門〉中「放行它」這個動作的延伸說明，想先看整體策略可以從那裡開始。
兩隻爬蟲，兩份工作
目的：先搞清楚你家 robots.txt 裡那幾行到底在擋誰、放誰，不然「設定」這件事根本無從談起。
OpenAI 目前公開文件列出的爬蟲，跟這篇最相關的是兩隻：
| 爬蟲 | User-agent 名稱 | 做什麼 | 擋掉的代價 |
|---|---|---|---|
| GPTBot | GPTBot |
抓取內容用來訓練未來的模型 | 你的內容不會被拿去訓練，但也不影響你現在會不會被引用 |
| OAI-SearchBot | OAI-SearchBot |
即時檢索網路，供 ChatGPT 搜尋功能引用來源 | 你在 ChatGPT 搜尋答案裡直接消失，等於退出這個引用競賽 |
效果：分開設定之後，你可以精準決定「我要拒絕的是哪一種使用」，而不是用同一把鑰匙鎖住兩扇完全不同用途的門。
極限：這張表只涵蓋 OpenAI 一家。Google 的 AI 模式用的是既有的 Googlebot 機制（不是另開一隻新爬蟲），Perplexity、Anthropic 各家也有各自的爬蟲名稱與規則——這篇先把 OpenAI 這條最常見的誤會講清楚，別的家我會找時間另外整理，別誤會這篇是「全 AI 爬蟲總覽」。
一刀切全封，你到底放棄了什麼
很多網站的 robots.txt 長這樣：把所有含「GPT」「AI」「bot」字樣的 User-agent 整批 Disallow。出發點完全可以理解（誰都不想自己的內容變成別人家模型的免費教材），但這個做法有個沒被想清楚的副作用。
目的：一刀切的人多半在防「被訓練」。效果：確實擋住了訓練用途，這部分有達成。極限：同一組規則也把「搜尋引用」一起擋掉了——很多人根本沒意識到這是兩件事，設定的時候一組規則就想打發兩扇門。
換句話說，你可能為了保護內容，順手放棄了被引用的機會，而且完全不知道自己做過這個選擇。這跟粗不粗心沒關係，就是「爬蟲＝爬蟲」這個直覺太根深蒂固。沒有人天生知道要拆開來看，我也是查了文件才知道。
想被引用、不想被訓練：robots.txt 怎麼寫
目的：讓網站的意願被精準表達出來，取代模糊的「全擋」交差。效果：只要在 robots.txt 裡分開列出兩個 User-agent，各自給規則就行：
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
這樣設定，翻成白話就是：不同意你拿我的內容去訓練模型，但歡迎在 ChatGPT 搜尋時把我列進答案來源。兩件事本來就可以分開表態，只是規則要自己寫對，沒有人會幫你預設好（預設值這種東西，永遠是別人幫你決定的）。
極限：robots.txt 說到底是君子協定。遵守與否取決於對方爬蟲的自律，OpenAI 官方文件承諾會遵守，但這終究停在規則層面的約定，跟防火牆等級的強制擋設是兩回事（想徹底阻擋還有伺服器端擋 IP、User-agent 這類更硬的手段，那是另一個層次的技術題，這篇不展開）。延伸閱讀：若要了解 AI 爬蟲有哪些種類與如何決定封鎖或授權，請見〈AI 爬蟲的種類與封鎖、授權策略〉。
全放行划算嗎？也不一定
反過來，也會有人看到這裡就衝去把兩隻全部 Allow。先別急，這題還有下半場。
目的：全放行是為了把「被引用」的機率拉到最大。效果：確實增加曝光的可能性——你的內容有機會同時被拿去訓練、也被搜尋引用。極限：如果你的內容本身有版權敏感（例如付費內容、獨家資料、客戶隱私相關頁面），一律開放訓練用途未必是你想要的商業決定。這題沒有標準答案，是每家網站要自己衡量的取捨，跟「該不該讓 AI 讀你的內容去訓練」這個更大的題目綁在一起，見〈GEO 完整指南〉裡對放行的完整討論。
我自己的做法是分頁面處理：行銷部落格這類本來就想被看到、被轉述的內容，兩隻都放行；涉及客戶名單、內部報告的頁面，兩隻都擋——這比「全站一個規則」實際得多。
放行了就一定會被引用嗎
先講清楚，這篇解決的只是「進得來、進不來」的問題，「進來了會不會被選中」是另一題。放行 OAI-SearchBot，等於拿到入場券，上不上場還得看內容本身夠不夠格。至於怎麼寫才會真的被 AI 挑中引用，答案不藏，我在〈可引用性〉那篇整理過：GEO 的本質，是把內容寫成 AI 敢引用的證據。robots.txt 決定你在不在候選名單裡；內容夠不夠格當證據，決定你會不會被叫到號碼牌。門開了，還得端得出菜。
廠商/老闆遲早會問的三題
「我們網站有沒有擋到 AI 搜尋引用？」 打開你家 robots.txt（網址後面加 /robots.txt 就看得到），找 GPTBot 跟 OAI-SearchBot 這兩行，看規則寫的是 Disallow 還是 Allow。沒寫等於預設放行，寫了 Disallow: / 就是全擋。若要分清楚這幾種索引設定各自負責什麼，可以接著閱讀〈robots.txt、noindex 與 Sitemap 的差異〉。
「這樣改會不會有風險？」 技術上就是改一個純文字檔，幾分鐘的事。真正要想清楚的是商業判斷（要不要讓訓練用途進來），技術難度反而是整題最小的部分。
「改了之後多久看得到效果？」 robots.txt 生效是即時的（爬蟲下次來抓就會看新規則），但「什麼時候被引用」是另一回事——內容夠不夠格、AI 搜尋工具重新索引的節奏，都還要等。我自己觀察，規則生效通常幾天內看得出爬蟲行為變化，但看到被引用的變化，更接近以週為單位在追蹤。
常見問題（FAQ）
GPTBot 和 OAI-SearchBot 我只能查到一個名字，另一個是什麼時候多出來的？
OAI-SearchBot 是隨著 ChatGPT 搜尋功能上線才出現的獨立爬蟲。如果你的 robots.txt 是很早以前設定的，很可能根本沒列到這個名字——沒列到不代表擋住，預設是放行，但也代表你可能從來沒有「主動決定」過這件事。去看官方文件確認目前完整的爬蟲清單比較保險。
其他 AI 公司（Google、Perplexity、Anthropic）也有類似的分工嗎？
機制不完全一樣。Google 的 AI 模式主要沿用既有的 Googlebot，沒有另外開新的訓練／引用兩隻爬蟲；其他家的公開文件詳細程度也不同。這篇只處理 OpenAI 這條，目前是唯一把訓練與引用分兩隻爬蟲、寫進官方文件講清楚的案例，這也是為什麼這篇能直述，其他家我還在觀察。
改 robots.txt 需要工程師嗎？
多數 CMS（包含 WordPress）可以透過外掛或後台直接編輯，不一定要動用工程資源。但正式上線前，建議還是找懂技術的人看一眼，避免規則寫錯連正常的搜尋引擎爬蟲都一起擋了——這種烏龍我看過不只一次。
擋住 GPTBot，會不會反而讓 ChatGPT 討厭我的網站，連帶也不引用了？
不會。兩隻是各自獨立判讀規則，擋 GPTBot 不影響 OAI-SearchBot 的行為，官方文件的設計就是讓你能分開表態。這也是這篇想破除的迷思——很多人怕「得罪 AI」而不敢設任何規則，其實規則寫清楚才是對雙方都負責任的做法。
robots.txt 的兩隻爬蟲設定，是目前 GEO 題目裡少數有官方文件白紙黑字可以依循的一塊，其餘的 GEO 戰術我都會誠實標出「這是研究觀察、不是保證」。這篇會隨 OpenAI 與其他家爬蟲政策更新持續迭代（建議每季回訪本文）。想知道你家網站現在對 AI 爬蟲是全開、全擋還是根本沒設定？幫你準備：數位廣告健檢表單傳送門。