OAI-SearchBot 的 User Agent
用于让网站出现在 ChatGPT 搜索中。屏蔽它的网站不会出现在 ChatGPT 搜索答案里，但仍可能以导航链接的形式出现。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
一览
| 类型 | AI 爬虫 |
| 运营方 | OpenAI |
| 用途 | 为 ChatGPT 搜索建立索引 |
| 版本 | 1.4 |
| robots.txt 标识 | OAI-SearchBot |
在 robots.txt 里放行或屏蔽
禁止 OAI-SearchBot 抓取全站
User-agent: OAI-SearchBot
Disallow: /重新放行
User-agent: OAI-SearchBot
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
Mozilla/5.0 | 历史兼容标记。几乎所有浏览器都自称 "Mozilla/5.0"，以免老旧服务器返回残缺页面。 |
Macintosh | Mac 电脑。 |
Intel Mac OS X 10_15_7 | macOS 10.15.7。较新系统已冻结为 10.15.7，Apple Silicon 芯片的 Mac 也仍然报告 "Intel"。 |
AppleWebKit/537.36 | WebKit 渲染引擎，构建号 537.36。Chromium 系浏览器出于兼容保留此标记。 |
KHTML, like Gecko | 兼容性说明：引擎源自 KHTML、行为类似 Gecko，为老式浏览器探测脚本保留。 |
Chrome/131.0.0.0 | Chrome（或 Chromium 系浏览器），版本 131.0.0.0。 |
Safari/537.36 | Safari/WebKit 构建号 537.36 —— 兼容标记，不是 Safari 的版本号，Chromium 系浏览器也会发送。 |
compatible | 兼容性标记——早年由 IE 发送，如今多见于爬虫。 |
OAI-SearchBot/1.4 | OAI-SearchBot 1.4 —— 自动化爬虫/机器人，不是真实浏览器。 |
+https://openai.com/searchbot | 爬虫运营方提供给站长的说明页地址。 |
在代码里使用
curl
curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" });来源：Overview of OpenAI Crawlers · 核对于 2026年9月