ChatGPT-User 的 User Agent
当 ChatGPT 或自定义 GPT 用户的请求需要访问网页时使用，不会自动爬取。OpenAI 表示这类由用户发起的访问可能不受 robots.txt 约束。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
一览
| 类型 | AI 爬虫 |
| 运营方 | OpenAI |
| 用途 | 应 ChatGPT 用户的请求访问网页 |
| 版本 | 1.0 |
| robots.txt 标识 | ChatGPT-User |
在 robots.txt 里放行或屏蔽
禁止 ChatGPT-User 抓取全站
User-agent: ChatGPT-User
Disallow: /重新放行
User-agent: ChatGPT-User
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
Mozilla/5.0 | 历史兼容标记。几乎所有浏览器都自称 "Mozilla/5.0"，以免老旧服务器返回残缺页面。 |
AppleWebKit/537.36 | WebKit 渲染引擎，构建号 537.36。Chromium 系浏览器出于兼容保留此标记。 |
KHTML, like Gecko | 兼容性说明：引擎源自 KHTML、行为类似 Gecko，为老式浏览器探测脚本保留。 |
compatible | 兼容性标记——早年由 IE 发送，如今多见于爬虫。 |
ChatGPT-User/1.0 | ChatGPT-User 1.0 —— 自动化爬虫/机器人，不是真实浏览器。 |
+https://openai.com/bot | 爬虫运营方提供给站长的说明页地址。 |
在代码里使用
curl
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot" });来源：Overview of OpenAI Crawlers · 核对于 2026年9月