Googlebot 桌面版的 User Agent
承担 Googlebot 中模拟桌面用户的少量抓取。它和智能手机版共用 robots.txt 标识 Googlebot，无法在 robots.txt 里单独针对其中一个。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/154.0.8037.92 Safari/537.36
一览
| 类型 | 搜索引擎爬虫 |
| 运营方 | |
| 用途 | Google 搜索的桌面版网页抓取 |
| 版本 | 2.1 |
| robots.txt 标识 | Googlebot |
| 如何核验 | 反向 DNS 解析到 crawl-*.googlebot.com 或 geo-crawl-*.geo.googlebot.com，或 IP 在 Google 公布的 common-crawlers.json 中。 |
在 robots.txt 里放行或屏蔽
禁止 Googlebot 抓取全站
User-agent: Googlebot
Disallow: /重新放行
User-agent: Googlebot
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
Mozilla/5.0 | 历史兼容标记。几乎所有浏览器都自称 "Mozilla/5.0"，以免老旧服务器返回残缺页面。 |
AppleWebKit/537.36 | WebKit 渲染引擎，构建号 537.36。Chromium 系浏览器出于兼容保留此标记。 |
KHTML, like Gecko | 兼容性说明：引擎源自 KHTML、行为类似 Gecko，为老式浏览器探测脚本保留。 |
compatible | 兼容性标记——早年由 IE 发送，如今多见于爬虫。 |
Googlebot/2.1 | Googlebot 2.1 —— 自动化爬虫/机器人，不是真实浏览器。 |
+http://www.google.com/bot.html | 爬虫运营方提供给站长的说明页地址。 |
Chrome/154.0.8037.92 | Chrome（或 Chromium 系浏览器），版本 154.0.8037.92。 |
Safari/537.36 | Safari/WebKit 构建号 537.36 —— 兼容标记，不是 Safari 的版本号，Chromium 系浏览器也会发送。 |
在代码里使用
curl
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/154.0.8037.92 Safari/537.36" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/154.0.8037.92 Safari/537.36"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/154.0.8037.92 Safari/537.36" });来源：Google's common crawlers · 核对于 2026年9月