Googlebot 智能手机版的 User Agent
Google 对大多数网站优先索引移动版，因此 Googlebot 的请求大多来自它。官方文档把其中的 Chrome 版本写作 W.X.Y.Z，这里填入的是当前稳定版。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/154.0.8037.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
一览
| 类型 | 搜索引擎爬虫 |
| 运营方 | |
| 用途 | Google 搜索的移动版网页抓取 |
| 版本 | 2.1 |
| robots.txt 标识 | Googlebot |
| 如何核验 | 反向 DNS 解析到 crawl-*.googlebot.com 或 geo-crawl-*.geo.googlebot.com，或 IP 在 Google 公布的 common-crawlers.json 中。 |
在 robots.txt 里放行或屏蔽
禁止 Googlebot 抓取全站
User-agent: Googlebot
Disallow: /重新放行
User-agent: Googlebot
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
Mozilla/5.0 | 历史兼容标记。几乎所有浏览器都自称 "Mozilla/5.0"，以免老旧服务器返回残缺页面。 |
Linux | Linux 内核。 |
Android 6.0.1 | Android 6.0.1。 |
Nexus 5X | 设备型号：Nexus 5X。 |
Build/MMB29P | 设备固件构建号 MMB29P。 |
AppleWebKit/537.36 | WebKit 渲染引擎，构建号 537.36。Chromium 系浏览器出于兼容保留此标记。 |
KHTML, like Gecko | 兼容性说明：引擎源自 KHTML、行为类似 Gecko，为老式浏览器探测脚本保留。 |
Chrome/154.0.8037.92 | Chrome（或 Chromium 系浏览器），版本 154.0.8037.92。 |
Mobile | 移动设备标记——网站据此返回移动版布局。 |
Safari/537.36 | Safari/WebKit 构建号 537.36 —— 兼容标记，不是 Safari 的版本号，Chromium 系浏览器也会发送。 |
compatible | 兼容性标记——早年由 IE 发送，如今多见于爬虫。 |
Googlebot/2.1 | Googlebot 2.1 —— 自动化爬虫/机器人，不是真实浏览器。 |
+http://www.google.com/bot.html | 爬虫运营方提供给站长的说明页地址。 |
在代码里使用
curl
curl -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/154.0.8037.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/154.0.8037.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/154.0.8037.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" });来源：Google's common crawlers · 核对于 2026年9月