Amazonbot 的 User Agent
亚马逊用于改进产品和服务的爬虫,所获数据可能用于训练亚马逊的 AI 模型。亚马逊文档里的 Chrome 版本只写作占位符 W.X.Y.Z。下面是它发送的原文、每一段的含义,以及如何放行或屏蔽它。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
一览
| 类型 | AI 爬虫 |
| 运营方 | 亚马逊 |
| 用途 | 改进亚马逊的产品与 AI 模型 |
| 版本 | 0.1 |
| robots.txt 标识 | Amazonbot |
在 robots.txt 里放行或屏蔽
禁止 Amazonbot 抓取全站
User-agent: Amazonbot
Disallow: /重新放行
User-agent: Amazonbot
Allow: /
逐段拆解
| 片段 | 含义 |
|---|---|
Mozilla/5.0 | 历史兼容标记。几乎所有浏览器都自称 "Mozilla/5.0",以免老旧服务器返回残缺页面。 |
AppleWebKit/537.36 | WebKit 渲染引擎,构建号 537.36。Chromium 系浏览器出于兼容保留此标记。 |
KHTML, like Gecko | 兼容性说明:引擎源自 KHTML、行为类似 Gecko,为老式浏览器探测脚本保留。 |
compatible | 兼容性标记——早年由 IE 发送,如今多见于爬虫。 |
Amazonbot/0.1 | Amazonbot 0.1 —— 自动化爬虫/机器人,不是真实浏览器。 |
Chrome/W.X.Y.Z | Chrome(或 Chromium 系浏览器),版本 W.X.Y.Z。 |
Safari/537.36 | Safari/WebKit 构建号 537.36 —— 兼容标记,不是 Safari 的版本号,Chromium 系浏览器也会发送。 |
在代码里使用
curl
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36" });
来源:About Amazonbot · 核对于 2026年9月