Bingbot(必应爬虫)的 User Agent
必应用最新稳定版 Microsoft Edge 渲染页面,所以 "Chrome/" 后面其实是 Edge 的版本号。官方文档写作 W.X.Y.Z,这里填入的是当前稳定版。下面是它发送的原文、每一段的含义,以及如何放行或屏蔽它。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/156.0.4314.42 Safari/537.36
一览
| 类型 | 搜索引擎爬虫 |
| 运营方 | 微软 |
| 用途 | 必应搜索的标准爬虫 |
| 版本 | 2.0 |
| robots.txt 标识 | Bingbot |
| 如何核验 | 反向 DNS 以 search.msn.com 结尾并能正向解析回同一 IP,或 IP 在 bingbot.json 中。 |
在 robots.txt 里放行或屏蔽
禁止 Bingbot 抓取全站
User-agent: Bingbot
Disallow: /重新放行
User-agent: Bingbot
Allow: /
逐段拆解
| 片段 | 含义 |
|---|---|
Mozilla/5.0 | 历史兼容标记。几乎所有浏览器都自称 "Mozilla/5.0",以免老旧服务器返回残缺页面。 |
AppleWebKit/537.36 | WebKit 渲染引擎,构建号 537.36。Chromium 系浏览器出于兼容保留此标记。 |
KHTML, like Gecko | 兼容性说明:引擎源自 KHTML、行为类似 Gecko,为老式浏览器探测脚本保留。 |
compatible | 兼容性标记——早年由 IE 发送,如今多见于爬虫。 |
bingbot/2.0 | bingbot 2.0 —— 自动化爬虫/机器人,不是真实浏览器。 |
+http://www.bing.com/bingbot.htm | 爬虫运营方提供给站长的说明页地址。 |
Chrome/156.0.4314.42 | Chrome(或 Chromium 系浏览器),版本 156.0.4314.42。 |
Safari/537.36 | Safari/WebKit 构建号 537.36 —— 兼容标记,不是 Safari 的版本号,Chromium 系浏览器也会发送。 |
在代码里使用
curl
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/156.0.4314.42 Safari/537.36" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/156.0.4314.42 Safari/537.36"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/156.0.4314.42 Safari/537.36" });
来源:Which Crawlers Does Bing Use? · 核对于 2026年9月