DuckDuckBot 的 User Agent
DuckDuckGo 自有的网页爬虫，用于改进其搜索结果。官方通过公布 IP 列表供核验，而不是提供反向 DNS 域名。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)
一览
| 类型 | 搜索引擎爬虫 |
| 运营方 | DuckDuckGo |
| 用途 | DuckDuckGo 搜索的网页爬虫 |
| 版本 | 1.1 |
| robots.txt 标识 | DuckDuckBot |
| 如何核验 | 把 IP 和 DuckDuckGo 公布的列表（duckduckbot.json）进行比对。 |
在 robots.txt 里放行或屏蔽
禁止 DuckDuckBot 抓取全站
User-agent: DuckDuckBot
Disallow: /重新放行
User-agent: DuckDuckBot
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
DuckDuckBot/1.1 | DuckDuckBot 1.1 —— 自动化爬虫/机器人，不是真实浏览器。 |
+http://duckduckgo.com/duckduckbot.html | 爬虫运营方提供给站长的说明页地址。 |
在代码里使用
curl
curl -A "DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)" });来源：DuckDuckBot · 核对于 2026年9月