CCBot 的 User Agent
非营利组织 Common Crawl 的爬虫，其免费网页存档被广泛用于研究和分析。抓取前会先检查 robots.txt，并遵守 Crawl-delay。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
CCBot/2.0 (https://commoncrawl.org/faq/)
一览
| 类型 | AI 爬虫 |
| 运营方 | Common Crawl |
| 用途 | 构建 Common Crawl 公开网页数据集 |
| 版本 | 2.0 |
| robots.txt 标识 | CCBot |
在 robots.txt 里放行或屏蔽
禁止 CCBot 抓取全站
User-agent: CCBot
Disallow: /重新放行
User-agent: CCBot
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
CCBot/2.0 | CCBot 2.0 —— 自动化爬虫/机器人，不是真实浏览器。 |
https://commoncrawl.org/faq/ | 爬虫运营方提供给站长的说明页地址。 |
在代码里使用
curl
curl -A "CCBot/2.0 (https://commoncrawl.org/faq/)" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "CCBot/2.0 (https://commoncrawl.org/faq/)"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "CCBot/2.0 (https://commoncrawl.org/faq/)" });来源：CCBot · 核对于 2026年9月