meta-externalagent 的 User Agent
Meta 的爬虫，用于训练 AI 模型、索引内容以改进产品等。Meta 表示其爬虫可能把 robots.txt 缓存最长 24 小时。下面是它发送的原文、每一段的含义，以及如何放行或屏蔽它。
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
一览
| 类型 | AI 爬虫 |
| 运营方 | Meta |
| 用途 | AI 模型训练与产品索引 |
| 版本 | 1.1 |
| robots.txt 标识 | meta-externalagent |
在 robots.txt 里放行或屏蔽
禁止 meta-externalagent 抓取全站
User-agent: meta-externalagent
Disallow: /重新放行
User-agent: meta-externalagent
Allow: /逐段拆解
| 片段 | 含义 |
|---|---|
meta-externalagent/1.1 | meta-externalagent 1.1 —— 自动化爬虫/机器人，不是真实浏览器。 |
+https://developers.facebook.com/docs/sharing/webmasters/crawler | 爬虫运营方提供给站长的说明页地址。 |
在代码里使用
curl
curl -A "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)" https://example.comPython (requests)
import requests
requests.get("https://example.com", headers={"User-Agent": "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"})Playwright (Node.js)
const context = await browser.newContext({ userAgent: "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)" });来源：Meta Web Crawlers · 核对于 2026年9月