—
网站与 SEO · 浏览器与爬虫身份诊断
浏览器 User-Agent 检测与深度解析工具
打开即看当前浏览器的 User-Agent,或粘贴任意 UA 字符串、Nginx 访问日志,一键拆解浏览器内核、真实系统(支持 Sec-CH-UA 区分 Win11/Win10)、设备架构、微信/App WebView 以及 40+ 搜索与 AI 爬虫身份。
—
—
—
—
—
User-Agent 词元解剖图(点击色块可定位下方解释)
为什么一段 UA 里同时写着 Mozilla/5.0、AppleWebKit、KHTML、Chrome 和 Safari?逐段拆解历史兼容标记与真实身份:
| 字段片段 (Token) | 在 UA 中的角色 | 详细含义与历史背景 |
|---|
实时 User-Agent Client Hints (Sec-CH-UA) 与硬件信号
现代 Chrome / Edge 默认冻结了 UA 字符串中的系统小版本与硬件型号(如 Win11 仍显示 Windows NT 10.0),需通过高熵 Client Hints 读取真实信息:
浏览器环境一致性与伪装检测(6 项交叉核验)
对比 UA 字符串声称的系统/触控/内核与当前浏览器 JS 运行时环境(navigator.platform、window.chrome、触控点、WebDriver),识别 UA 切换插件或模拟器:
日常通用浏览器 & 各大搜索引擎 / AI 爬虫 User-Agent 速查库
收录 Googlebot、Bingbot、Baiduspider、Applebot、GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Bytespider、社媒预览及主流桌面/手机浏览器官方标准 UA,点击「解析此 UA」即可载入上方工作台深度拆解。
Googlebot Smartphone (Evergreen Chromium)
Google 搜索主力移动优先索引(Mobile-First Indexing)爬虫,使用常青 Chromium 渲染页面与执行 JS。
✓ 反向 DNS 指向 *.googlebot.com 或 *.google.com 并正向解析回同一 IP;官方 IP 段见 developers.google.com/search/apis/ipranges/googlebot.json
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.6778.69 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop
Google 搜索桌面版经典抓取标识(以及带 Windows/Chrome 头部的桌面渲染版 Googlebot)。
✓ 反向 DNS 指向 *.googlebot.com 或 *.google.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google-InspectionTool (Search Console)
Google Search Console「网址检查」实时测试与富媒体结果测试专用爬虫,遵守 Googlebot 的 robots 规则。
✓ 反向 DNS 指向 *.googlebot.com 或 *.google.com
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.6778.69 Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
Googlebot-Image
Google 图片搜索抓取标识;若未单独指定 Googlebot-Image 规则,则继承 Googlebot 规则。
✓ 反向 DNS 指向 *.googlebot.com
Googlebot-Image/1.0
Bingbot Desktop (Microsoft Bing)
微软必应(Bing)搜索及 Copilot 搜索底座主力爬虫,同样为 DuckDuckGo、Yahoo 等提供索引支持。
✓ 反向 DNS 指向 *.search.msn.com;官方 IP 列表见 bing.com/toolbox/bingbot.json
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
Bingbot Mobile (iPhone Profile)
微软 Bing 移动端网页抓取标识。
✓ 反向 DNS 指向 *.search.msn.com
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Applebot (Siri & Spotlight)
苹果官方搜索爬虫,用于 Siri 建议、Spotlight 搜索与 Safari 搜索建议。
✓ 反向 DNS 指向 *.applebot.apple.com;官方 IP 段位于 17.0.0.0/8(applebot.json)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Baiduspider Desktop (百度蜘蛛)
百度搜索 PC 端网页抓取与渲染蜘蛛。
✓ 反向 DNS 指向 *.baidu.com 或 *.baidu.jp 并正向解析验证
Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
Baiduspider Mobile (百度移动蜘蛛)
百度搜索移动端网页抓取蜘蛛。
✓ 反向 DNS 指向 *.baidu.com 或 *.baidu.jp
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
YandexBot (Yandex Search)
俄语区及东欧最大搜索引擎 Yandex 的主爬虫。
✓ 反向 DNS 指向 *.yandex.ru、*.yandex.net 或 *.yandex.com
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
DuckDuckBot (DuckDuckGo)
隐私搜索引擎 DuckDuckGo 的官方爬虫。
✓ 核对 DuckDuckGo 官方公布的固定出站 IP 列表
DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)
Sogou web spider (搜狗蜘蛛)
搜狗搜索与微信搜一搜网页抓取爬虫。
✓ 反向 DNS 指向 *.crawl.sogou.com
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
GPTBot (OpenAI Model Training)
OpenAI 用于大模型预训练数据采集的爬虫。若只想禁止训练但保留 ChatGPT 搜索引用,可仅 Disallow GPTBot 并允许 OAI-SearchBot。
✓ 核对 https://openai.com/gptbot.json 公布的官方 CIDR IP 段
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot
OAI-SearchBot (ChatGPT Search)
OpenAI 专用于 ChatGPT Search 搜索结果与来源链接引用的爬虫(不用于模型训练)。外贸独立站建议放行以获取 AI 搜索流量。
✓ 核对 https://openai.com/searchbot.json 公布的官方 CIDR IP 段
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
ChatGPT-User (Live User Action)
当用户在 ChatGPT 对话中主动发送网址或要求实时浏览网页时触发的代理请求。
✓ 核对 https://openai.com/chatgpt-user.json 官方 IP 段
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
ClaudeBot (Anthropic Claude AI)
Anthropic 旗下 Claude 大模型的网页抓取爬虫,遵守 robots.txt 的 ClaudeBot 规则。
✓ 参考 Anthropic 官方帮助中心公布的 ClaudeBot 规则与出站说明
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
PerplexityBot (Perplexity AI Search)
AI 答案引擎 Perplexity 的网页索引爬虫,用于在 AI 回答中生成带角标的网页引用。
✓ 核对 https://www.perplexity.ai/perplexitybot.json 官方 IP 段
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Bytespider (字节跳动 / 豆包 AI)
字节跳动旗下用于豆包大模型训练及内容检索的爬虫,抓取频率通常较高,可通过 robots.txt 中 User-agent: Bytespider 控制。
✓ 通过 robots.txt User-agent: Bytespider 或 WAF 速率限制控制
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
CCBot (Common Crawl Dataset)
开放网页语料库 Common Crawl 的抓取机器人,众多开源与商业大模型使用其归档数据集训练。
✓ 运行在 AWS us-east-1,遵守 robots.txt 中 User-agent: CCBot
CCBot/2.0 (https://commoncrawl.org/faq/)
Meta-ExternalAgent (Meta AI / Llama)
Meta 用于训练 AI 模型与改进 Meta AI 检索质量的网页抓取工具(不同于分享卡片抓取器 facebookexternalhit)。
✓ 可通过 whois -h whois.radb.net -- '-i origin AS32934' 校验 Meta 官方自治系统 IP 段
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
Amazonbot (Alexa & Rufus AI)
亚马逊官方网络爬虫,用于提升 Alexa 问答与智能购物助手体验。
✓ 反向 DNS 指向 *.crawl.amazonbot.amazon 并正向解析回同一 IP
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
Facebook External Hit (Open Graph Preview)
当链接被分享到 Facebook、Messenger 或 Instagram 时,Meta 用于抓取 og:title / og:image 预览卡片的爬虫。切勿拦截,否则分享无缩略图。
✓ 核对 Meta AS32934 官方 IP 段
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Twitterbot (X / Twitter Card Preview)
当网页被发到 X(原 Twitter)时抓取 twitter:card 和 Open Graph 缩略图的官方机器人。
✓ 遵守 robots.txt 中 User-agent: Twitterbot
Twitterbot/1.0
LinkedInBot (LinkedIn Post Inspector)
LinkedIn 动态贴文分享链接预览卡片抓取器。
✓ B2B 外贸站切勿在 WAF 拦截 LinkedInBot,否则领英发帖无法生成预览卡片
LinkedInBot/1.0 (compatible; Mozilla/5.0; Apache-HttpClient +http://www.linkedin.com)
WhatsApp Link Preview
外贸业务员在 WhatsApp 发送产品链接给客户时,抓取标题、描述与缩略图(建议图片小于 300KB)的客户端标识。
✓ 确保页面在無 Cookie 状态下对 WhatsApp UA 返回完整的 og:image 标签
WhatsApp/2.24.22.78 A
TelegramBot (Link Preview)
Telegram 聊天窗口生成网页链接预览卡片时的抓取标识。
✓ 包含 (like TwitterBot) 以兼容站点的卡片输出规则
TelegramBot (like TwitterBot)
Slackbot-LinkExpanding
Slack 频道内自动展开网页链接摘要与预览图的机器人。
✓ 遵守 robots.txt 且不执行页面 JavaScript
Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
AhrefsBot (Ahrefs SEO Crawler)
全球主流外链分析与 SEO 审计工具 Ahrefs 的爬虫;可通过 Crawl-delay 或 Disallow 控制抓取频率。
✓ 核对 https://api.ahrefs.com/v3/public/crawler-ips 官方 IP 列表
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
SemrushBot (Semrush SEO Crawler)
Semrush 外链数据库与站点健康审计爬虫。
✓ 反向 DNS 指向 *.semrush.com
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
Screaming Frog SEO Spider
站长常用桌面端网站全面体检工具 Screaming Frog 的默认 User-Agent。
✓ 由测试人员所在网络发起请求
Screaming Frog SEO Spider/20.2
cURL Command Line Client
Linux / macOS / Windows 终端 curl 命令的默认 User-Agent;常用于服务器连通性测试与接口调试。
✓ 可用 curl -A "自定义UA" 覆盖默认标识
curl/8.7.1
Python Requests Library
Python requests 库未自定义 headers 时的默认 User-Agent,常被 Cloudflare 等 WAF 默认拦截。
✓ 自动化脚本特征明显,WAF 常对其返回 403
python-requests/2.32.3
Google Chrome 131 (Windows 10 / 11 x64)
全球占比最高的桌面浏览器标准 UA。注意:因 Chrome UA Reduction 隐私策略,次版本号固定为 .0.0.0,且 Win10 与 Win11 均显示 Windows NT 10.0。
✓ 需配合 Sec-CH-UA-Platform-Version >= 13.0.0 识别 Windows 11
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36
Google Chrome 131 (macOS Sequoia / Apple Silicon & Intel)
macOS 桌面端 Chrome 标准 UA。即便在 M1/M2/M3/M4 Apple Silicon 芯片与 macOS 15 上,UA 字符串仍冻结为 Intel Mac OS X 10_15_7 以兼容旧网站。
✓ 通过 Client Hints Sec-CH-UA-Arch 可读取真实 arm 架构
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36
Apple Safari 18.1 (macOS)
macOS 原生 Safari 18.1 浏览器 UA,采用 WebKit 605.1.15 引擎,通过 Version/18.1 标示真实 Safari 版本。
✓ Safari 不支持 navigator.userAgentData Client Hints
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.1 Safari/605.1.15
Microsoft Edge 131 (Windows 10 / 11 x64)
基于 Chromium Blink 内核的桌面版 Microsoft Edge 浏览器,在末尾追加 Edg/131.0.0.0 标识。
✓ 桌面端标识为 Edg/,Android 为 EdgA/,iOS 为 EdgiOS/
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0
Mozilla Firefox 132 (Windows 10 / 11 x64)
采用独立 Gecko 渲染引擎的 Mozilla Firefox 桌面浏览器,固定包含 Gecko/20100101 与 rv: 版本号。
✓ 桌面版 Firefox 的 Gecko 日期恒为 20100101
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:132.0) Gecko/20100101 Firefox/132.0
Mobile Safari 18.1 (iPhone / iOS 18.1)
iPhone iOS 18.1 自带 Safari 浏览器标准 UA,包含 CPU iPhone OS 18_1 like Mac OS X 与 Mobile/15E148。
✓ iOS 上的 Chrome (CriOS) 和 Firefox (FxiOS) 底层同样使用 AppleWebKit
Mozilla/5.0 (iPhone; CPU iPhone OS 18_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.1 Mobile/15E148 Safari/604.1
Chrome 131 Mobile (Android 14 / Pixel 9)
开启 UA Reduction 后的现代 Android Chrome 标准 UA:系统固定显示 Android 10,设备型号固定简化为单个字母 K。
✓ 需要真实机型时需通过 Sec-CH-UA-Model 与 Sec-CH-UA-Platform-Version 请求
Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36
WeChat In-App Browser (微信内置浏览器 MicroMessenger)
微信(WeChat / Weixin)内置浏览器 UA,核心识别标志为 MicroMessenger/8.0.x 以及 XWEB/MMWEBSDK,常用于判断H5落地页是否在微信内打开。
✓ 前端可通过 /MicroMessenger/i.test(navigator.userAgent) 识别微信环境
Mozilla/5.0 (Linux; Android 14; ALN-AL00 Build/HUAWEIALN-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/126.0.6478.122 Mobile Safari/537.36 XWEB/1260117 MMWEBSDK/20240802 MicroMessenger/8.0.53.2740(0x2800353B) WeChat/arm64 Weixin NetType/WIFI Language/zh_CN ABI/arm64
Huawei Browser (HarmonyOS NEXT / ArkWeb)
华为鸿蒙 HarmonyOS NEXT(OpenHarmony 5.0)原生浏览器与 ArkWeb 方舟引擎标识。
✓ 包含 OpenHarmony 与 ArkWeb/ 标识
Mozilla/5.0 (Phone; OpenHarmony 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 ArkWeb/4.1.6.1 Mobile HuaweiBrowser/15.0.4.301
Alipay In-App WebView (支付宝内置容器)
支付宝 H5 容器 NebulaSDK 与 AlipayClient 标识。
✓ 通过 /AlipayClient/i.test(navigator.userAgent) 识别
Mozilla/5.0 (iPhone; CPU iPhone OS 17_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/21G93 NebulaSDK/1.8.100112 Nebula AlipayDefined(nt:WIFI,ws:393|852|3.0) AliApp(AP/10.6.50.8000) AlipayClient/10.6.50.8000 Language/zh-Hans
批量 User-Agent / Nginx & Apache 访问日志解析
每行粘贴一条 User-Agent 字符串,或直接粘贴 Nginx / Apache 原始访问日志行(自动提取引号内的 UA 字段,单次最多 200 行),一键统计人类浏览器、搜索引擎蜘蛛与 AI 爬虫占比并导出 CSV。
| # | 识别客户端 / 爬虫 | 操作系统 | 设备类型 | 属性分类 | 原始 User-Agent 摘要 | 操作 |
|---|
User-Agent 预设切换与开发者请求代码生成
基于上方工作台当前正在检测的 User-Agent,自动生成可直接复制的 cURL、Python requests、JavaScript fetch 请求代码,以及 Nginx 过滤与 robots.txt 规则:
按需连接下一步
从一次网站检查,走向日常监控
注册公司账号,集中管理网站与通知。Pro 支持 5 个站点、5 分钟级可用性监控,深度诊断按套餐与权限开放。
新公司享 14 天 Pro 试用,无需绑卡;试用不含付费月度积分。
已有公司账号?打开对应工作台 →如何使用浏览器 User-Agent 检测与解析工具
- 打开页面即可自动读取并拆解你当前浏览器的 User-Agent 与实时 Client Hints(Sec-CH-UA)硬件/系统信号。
- 需要排查其他设备或爬虫时,在顶部输入框粘贴任意 UA 字符串,或切换到「常用与爬虫 UA 大全」一键载入 41 种主流爬虫与浏览器 UA。
- 使用「批量 UA / 日志分析」一次性粘贴多行 Nginx 访问日志统计真假爬虫占比,或在「UA 生成器与请求代码」中一键复制 cURL、Python、fetch 与 robots.txt 规则。
日常通用与各大搜索引擎 / AI 爬虫 User-Agent 权威速查表
以下是日常建站、SEO 优化、日志分析与配置防火墙(Cloudflare / Nginx / robots.txt)最常遇到的搜索引擎蜘蛛、AI 大模型爬虫与社交媒体预览机器人速查表:
| 爬虫名称 | 所属公司 | robots.txt 标识 | 主要用途与外贸/SEO建议 | 官方真伪验证方式 |
|---|---|---|---|---|
Googlebot (Smartphone) | Googlebot | Google 搜索移动优先索引主力爬虫 | *.googlebot.com / googlebot.json | |
Googlebot (Desktop) | Googlebot | Google 搜索桌面版抓取 | *.googlebot.com / googlebot.json | |
Google-InspectionTool | Google-InspectionTool | Search Console 网址实时检查与富结果测试 | *.googlebot.com / *.google.com | |
Google-Extended | Google-Extended | 控制是否允许 Gemini 训练(屏蔽不影响 Google 搜索排名) | robots.txt control token | |
Bingbot | Microsoft | bingbot | 必应搜索与微软 Copilot 网页检索 | *.search.msn.com / bingbot.json |
Baiduspider | Baidu | Baiduspider | 百度搜索 PC 与移动端网页索引 | *.baidu.com / *.baidu.jp |
Applebot | Apple | Applebot | 苹果 Siri 与 Spotlight 搜索建议 | *.applebot.apple.com (17.0.0.0/8) |
GPTBot | OpenAI | GPTBot | OpenAI 大模型训练数据采集(可单独屏蔽) | openai.com/gptbot.json |
OAI-SearchBot | OpenAI | OAI-SearchBot | ChatGPT 搜索结果引用(外贸站建议放行) | openai.com/searchbot.json |
ChatGPT-User | OpenAI | ChatGPT-User | 用户在 ChatGPT 对话中主动要求打开网页 | openai.com/chatgpt-user.json |
ClaudeBot | Anthropic | ClaudeBot | Anthropic Claude 模型训练与检索 | Respects robots.txt ClaudeBot |
PerplexityBot | Perplexity AI | PerplexityBot | Perplexity AI 搜索答案索引(建议放行) | perplexity.ai/perplexitybot.json |
Bytespider | ByteDance | Bytespider | 字节跳动/豆包大模型训练爬虫 | Respects robots.txt Bytespider |
CCBot | Common Crawl | CCBot | 公开网页语料库(众多 AI 模型训练源) | Respects robots.txt CCBot |
facebookexternalhit | Meta | facebookexternalhit | Facebook / IG 分享链接缩略图预览(勿拦截) | Meta AS32934 IP ranges |
Twitterbot | X Corp. | Twitterbot | X (Twitter) 分享卡片缩略图抓取 | Respects robots.txt Twitterbot |
LinkedInBot | LinkedInBot | 领英动态分享链接卡片预览(B2B 站勿拦截) | LinkedIn crawler network | |
AhrefsBot / SemrushBot | Ahrefs / Semrush | AhrefsBot / SemrushBot | 外链数据库索引与 SEO 站点体检 | crawler-ips API / *.semrush.com |
常见问题(浏览器 UA 原理与各大爬虫 UA 问答)
什么是浏览器 User-Agent(用户代理)?怎么查看我当前的 User-Agent?
User-Agent(简称 UA)是浏览器、手机 App 或网络爬虫每次向网站发起 HTTP 请求时,在请求头(User-Agent Header)中自动发送的一段身份说明字符串。它包含浏览器品牌与版本、渲染内核、操作系统、CPU 架构以及是否为爬虫等信息。打开本页即可在顶部工作台直接看到你当前浏览器的完整 User-Agent 与实时 Client Hints 拆解结果。
Google 爬虫(Googlebot 手机版、桌面版、Google-Extended)的官方 User-Agent 是什么?
Google 搜索目前以移动优先索引为主:(1)Googlebot 智能手机版标准 UA 为 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)(其中 W.X.Y.Z 会随常青 Chromium 版本自动升级);(2)Googlebot 桌面版简写为 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html);(3)Search Console 实时检查工具为 Google-InspectionTool;(4)Google-Extended 并非独立抓取 UA,而是 robots.txt 中的专用规则名,用于控制网页内容是否允许被 Google Gemini 训练与引用,屏蔽 Google-Extended 不会影响 Google 搜索排名。
OpenAI(GPTBot / OAI-SearchBot / ChatGPT-User)、ClaudeBot、PerplexityBot、字节跳动 Bytespider 等 AI 爬虫的 User-Agent 是什么?
主流 AI 爬虫已将「模型训练」与「AI 搜索引用」拆分为不同标识:(1)GPTBot(OpenAI 训练爬虫):Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot;(2)OAI-SearchBot(ChatGPT 搜索索引爬虫,不用于训练):Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot;(3)ChatGPT-User(用户在对话中让 ChatGPT 打开网页):包含 ChatGPT-User/1.0;(4)ClaudeBot(Anthropic):包含 ClaudeBot/1.0; +claudebot@anthropic.com;(5)PerplexityBot(Perplexity AI 搜索):包含 PerplexityBot/1.0;(6)Bytespider(字节跳动/豆包):包含 Bytespider; spider-feedback@bytedance.com。外贸独立站若希望被 ChatGPT 和 Perplexity 推荐,建议在 robots.txt 与 Cloudflare 中放行 OAI-SearchBot 与 PerplexityBot。
必应 Bingbot、百度 Baiduspider、苹果 Applebot、Yandex、搜狗等搜索引擎爬虫的 User-Agent 是什么?
(1)微软必应 Bingbot:Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36;(2)百度蜘蛛 Baiduspider:PC 端含 Baiduspider/2.0 或 Baiduspider-render/2.0,移动端附带 Android 与 Mobile Safari 标识;(3)苹果 Applebot:含 (Applebot/0.1; +http://www.apple.com/go/applebot),用于 Siri 与 Spotlight 搜索;(4)YandexBot:Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots);(5)搜狗蜘蛛:Sogou web spider/4.0。本页「常用与爬虫 UA 大全」标签页提供全部 41 种标准 UA 的一键复制与解析。
为什么 Chrome、Edge 等浏览器的 User-Agent 都以 Mozilla/5.0 开头,又以 Safari/537.36 结尾?
这是互联网 30 年历史演进留下的「兼容性包袱」:早期网页常用粗暴的字符串包含判断浏览器能力,只给含 Mozilla 的浏览器发高级排版、只给含 AppleWebKit 和 Safari 的浏览器发现代移动端页面。因此后来诞生的 Chrome(Blink 内核)和新版 Edge 为了不被旧网站降级,保留了 Mozilla/5.0 ... AppleWebKit/537.36 (KHTML, like Gecko) Chrome/... Safari/537.36 Edg/... 的层叠格式。正确解析时必须按「Edg/OPR → Chrome → Safari」的顺序匹配,不能一看到 Safari 就当成苹果浏览器。
为什么我的电脑是 Windows 11,但 User-Agent 里依然显示 Windows NT 10.0?怎样识别真 Win11?
出于隐私保护与网页向后兼容,微软与主流浏览器从 Windows 10 起冻结了传统 User-Agent 字符串中的系统内核版本号——无论是 Windows 10 还是 Windows 11,navigator.userAgent 统一显示为 Windows NT 10.0。要准确区分 Windows 11,必须使用现代浏览器支持的 User-Agent Client Hints 高熵接口(navigator.userAgentData.getHighEntropyValues(["platformVersion"])):当返回的 platformVersion 主版本号 >= 13(例如 15.0.0)时即为 Windows 11,1 到 10 之间则为 Windows 10。本工具会自动调用该接口为你识别真实的 Windows 11 系统。
为什么安卓手机 Chrome 的 User-Agent 设备型号变成了字母 K、系统固定显示 Android 10?
这是 Google Chrome 自 110+ 版本全面启用的「User-Agent 缩减(UA Reduction)」机制,旨在减少通过 UA 字符串进行的被动浏览器指纹追踪。开启后,移动端 Chrome 的 UA 字符串固定为 Linux; Android 10; K,次版本号固定为 .0.0.0;macOS 桌面端也固定冻结为 Intel Mac OS X 10_15_7。如果网站确实需要获取真实手机型号或系统版本,需通过 HTTP 响应头 Accept-CH 请求 Sec-CH-UA-Model 和 Sec-CH-UA-Platform-Version。
如何在服务器日志或防火墙中识别「假冒 Googlebot / Baiduspider / GPTBot」的伪造爬虫?
User-Agent 请求头极易被任何脚本(如 curl -A "Googlebot")伪造,因此绝不能只凭 UA 字符串给爬虫开防火墙白名单。官方推荐两种真伪验证方法:(1)双向 DNS 查验(FCrDNS):对来访 IP 执行 host <IP> 反向解析,验证 PTR 域名是否以 .googlebot.com、.search.msn.com 或 .baidu.com 结尾,再对该域名做正向 A/AAAA 解析看是否指回原 IP;(2)核对官方 CIDR IP JSON 清单:Google(googlebot.json)、Bing(bingbot.json)、OpenAI(gptbot.json / searchbot.json)和 Ahrefs 均每日更新官方出站 IP 段。
微信、Facebook、X(Twitter)、LinkedIn、WhatsApp、Telegram 抓取分享链接卡片时的 User-Agent 是什么?
当用户把网址发到社交软件聊天框或动态时,平台服务器会派预览爬虫读取页面的 Open Graph(og:title、og:description、og:image)标签:(1)Facebook / Instagram / Messenger:facebookexternalhit/1.1;(2)X / Twitter:Twitterbot/1.0;(3)LinkedIn:LinkedInBot/1.0;(4)WhatsApp:WhatsApp/2.x;(5)Telegram:TelegramBot (like TwitterBot);(6)Slack:Slackbot-LinkExpanding 1.0。外贸建站配置 Cloudflare 或 WAF 时,务必放行这些预览 UA,否则客户分享产品链接时看不到缩略图。
如何通过 User-Agent 识别微信内置浏览器(MicroMessenger)、企业微信、支付宝、抖音等 App WebView?
国内与跨境主流 App 内置浏览器(In-App WebView)会在系统 WebView UA 末尾追加专属标识:(1)微信内置浏览器:含 MicroMessenger/x.x(企业微信另含 wxwork/x.x);(2)支付宝:含 AlipayClient/x.x 与 NebulaSDK;(3)钉钉:含 DingTalk/x.x;(4)飞书 / Lark:含 Feishu/ 或 Lark/;(5)抖音 / TikTok:含 BytedanceWebview、aweme 或 musical_ly;(6)Instagram / Facebook 内置浏览器:含 Instagram 或 FBAN/FBAV。本工具在解析卡片中会单独标出宿主 App 容器名称。
本工具的「环境一致性与伪装检测」是如何发现 UA 修改插件或无头浏览器的?
很多用户或爬虫只用浏览器插件修改了 HTTP User-Agent 字符串(例如在 Windows 电脑 Chrome 上把 UA 改成 iPhone Safari),但没有修改浏览器底层的 JavaScript 运行时属性。本工具会实时交叉核对 6 项信号:navigator.platform 底层平台、window.chrome / InstallTrigger 引擎独有对象、navigator.maxTouchPoints 硬件触控点数、Sec-CH-UA Client Hints 品牌列表、navigator.webdriver 自动化标志以及屏幕像素比。一旦发现「UA 自称 iPhone 但触控点为 0 且存在 window.chrome」,即会标出伪装不一致提示。
使用本工具解析 User-Agent 或批量分析 Nginx 访问日志时,数据会上传到服务器吗?
不会。本工具的所有 User-Agent 解析、词元拆解、Client Hints 读取、环境一致性校验以及最高 200 行的 Nginx/Apache 访问日志批量统计,100% 在你的浏览器本地内存中由 JavaScript 完成,不会向服务器发送任何 UA 文本或日志数据。
浏览器 User-Agent 检测与各大爬虫 UA 实用指南
什么是浏览器 User-Agent 检测与解析工具?
User-Agent 解析工具用于拆解 HTTP 请求头中的客户端身份字符串,识别访问者使用的是哪款浏览器、什么渲染内核、哪种操作系统与硬件架构,或者属于哪家搜索引擎蜘蛛(Googlebot、Bingbot、Baiduspider)与 AI 爬虫(GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot)。
适合谁用,什么时候用?
适合独立站站长、SEO 运营、外贸建站工程师与前端开发者:排查网站在微信/iOS/安卓 WebView 中的兼容问题、在服务器日志中甄别搜索引擎与 AI 爬虫、编写 robots.txt 或 WAF 放行规则时使用。
为什么除了看 User-Agent 字符串,还要看 Client Hints (Sec-CH-UA)?
随着 Chrome、Edge 推进 User-Agent Reduction 隐私政策,传统 UA 字符串中的 Windows 11 版本(冻结为 NT 10.0)、macOS 版本(冻结为 10_15_7)和安卓手机型号(简化为 K)已被隐藏,只有结合 Sec-CH-UA 高熵 Client Hints 才能获取真实系统版本与 CPU 架构。
解析出 Googlebot 或 GPTBot 就代表一定是官方真爬虫吗?
不一定。User-Agent 字符串只是客户端自报家门的文本,任何脚本都能伪造。在生产环境放行爬虫或排查异常流量时,应结合本页提供的反向 DNS(host/dig PTR)命令或官方公布的 CIDR IP 段进行二次验证。
内容在哪里处理,会提交到哪些服务?
全部解析、Client Hints 读取与批量日志拆解均在你的浏览器本地完成,不会上传到任何服务器。