XiaobaiAuditBot

XiaobaiAuditBot/1.0 (+https://xiaobaigrowth.com/bot)

它是什么

XiaobaiAuditBot 是诸葛小白独立站体检工具的抓取身份。 当有人在我们网站上提交一个网址做体检时，它会去访问那个网址的少量页面， 读取公开的 HTML、robots.txt、sitemap 等信息，用来生成 SEO / GEO / 广告落地页的诊断报告。

它不做什么

• 不做站点遍历爬取。只访问被提交的那个站点的少量页面，不会顺着链接把整站爬一遍。
• 不伪装身份。所有请求都带上面这个固定 User-Agent，不冒充浏览器、不使用指纹伪装或任何绕过手段。
• 不绕过验证码或安全防护。被拦截就是被拦截，我们会如实告诉用户「这个站拦截了自动检测」。
• 不采集个人信息，不提交表单，不尝试登录，不触碰任何需要认证的页面。
• 不保存你的网页内容用于其他用途。抓取内容只用于生成本次报告。

它的访问强度

一次体检通常发起 20 个左右的请求，几十秒内完成，之后就不会再来， 除非有人再次提交同一个网址。同一网址的结果我们会缓存数小时，以减少重复访问。

关于 robots.txt（如实说明）

我们会读取你的 robots.txt 并把它作为诊断项之一， 但目前不会依据 robots.txt 的 Disallow 规则跳过抓取—— 因为体检是由用户针对某个具体网址主动发起的一次性检查，而不是搜索引擎式的自主爬行。 如果你不希望它访问你的站点，请按下面的方法拦截。

如何拦截它

在你的 CDN / WAF / 服务器安全设置里，拦截 User-Agent 含 XiaobaiAuditBot 的请求即可。我们不会做任何规避。

如何放行它

如果你是站长、想让自己的站点能正常体检，但它被 SiteGround、Cloudflare 等防护拦下了， 如果你的主机或 CDN 支持按 User-Agent 设规则（例如 Cloudflare 的防火墙规则）， 放行含 XiaobaiAuditBot 的请求后重新体检即可。

但要如实说明：部分虚拟主机的后台并不开放这项设置。 遇到这种情况，这个站就是没办法自动检测——我们不会用任何绕过手段去硬闯， 只会如实告诉你「这个站拦截了自动检测」，并给出那些不依赖抓取页面的检测项。

联系我们

• 邮箱：[email protected]
• 微信：Call17391133607
• 如果它给你的站点造成了任何困扰，直接联系我们，我们会处理。