暗黑破坏神2-Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫 – 蓝点网

#网络办事 Cloudflare 为所有网站带来 AI 审计功能，为网网可以检查 AI 爬虫归属哪家公司、站添抓取直接何时来抓取哪种资源、加A计可检查暗黑破坏神2抓取的爬虫屏蔽爬虫资源数据、抓取频次等。何时和抓如果网站办理员不希望一个或多个爬虫抓取自己网站的取频数据，还可以直接屏蔽特定 AI 公司的次及爬虫，当然也可以直接屏蔽所有 AI 公司的蓝点爬虫。查看全文：https://ourl.co/105934

网络办事提供商 Cloudflare 宣布即日起为所有网站 (包罗免费托管的为网网网站) 带来 AI 审计功能，该功能目前处于测试阶段，站添抓取直接可以分析 AI 公司的加A计可检查暗黑破坏神2爬虫和抓爬数据。

新的爬虫屏蔽爬虫 AI 审计工具 (Cloudflare AI Audit) 主要提供 AI 公司的爬虫何时到网站来抓取数据、抓取的何时和抓数据地址、抓取频次以及其他分析数据。取频

内容创作者和网站办理员可以借助 AI 审计功能轻松检查自己的次及内容被哪些 AI 公司白嫖了，如果被白嫖难受的话，也可以直接一键禁止抓取。

其中 AI 审计工具中的禁止抓取与 Cloudflare 已经提供的一键禁止所有 AI 爬虫抓取不同，在 AI 审计工具中网站办理员可以分门别类的进行审计和屏蔽。

举个例子：如果网站已经与 OpenAI 达成协议允许其抓取内容，则网站办理员可以放行 GPTBot 爬虫，而其他认识的、不认识的、白嫖的爬虫可以全部屏蔽。

在 Cloudflare 的演示中目前能够识别的爬虫包罗 OpenAI、Meta、字节跳动、Common Crawl (通用爬虫，即不可识别到特定公司的爬虫)、Anthropic、Amazon、Perplexity 等知名的人工智能开发商。

如果网站本身没有和任何一家 AI 公司达成内容授权协议，那还可以通过 AI 爬虫的抓取频次进行封禁，这样可以免某些公司的爬虫进行高频次抓爬耗费办事器带宽和流量以及影响正常用户的拜访体验。

此外 Cloudflare 还计划在明年推出交易市场，允许网站办理员设置自己网站的内容抓取价格，AI 公司如果愿意的话可以付费获取抓取权限，如果不愿意付费那网站就能通过 Cloudflare 一键拦截爬虫阻止内容被抓取。

AI 审计路径：登录 Cloudflare 把持台、选择特定的网站、在左侧导航栏点击 AI Audit 即可查看，目前此功能刚刚上线因此大部分网站数据可能还是空白的。

很赞哦!（816）