Cloudflare 正在将AI网络爬虫引进“人工智能迷宫”

  全球最大的网络基础设施公司之一 Cloudflare 宣告推出 AI Labyrinth，这是一款新东西，用于对立未经许可从网站上抓取 AI 练习数据的网络爬虫。该公司在一篇博客文章中表明，当检测到“不妥的行为”时，这款免费的可选东西会将爬虫诱惑到 AI 生成的钓饵页面的链接途径上，这些页面会“减慢、混杂并糟蹋”那些歹意行为者的资源。

  互联网长期以来一向运用依据 robots.txt 的荣誉体系办法来操控抓取，这是一个文本文件，用于颁发或回绝爬虫程序的权限，但人工智能公司（乃至是Anthropic和Perplexity AI等闻名公司）被责备忽视了它。Cloudflare 写道，它每天会收到超越 500 亿个网络爬虫恳求，虽然它有东西来发现和阻挠歹意恳求，但这往往会促进攻击者在“永无止境的军备竞赛”中改动战略。

  Cloudflare 表明，AI Labyrinth 不会阻拦机器人，而是经过让它们处理与特定网站的实践数据无关的数据来进行反击。该公司表明，它还能够充任“下一代蜜罐”，招引人工智能爬虫不断盯梢虚伪页面的链接，而普通人则不会这样做。它表明，这使得 Cloudflare 的歹意行为者列表中更简单辨认歹意机器人，以及辨认它本来无法检测到的“新机器人形式和签名”。依据该帖子，这些链接不对人类访问者可见。

  咱们发现，先生成一组多样化的主题，然后为每个主题创立内容，能够发生愈加多样化和令人信服的成果。对咱们来说，重要的是不要生成不精确的内容，避免滋长网络上错误信息的传达，因而咱们生成的内容是实在的而且与科学现实相关，仅仅与被抓取的网站不相关或不是专有的。

  网站办理员能够再一次进行挑选运用 AI Labyrinth，办法是导航到其站点 Cloudflare 仪表板设置的“机器人办理”部分并启用它。该公司表明，这“仅仅运用生成式 AI 阻挠机器人的第一次迭代”。

  Cloudflare方案创立“整个链接 URL 网络”，机器人终究进入其间时将很难判别为假的。正如Ars Technica指出的那样，AI Labyrinth 听起来类似于 Nepenthes，后者是一种旨在让爬虫在 AI 生成的废物数据地狱中“数月”处于放置状况的东西。

  特别声明：以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布，本渠道仅供给信息存储服务。

  日均工时不低于11.5小时，小米被曝要求职工张狂加班，乃至包含外包职工！56岁的雷军身家到达2200亿元人民币，初次进入我国前十

  暴升4500万！莫布里拿下DPOY 5年2.24亿合同秒变5年2.69亿！

  哈登：人生有几个第一次？今日Intuit Dome首场季后赛 冲就完了！

  英特尔承认 Panther Lake 首个 SKU 年内首先推出，其他需待下一年