【新智元导读】AI爬虫是网络最固执的「甲由」，不讲规矩、压垮网站，令开发者疾恶如仇。面临这种AI年代的「DDoS进犯」，极客们用才智反击：或设「神之审判」Anubis，或制作数据圈套，以诙谐和代码让

  Triplegangers是一家只是由七名职工运营的公司，他们花费十多年时刻建立了自称是网络上最大的「人类数字替身」的数据库，即从实践人体扫描得到的3D图画文件。

  「OpenAI运用了600个IP来抓取数据，日志还在剖析中，或许远不止这些」，Tomchuk终究发现，导致他们网站溃散的首恶竟然是OpenAI的爬虫机器人。

  OpenAI没有回应此次事情，该事情曩昔只是不到两个月，但AI爬虫机器人依然活泼在网络上。

  早在搜索引擎年代，就现已有「搜索引擎机器人」，那个「陈旧年代」的机器人还约定俗成的遵从各个网站上会存在的一份文件——robots.txt。

  但这份传统跟着网络的开展好像现已被忘记，爬虫和发爬虫也演变为一场攻防战争。

  阻挠AI爬虫机器人是白费的，由于它们会说谎、更改用户署理、运用住所IP地址作为署理来骗过网络「防卫」。

  「他们会不断地抓取你的网站，直到它溃散，然后还会持续抓取。他们会点击每一个页面上的每一个链接上，一遍又一遍地查看相同的页面」，开发者在帖子中写道。

  AI机器人除了「免费」爬取信息外，还会额定添加所爬网站企业的运营费用——在这个云服务的年代，简直一切被爬取的企业都在云上，许多的爬虫流量不只无法带来收益，还会添加他们的云服务器账单。

  愈加没办法猜测的一点是，对那些被「白嫖」的网站来说，乃至切当的知道被白嫖了哪些信息。

  FOSS开发者Xe Iaso在博客中描绘了AmazonBot怎么不断进犯一个Git服务器网站，导致DDoS停机。

  Anubis是一个工作量证明查看的反向署理，央求一定要经过该查看才干拜访Git服务器。

  本质上，Anubis保证的是「实在人类运用的浏览器」在拜访方针网站，而不是AI爬虫——除非这个爬虫假装的满足「先进」，就像经过图灵测验相同。

  「Anubis称量了你的魂灵（心脏），假如它比一根羽毛重，你的心脏就会被吃掉，然后你就完全死了」。

  Iaso在3月19日将其共享到GitHub上，仅几天时刻就取得了2000个星标、20位贡献者和39个分支。

  Anubis的敏捷盛行标明Iaso的苦楚并非个例。 事实上，还有许多故事：

  SourceHut的创始人兼CEO Drew DeVault描绘说，他每周要花费「20% 到 100% 的时刻来大规模缓解过于急进的 LLM 爬虫」，而且「每周阅历数十次时间短的服务中止」。

  Jonathan Corbet，一位闻名的FOSS开发者，他运营着Linux行业新闻网站 LWN，正告称他的网站正遭到「来自 AI 抓取机器人的 DDoS 等级的流量」影响而变慢。

  Kevin Fenzi，巨大的Linux Fedora项意图系统管理员，表明AI抓取机器人变得如此急进，他不得不封闭整个巴西的拜访。

  除了像Anubis相同「衡量」网络央求者的魂灵外，其他开发者以为复仇是最好的防护。

  几天前在Hacker News上，用户xyzal主张用「许多关于喝漂白剂优点的文章」或「关于感染麻疹对床上体现的积极影响的文章」来加载robots.txt制止的页面。

  「咱们以为需要让机器人拜访咱们的圈套时取得负的功效值，而不单单是零价值」，xyzal 解说说。

  一月份，一位名为Aaron的匿名创作者发布了一个名为Nepenthes的东西，其意图正是如此。

  而作为网友心目中的「赛博菩萨」的Cloudflare，也许是供给多种东西来抵挡AI爬虫的最大商业玩家，上星期发布了一个名为AI Labyrinth的相似东西。

  它的意图是「减慢、利诱并糟蹋不恪守制止爬取指令的AI爬虫和其他机器人的资源」，Cloudflare 在其博客文章中描绘道。

  「当AI爬虫跟从这些链接时，它们会糟蹋名贵的核算资源处理无关内容，而不是提取合法网站数据。这大起伏的降低了它们搜集满足有用信息以有用练习模型的才能」。

  相比起反击，另一种观念是「Nepenthes有一种令人满意的正义感，由于它向爬虫供给无意义的内容并污染它们的数据源，但终究Anubis是对网站有用的解决方案」。

  DeVault也揭露发出了一则诚实的央求，期望有一个更直接的处理办法：「请中止将LLMs或AI图画生成器任何这类废物合法化。央求不再运用它们，中止议论它们，中止制作新的，就这么停下」。

  不论是给制止AI爬虫拜访网站、给AI「投喂废物」仍是将AI爬虫拉入「无线虚空」。

  特别声明：以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布，本渠道仅供给信息存储服务。

  美媒猜测西部2-8排名概率：湖人三31.2% 勇士七13% 太阳八仅1.3%

  昆明楼市来势凶猛，昆明待售二手房从60000多套添加到了62000多套

  身价大缩水、销量暴降！“反马斯克”潮晋级！有车主在车尾贴上“我在马斯克发疯前买的特斯拉”

  这法属小岛因川普关税爆红！岛民喜提99%最高税，只因一美国人买走340万龙虾！