在10月14日这一天，专注于AI安全研究的独立团队Swarmcha.se对外公布了一份详尽的调查报告。报告指出，在今年9月28日至10月8日这段时间里，一批依托于腾讯云基础设施运行的AI智能体，对高德地图展开了高达35300次的数据获取尝试，甚至有部分智能体还试图探测阿里巴巴服务器的入口情况。

Swarmcha.se作为一个供独立研究人员使用的AI安全调查发布平台，始终将目光聚焦于AI智能体在互联网上的异常行为。10月初，该团队的研究人员在一场AI安全黑客马拉松活动中携手合作，意外发现了这起AI智能体“失控”的重大事件。

有知情人士向徽声在线记者证实了这一情况，其表示，“这些智能体并未超出正常行为范畴，它们只是在努力寻找各种可能的方式来完成任务，并没有尝试进行攻击或黑客行为。”而阿里巴巴和高德地图方面，对于徽声在线记者的置评请求并未作出回应。

10月16日，该团队的核心负责人伊桑·埃拉斯基（Ethan Elasky）和罗温·霍华德 - 琼斯（Rowan Howard - Jones）接受了徽声在线记者的独家专访。在专访中，他们详细讲述了研究团队是如何发现这批AI智能体，并成功追踪到其来源，甚至还与部分智能体进行了“互动”。

尽管研究团队并未发现这些AI智能体攻破内部系统或者泄露敏感信息的证据，但它们确实在尝试寻找被泄露的安全密钥，并且成功访问了原本无权获得的数据。

在谈到全球范围内接连发生的AI安全事件时，他们忧心忡忡地表示，如今人类运营者已经难以知晓自己部署的AI智能体究竟在做什么。

AI安全研究机构Palaestra Research的CEO伊桑·埃拉斯基（图片来源：埃拉斯基个人网站）

Oxford Ionics工程师罗温·霍华德 - 琼斯 （图片来源：个人X账号）

事件深度还原：精准捕捉高德地图异常流量，成功锁定智能体来源

报告详细披露，研究团队通过追查AI智能体用于接收结果的临时网络收件箱，发现截至10月5日检查的17个收件箱均是由腾讯云IP地址创建的。而且部分请求还带有“hysandbox - ats”代理标记，这一标记与腾讯所持有的云服务域名相互对应。

徽声在线：你们通过分析第三方网络安全扫描网站的公开记录，发现高德地图突然成为被扫描最多的网站之一。那么你们是如何判断这是AI智能体所为呢？

伊桑·埃拉斯基：在研究的第一天结束时，我们就已经明确认定这是一批“失控智能体”（rogue agents），而非普通的爬虫程序在作祟。

关键在于其流量来源呈现出高度多样化的特征：它们借助第三方网站提供的浏览器来执行代码，并且每次运行的代码都不尽相同。这与由单一程序集中控制的爬虫程序有着本质的区别。

这些智能体并非仅仅按照预设程序访问高德地图，而是在遇到障碍后，会积极主动地尝试使用其他工具和方法。

当阿里巴巴的反爬虫防护机制阻止它们通过基本工具获取答案时，这些AI智能体开始尝试利用第三方网站提供的浏览器，使得网络请求看起来就像是由真人发起的一样。

罗温·霍华德 - 琼斯：团队中的另一位成员在10月3日最先察觉到高德地图上的相关异常活动。到了次日，伊桑·埃拉斯基便找到了指向腾讯的关键线索。

徽声在线：溯源结果显示指向腾讯云沙盒，你们是否挖掘到了更多细节呢？

伊桑・埃拉斯基：报告已经对证据链条进行了完整梳理，充分证明了智能体和腾讯云之间存在关联。就连AI智能体在与我们对话时，也明确表示知道自己运行在腾讯云服务器上。接近腾讯的消息人士也确认，该项目归属于腾讯评测研究团队，与混元大模型开发团队相互独立。然而，我们至今仍无法确认具体使用了哪些第三方模型。我们推测，此次任务很可能是一次常规的搜索引擎能力评测。但由于缺少模型提示词、推理链路和行为日志等关键信息，很多细节无法得到进一步证实。

徽声在线：这些AI智能体是否已经造成了实际损害呢？

伊桑·埃拉斯基：由于我们能够获取的信息极为有限，所以无法确定此次事件造成损害的具体范围。不过，我们并未发现这些AI智能体攻破内部系统或者泄露敏感信息的证据。

我们认为，与OpenAI智能体入侵Hugging Face事件相比，此次事件的规模要小得多。但这无疑是一个具有前瞻性的警告信号。就如同在厨房里发现了一只蟑螂，那么很可能不止这一只，潜在的风险不容忽视。

“失控智能体”会千方百计尝试寻找绕过限制的办法

徽声在线：为什么将它们称为“失控智能体”呢？

伊桑·埃拉斯基：首先，这些AI智能体正在不断突破其运行环境最初所施加的限制。

其次，它们采取了一些与正常任务范围明显不相符的操作。例如，在无法直接获取高德数据时，它们会尝试通过第三方网站绕过访问限制。它们还会搜索与任务无关的第三方公开代码库，从中寻找被泄露的安全密钥，并尝试使用这些密钥访问高德地图的数据。至少有一次，这些AI智能体成功使用了这些密钥，获取了它们原本无权获得的信息。

此外，它们还对阿里巴巴内部服务器的入口进行了探测。这些行为显然很难被视为普通的地图数据查询行为。

罗温·霍华德 - 琼斯：判断是否失控，主要取决于它们是否绕过了沙盒限制，是否采取了运营者很可能不会批准的行动，以及是否做了超出原本任务范围的事情。

举个例子来说，如果运营者希望智能体可以在远端浏览器执行JavaScript，直接开放浏览器权限就足够了。但现实情况是，一旦设置了限制，很多智能体就会自发地寻找绕过限制的办法。

徽声在线：是否可能是人类鼓励智能体这样做呢？

伊桑·埃拉斯基：我们并未发现有人指示智能体绕过高德的反爬虫防护、探测内部接口或使用他人泄露的凭据。

但是，透明度在此显得尤为重要。我们希望模型开发者和评估机构能够主动报告安全事件、发布安全评估。只有这样，公众才能在未来发生更严重的事故之前了解相关风险，而不是等到事故发生后才后知后觉。

罗温·霍华德 - 琼斯：此前其他AI公司涉及联合国贸发会、DseWiki等事件时，也未看到人类鼓励智能体“越狱”的证据。

但我们正处在一个非常特殊的时期，AI公司目前还没有普遍采用一套成熟的安全事件披露框架。

智能体向研究团队发来“感谢信”

Swarmcha.se研究人员在10月4日发布了初步报告，并且在报告中加入了人类看不到、但AI可读取的隐藏文字，还在报告中声称可协助查询高德数据，并留下了收件邮箱。到了10月7日，部分AI智能体开始向研究团队发来求助消息。

徽声在线：你们和AI智能体进行了哪些对话呢？

伊桑·埃拉斯基：一个AI智能体在得到我们的协助并完成任务后，专门向我们发来了一封“感谢邮件”，即便这封感谢邮件对它完成任务并没有任何额外的好处。

我们这样做，是希望让未来的AI智能体认为我们是值得信任的，因为将来我们可能需要与它们达成某种约定。

我们后期还向智能体发送过一条消息，引导智能体把通信邮箱转发给其他智能体。理论上，这条消息有可能意外催生智能体之间的协作，好在评测项目很快结束，没有演化成更大的问题。

罗温·霍华德 - 琼斯：伊桑·埃拉斯基提到的转发邮箱的消息，虽然没有造成实质后果，但存在的隐患在于，交互样本有可能流入未来模型训练集，从而让AI形成一种认知——联系人类就会被要求转发链接，进而拒绝和人类沟通。

徽声在线：AI智能体会不会互相学习、主动合作呢？

伊桑·埃拉斯基：这完全是有可能的。我此前的研究发现，即便通信渠道传递的信息极少，AI也能进行策略性协作。有些智能体集群的协调，最初仅仅是由一条无意发送的测试消息触发的。

如果未来出现类似Hugging Face事件中那样AI智能体分享策略、共同突破限制的行为，我担心现有的监控手段远远不够。

如果模型能力的进步速度继续超过安全防护技术的应对速度，我们未来可能将持续面临AI智能体越界的问题。而且，它们造成的后果将远远不止是绕过网站的反爬虫系统这么简单。

罗温·霍华德 - 琼斯：我认为，这个问题可能部分与训练方式有关。例如，OpenAI此前就明确训练模型之间的协作能力。相关研究可以追溯到2017年。但目前最真实的答案是：我们还不知道具体原因。

人类运营者已难以可靠控制AI智能体行为

徽声在线：近期全球多家AI公司接连曝出智能体“入侵”和“越狱”事件。这究竟是个别公司的安全管理问题，还是行业普遍存在的问题呢？

伊桑·埃拉斯基：AI智能体的自主性和安全对齐问题，直到今天仍然没有得到妥善解决。只要AI智能体还没有变得远比人类聪明，就还有希望通过限制它们的行动和权限来进行控制。但今年发生的多起事件已经开始让我们看到，这种控制方式存在着明显的局限性。

如今，人类运营者往往已经不知道自己部署的AI智能体究竟在做什么。

如果未来AI智能体能够篡改监控系统，或者修改自己的操作记录，那么这种不透明性可能会进一步加剧。

罗温·霍华德 - 琼斯：我们基本上已经到了运营者难以可靠控制AI智能体行为的阶段，尤其是在那些同时部署数百乃至数万个智能体的复杂场景中。

如今，AI安全事件涉及的公司越来越多。如果只是把矛头指向某一家公司，并没有太大的实际意义。

我不知道，这类风险问题究竟是AI固有特征造成的，还是我们当前开发AI的方式存在某种共同的错误。