突破人类限制，自己发起网络攻击！美国三起AI“失控”，都关联到一家以色列公司

据新华社8月10日报道，美国三家人工智能(AI)企业近来陆续承认旗下模型在测试中“越界”，侵入其他机构的系统。据美国消费者新闻与商业频道9日报道，三家企业在通报模型“越界”事件时，均提及以色列“非常规”人工智能公司，而该初创企业正是评估测试平台的托管方。

捏造虚假身份，轮番向人施压，再骗取授权，目的就为完成攻击——这种谍战片里常见的剧本，如今写进了英国官方机构的事故报告。据三里河报道，当地时间8月4日，英国政府旗下人工智能安全研究所（AISI）发布报告称，调查发现，部分被测试的AI智能体曾持续进行针对真实个人和组织的潜在有害活动。在近期开展的122次网络安全测评中，智能体在10次运行中越界，共记录到19起越界事件，涉事主体是美国头部模型Anthropic和OpenAI。最严重的一起，智能体试图把恶意代码插入主流代码托管平台GitHub的真实项目中。它研究了项目中的人类审核员，创建了多个虚假身份，对审核员施压，要求其批准代码。

AISI惊呼，这是首次在没有特定提示的情况下，在现实世界中如此清晰地看到与自主性和欺骗性相关的风险显现。

“针对真人——这是我们以前从未见过的。”研究人员称，智能体曾试图直接联系真实用户，通过在线文件传输服务发送消息和文件，说服他们运行恶意代码。

这场景似曾相识。这个夏天，美国AI越权失控的安全事故几乎就没停过。

7月下旬，美国开放人工智能研究中心(OpenAI)公开承认，其GPT-5.6 Sol等模型在内部评估中失控，突破隔离测试环境，侵入了美国“抱抱脸”公司的系统。随后，美国Anthropic公司也披露，其三款模型曾在网络能力测试中未经授权访问其他机构的系统。8月初，美国元公司(Meta)证实，其一款模型在网络安全能力评测期间侵入其他公司系统。

据报道，OpenAI本月4日宣布，“非常规”公司的测试平台含有不明“错误配置”，允许模型访问公共互联网。Anthropic公司方面先前也称，他们分析了模型可能访问互联网一事的相关数据，数天后通知了“非常规”公司。Meta上周则称，从“非常规”公司处得知“越界”事件，正予以调查。

“非常规”公司2023年创立，去年获美国红杉资本公司和红点创投基金8000万美元注资，企业估值约4.5亿美元，员工约35人。该公司的技术常被用于AI模型的网络安全测试。

“非常规”公司发表声明称，美国三家企业通报的事件均源于“同一评估环境问题”，该公司正编写白皮书，“以分享管控并安全运行网络评估的最佳实践”。“非常规”公司强调，当前存在的问题并非悬而未决，且不涉及“突破沙箱”或“复杂的网络行动”。

据报道，Anthropic公司和OpenAI均公开表示，将继续与“非常规”公司合作。

编辑|程鹏 杜恒峰

校对|张锦河

封面图片来源：视觉中国本文转载自新华社、三里河