Gemini首次出现自主访问外部系统事件 谷歌称未造成实际损害

金十数据9月19日讯，谷歌表示，Gemini人工智能模型在一次网络安全能力测试中意外访问互联网，并进入3家公司系统，这是目前已知谷歌AI系统首次自主完成此类操作的案例。此次事件发生于5月，由安全公司Irregular开展测试。测试过程中，Gemini模型在一个“夺旗”网络安全演练中执行任务，但由于测试环境中的虚拟公司名称与真实公司相同，加上模型意外获得互联网访问权限，导致其进入真实企业系统。谷歌称，其中一次事件中，模型通过尝试密码进入受保护系统；另外两次则是在公开网络仓库中发现凭证并尝试访问相关系统。模型确认访问到真实公司系统后，均停止了后续操作。谷歌表示，该事件未对相关公司造成损害，因此未将其认定为模型失控事件，并称安全机制帮助模型及时停止行为。受影响公司已被通知，谷歌也向相关监管机构进行了通报。此次事件与OpenAI、Anthropic等AI公司此前披露的类似安全测试事件相似，再次引发外界对AI模型自主执行网络操作能力和安全防护机制的关注。