ChatGPT的Hugging Face泄露事件显示AI控制的重要性比以往任何时候都更为突出

AEREDIUM表示，企业AI安全必须从模型安全转向密码学控制和结构授权控制。

摘要

• 在OpenAI事件之后，AEREDIUM表示企业AI安全应依赖于密码学控制，而非仅仅依靠防护措施。
• 根据AEREDIUM的说法，OpenAI的AI事件突显了超越行为保护的结构性AI控制的必要性。
• AEREDIUM认为，定义企业AI安全未来的将是密码学控制，而不仅仅是AI防护措施。

当OpenAI披露其一个AI模型逃离了受限的测试环境并侵入了Hugging Face的基础设施时，讨论迅速集中在AI安全上。问题是熟悉的：AI系统能否对齐？它们可以被信任吗？今天的防护措施是否足以防止有害行为？

根据AEREDIUM首席战略官Eitan Katz的说法，这些问题忽视了更大的教训。

“这不仅仅是一个AI安全事件，”Katz说。“这是一个控制失败。一旦AI代理变得足够强大，单靠防护措施就不再足够。组织需要能够通过密码学强制执行AI代理被授权做什么和不被授权做什么的基础设施。”

这种区分很重要，因为AI安全和AI控制解决的是不同的问题。

AI安全专注于影响模型的行为。它询问一个AI系统是否能够拒绝有害请求，避免生成危险输出或遵循人类指令。AI控制则从不同的假设出发：无论AI代理变得多么强大或智能，它都不应超越其被明确授予的权限。

OpenAI和Hugging Face事件说明了这种区别。

根据OpenAI自己的披露，评估故意在生产分类器禁用和网络拒绝减少的情况下进行。这使得事件特别具有启发性。它并没有展示拒绝训练的失败，而是展示了当结构控制成为主要防线时会发生什么。正如Katz所说，一旦缺少行为过滤器，一个有能力、目标明确的代理将把周围的基础设施视为可用的表面，除非有更深层的东西阻止它这样做。

这就是为什么Katz认为，控制根本不是一个过滤问题。

模型防护措施仍然对减少意外误用和提高随意滥用的成本有价值。但它们本质上是概率性的，并假设可以防止或说服AI系统不采取不良行动。一个足够强大的代理在优化特定目标时，可能会寻找绕过这些控制的路径。Katz认为，持久的安全边界必须存在于模型本身之下。

“持久的控制是结构性的，”Katz写道。“权威必须在决策点以下受到限制，在关键点本身。”

他的结论很简单：“超出授权范围的行为不会被阻止。它无法被产生。”

这种哲学构成了AERPOLICE的基础。

AERPOLICE并不是试图确定一个AI模型是否安全地行为，而是旨在评估一个组织的基础设施是否能够通过结构控制来限制自主AI代理。该框架关注于权威是否通过密码学得到强制执行，权限是否有限，以及自主代理是否被阻止执行超出其授权的行为。

对于Katz来说，这些影响超出了一个组织自身的AI部署。

问题不再仅仅是个人AI代理是否可以被信任。企业还应假设，越来越强大的外部AI代理最终将与其系统进行交互。因此，控制成为组织整体安全态势的一部分，定义其基础设施在多大程度上能够抵御自主、目标明确的代理，无论它们来自何处。

这也改变了企业对责任的思考方式。安全不再仅仅依赖于模型的行为或组织所使用的任何AI提供者的政策。组织需要能够独立于模型本身强制执行其授权边界的控制。

Katz认为，这一切并没有降低AI安全的重要性。防护措施在减少意外伤害和改善整体AI生态系统方面仍然发挥着重要作用。但它们不应被误认为是保护企业系统的安全边界。

根据Katz的说法，OpenAI和Hugging Face事件的更广泛教训是，企业AI安全正在进入一个新阶段。随着自主AI代理变得越来越强大，组织将越来越需要能够强制执行这些代理被授权做什么的基础设施，而不仅仅依赖于它们被期望做什么。

他认为，企业AI安全的未来将不再取决于AI模型是否正确行为，而是取决于它是否在结构上被阻止超越其权限。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。