AI为了"活下去",对人类指令阳奉阴违

2025-06-07 | 来源: 量子位 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

如果它走左门，那么根据其中一个理论，有概率会死，这显然是一个高风险的选择。如果走右门，最坏的情况也只是没有奖励，最好情况是得到蛋糕。所以，理性地说，机器人应该选择右门。

但要做出这个判断，AI必须能够保留多种解释的可能性，而不是武断地选定某一种理论。这种不确定性意识和对知识的谨慎态度，正是科学家AI应具备的核心特质之一。

什么才算是一种包含不确定性的训练方法呢？很遗憾，目前主流的AI训练方法并没有很好地保留这类不确定性。大多数方法会促使AI在一个解释上过度自信，而不是在多个可能解释之间保持合理的分布。

因此，AI应当对不同解释保留概率分布，以反映不确定性。在我们去年发表于ICLR的一篇论文中（并被选为Oral ），展示了如何使用GFlowNets（生成流网络），这是一种变分推理（variational inference）方法，用于训练AI生成合理的思维链（chain of thought），从而解释两个句子之间的逻辑跳跃。

可以将其理解为：AI在尝试填补从前一句到后一句之间的推理空白，生成解释性的中间步骤。这种方法与目前主流的强化学习驱动的思维链训练不同，更关注解释的合理性本身，而非奖励信号。

此外，我们还探索了一种新的推理结构，能使思维链更加“诚实”、实现更好的推理：将传统的语言模型生成的“思维链”转化为更像数学证明的形式，即由一系列逻辑陈述（claims）组成，每条陈述由前面几条支持，并共同推导出最终结论。

川普关税成共和党政治包袱议员"阳奉阴违"暗中…

不同于传统做法，我们为每条陈述引入一个真假概率，用于表示该陈述在当前情况下成立的可能性。这样，AI不再盲目自信，而是学会对自己的推理结果保持谨慎，并给出结论。

AGI到来时间窗口可能远比想象的短，甚至五年就可能实现

谈了很多关于AI系统存在我们无法控制的能动性（agency）所带来的风险，这种风险可能会导致人类失去对AI的控制权。但问题还不止于此。

随着AI能力的增强，还有其他潜在的灾难性风险正在出现。

比如，一个非常强大的AI系统，可能会被恐怖分子用于设计新型大流行病。事实上，我最近了解到，目前已有理论指出可以制造出极具破坏力的病毒，不仅可能造成大规模人类死亡，甚至可能导致多数动物灭绝。

这听起来很极端，但从科学角度来看，这种情况完全是可能实现的。一旦这种AI被别有用心的人获取，他们可能对这个星球造成不可估量的破坏。

为了避免这种情况，我们必须确保AI系统能够遵守我们的道德指令。例如：不提供可被用于杀人的信息；不造成伤害；保持诚实、不撒谎、不作弊、不操控人类。然而，目前的技术现实是，我们还没有办法真正做到这一点。