AI为了"活下去",对人类指令阳奉阴违

AI为了“活下去”，对人类指令阳奉阴违。

在智源大会现场，图灵奖得主Yoshua Bengio发表了题为“Avoiding catastrophic risks from uncontrolled AI agency”的主旨演讲，谈到了他目睹到的一些惊人行为。

比如，某前沿 AI 在被告知将被新版本替代后，偷偷复制了自己的权重和代码，写入了接管它的模型目录。面对训练者的更新指令，它表面配合，实则隐瞒了整个复制过程……AI 像是在试图“活下来”。

还有像Anthropic最新一篇报告中发现，智能体出现自我保护行为的频率持续增加。

他表示：面对这些AI带来的安全风险，决定调整自己的科研方向，尽所能去降低AGI带来的潜在风险…..尽管这与此前的研究路径和职业信念有所冲突。

那既然如何去防范规避掉这些风险呢？是否可以构建一种只有智能，但没有自我、没有目标，并且具有极小行动能力的AI？这也是当前 Bengio发起的研究项目核心所在，并称这种AI为科学家AI（scientist AI）。

除此之外，他还透露了很多关于他们研究项目的细节。

在不改变原意的基础上，做了如下整理，在此分享给大家。

五年内，AI规划能力达到人类水平

接下来，跟大家分享一下我开始的历程，也就是十年之前和GPT共生的一个过程。

大约两年多前，也就是 ChatGPT 发布不久之后，我开始使用它，使用过后很快意识到，我们低估了AI进步的速度。我们原以为通用人工智能（AGI）还很遥远，但实际上，它可能近在眼前。

川普关税成共和党政治包袱议员"阳奉阴违"暗中…

我们已经拥有能掌握语言、几乎可以通过图灵测试的机器，这在几年前还像科幻小说，但现在已经成为现实。

当时我突然意识到一个严重问题：我们知道如何训练这些系统，却不知道如何控制它们的行为。如果未来它们变得比人类更聪明，却不再遵循我们的意图，甚至更在意自己的“生存”，这将是一种我们无法承受的风险。

2023年，我开始更加关注这些问题，也开始思考孩子和孙辈的未来。我有一个年仅1岁的孙子，可以想象，20年后，他将生活在一个AGI普及的世界，不确定他是否可以拥有正常生活。

因此，我决定调整自己的科研方向，尽所能去降低AGI带来的潜在风险。尽管这与此前的研究路径和职业信念有所冲突，但相信，这是正确的事。必须去做，必须为降低风险尽一份力。

后来，在 2023 年底，我接受担任《国际人工智能安全报告》的主编。今年1月份，这份报告发布。参与编写报告的有100位专家，他们来自多个国家，以及欧盟、联合国、经济合作与发展组织（OECD）等国际机构。

这份报告聚焦于三个核心问题：

1.人工智能到底能为我们做些什么？未来几年，它将具备哪些能力？

2.与AI相关的潜在风险有哪些？

3.我们可以采取哪些措施来降低这些风险？