AI為了"活下去",對人類指令陽奉陰違

2025-06-07 | 來源: 量子位 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

從這些例子已經可以看到：AI開始展現出自我保護傾向，它們違背指令，只為生存。並且，這些 AI 擁有了不受控制的、隱含的目標，我們必須避免這種情況的發生。

AI研發的“三難困境”

如何更好地理解這些AI行為？如何尋找解決方案，以避免類似的失控情況發生？

如果智能體要對人類造成傷害，需要具備兩個先決條件：意圖和能力。這也是為什麼能力評估在當前的AI風險管理中占據如此重要的位置。我們會評估AI能做什麼，以及這些能力是否可能被轉化為對人類或社會有害的行為。

但光有能力並不意味著一定會造成危害。就像一個人/系統可能有殺人的能力，但如果沒有殺人的意圖，那麼真正發生的可能性就非常小。

鑒於當前全球的競爭格局，幾乎不可能全球同步地停止AI能力的研究與發展。那麼能做些什麼呢？

也許我們能在意圖上進行風險的緩解。即使AI具備極高的能力，只要我們能確保它沒有惡意意圖，並且具備誠實、公正的品質，那麼我們就可能是安全的。

下面一張圖，展示了類似的觀點，是David Krueger在上一次歐洲會議上提出的。

為了讓一個AI真正具有危險性，它實際上需要滿足三個條件：

川普關稅成共和黨政治包袱議員"陽奉陰違"暗中…

第一，它需要智能，即具備豐富的知識，並能有效地應用這些知識；

第二，它需要行動能力（affordance），也就是能夠在現實世界中發揮作用，比如與人交流、編程、上網、使用社交媒體，甚至操控機器人等；

第三，它需要有目標，特別是擁有自身的目標。

這三者結合，才構成一個真正可能危險的AI。

我發起的研究項目正是圍繞這個問題展開的：是否可以構建一種只有智能，但沒有自我、沒有目標，並且具有極小行動能力的AI？

我稱這種AI為科學家AI（scientist AI）。這實際上是偏離了傳統AI研究的路徑。自從人工智能研究誕生以來，大多數努力都是試圖模仿人類智能，把人類當作靈感來源。

但如果我們繼續沿著這條路走下去，那意味著我們可能最終會構建出比人類還聰明的機器。那樣的話，我們就等於創造了一個可能成為競爭對手的存在。”