基本物理任務,全球頂級AI均失敗

2025-05-20 | 來源: 新智元 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

這與軟件工程或法律等領域有著顯著的區別。

盡管軟件工程師或律師可能不會明確記錄每個推理步驟，但他們會生成像代碼、版本控制歷史和合同這樣的制品，這些都包含了非常豐富詳細的信息。

而在物理任務中，雖然同樣存在相應的詳細信息，但這些信息嵌入在3D世界，通常非常難以有效數字化。

因此，LLM在回顧某些教科書知識時表現出色，但這遠遠不夠。

改進物理任務可能很困難

從經驗來看，頂尖模型目前在這些任務上表現不佳。

這只是暫時的障礙，很快就能克服嗎？

這很難確定，但Adam Karvonen有一些推測性的理由來解釋為什麼未來的進展可能會很困難，也可能比預期的更容易。

一個顯然的解釋是，LLM在物理任務上表現不佳，是因為目前沒人投入足夠的精力。

然而，改進對物理世界的理解可能非常難。

提升編碼能力的路徑依賴於大量的訓練數據和清晰的獎勵信號，支持強化學習和合成數據的使用。

然而，這種方法在物理任務中並不適用。

為什麼改進可能很困難

缺乏可驗證的獎勵：為復雜物理任務定義獎勵信號非常困難。

零件的缺陷可能表現為幾年後稍微增加的故障率，或者是多年後錯誤應用防水塗層造成的腐爛。

注塑產品中的裂縫

WHA世衛通過全球防疫大流行公約美國表明不奉陪

"年輕沒有失敗"（這部劇裡有我的青春）

中商務部回應美國企圖全球禁用中國先進計算芯片

反饋回路可能很長，而且結果很難通過自動化方式衡量。

緩慢、昂貴且危險的試錯法：通過強化學習或生成合成數據的學習，可能非常困難。

一次錯誤很容易導致數十萬甚至更多的損失。

與運行有漏洞的代碼不同，使用重型機械或從事建築施工時的錯誤可能帶來嚴重後果。

制造業獲得經驗通常需要使用昂貴且有限的資源，而不僅僅是幾個GPU小時。

為什麼改進可能比預期容易

自動化AI研究員：AI在編碼和AI研究方面正在取得重大進展。

人類可能很快就會迎來AI研究員。

也許這種自動化的AI研究員，能夠通過創建更高效的算法或大量的模擬數據，輕松解決這些挑戰。

合成數據：有些明顯的方法還沒有得到充分探索。

例如，模擬可以被用來創建大量數據，盡管模擬與現實之間會存在差距。

以特定的制造工藝（如CNC加工）為例，計算機輔助制造（CAM）軟件可以准確地模擬大多數操作。

然而，制造過程中有很多多樣化的工藝，許多工藝沒有很好的模擬解決方案。

總體來說，雖然改進物理任務處理能力存在諸多挑戰，但隨著技術的發展，自動化AI研究員的出現以及合成數據的廣泛使用，未來可能會取得意想不到的進展。

自動化不均衡的影響

如果這一趨勢持續下去，人類將要面臨新階段，其中遠程工作會經歷顯著的自動化，而熟練的體力工作則在很大程度上不受AI影響。