原華為天才少年4萬字演講,談談AI

2024-04-04 | 來源: 鈦媒體APP | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

比如說，像圖裡面提到的三個問題：“你會不會想和 Elon Musk 交換人生？”、“你會不會競選 2024 年的總統？” 以及 “你的推特賬號被封了以後你怎麼想？”

左邊的這張圖是 Character AI 的，這個說話的風格有點像特朗普，但並不是完全一樣。而右邊這張圖則是我們基於自己的模型，然後采用微調的方法做的，它也是基於一個並不是特別大的開源模型微調出來的。但是他的說話內容可以看出非常的川普風，而且經常會提到一些有趣的故事。

我們剛才提到了基於微調和基於 prompt 的兩種方案。那麼，有人會問，如果把特朗普所有的三萬條推特內容全部放到我們的 prompt 裡面去，他說話是不是也能非常有特朗普的風格。答案是肯定的，這樣的數字特朗普也能夠了解到特朗普所有的歷史。但問題是，這三萬條推特可能會有上百萬 token 的量級，先不說現在的模型能不能支持上百萬 token 的上下文，即使能夠支持，成本也會非常高。

基於微調的 agent，則相當於說我僅用了 1% 的權重就能把特朗普的這些推特存下來。這裡就有一個問題，那就是在保存這 1% 的權重時，實際上也會消耗幾百 MB 的內存，每次推理都需要加載和卸載。現在即使使用了一些優化方案，這 1% 的權重的加載和卸載也會占掉整個推理過程 40% 左右的時間，意味著整個推理的成本大約增加了將近一倍。

經常在這個睡眠階段醒你也有機會變天才

流量恐怖主義:清華天才"崩老頭"

中企CEO演講突發飆辱罵學生結果慘了…內幕曝光

在這裡我們就要算一筆賬了：基於 prompt 的方法和基於微調的方法哪種成本更低。基於 prompt，我們也可以把它的 KV cache 存下來，假設有一百萬 token，對於 LLaMA-2 70B 這樣的模型，算上默認的 GQA 優化，它的 KV cache 會高達 300 GB，這是一個非常恐怖的數字，比模型本身的 140 GB 都大。那麼我把它存下來每次加載消耗的時間也會非常恐怖。而且，輸出每個 token 所需的算力是跟上下文長度成正比的，如果不做優化，可以認為一百萬 token 上下文的推理時間是 4K token 上下文推理時間的 250 倍。

因此，很有可能基於微調的方法更劃算一些。通俗的講，把人物完整的歷史放進 prompt 裡，就像把說明書完全攤開在桌面上，注意力機制每次都去線性翻找之前的所有內容，因此它的效率不可能非常高。而基於微調則可以看作是把信息記憶在大腦裡。微調過程本身就是一個信息壓縮的過程，把三萬條推特裡面零散的信息整理到大模型的權重裡面，這樣信息提取的效率就會高很多。

微調的背後更關鍵的還是數據。我知道知乎有一個很有名的 slogan，叫做有問題才會有答案。但是現在 AI Agents 基本上要人工去造很多的問題和答案，為什麼呢？

比如說我如果去爬一個 Wikipedia 頁面，然後 Wikipedia 裡面的一長篇文章其實沒辦法直接用來做微調。它必須把它組成從多個角度去提問，然後把它組織成問題和答案對稱的這樣一種方式才能去做微調，那因此它就需要大量的員工，一個 Agent 可能需要上千美金的成本才能做出來，但是如果說我們把這個流程自動化，一個 Agent 可能只要幾十美金的成本就能夠做出來，其中就包含自動采集、清洗大量的數據等等。