原華為天才少年4萬字演講,談談AI

2024-04-04 | 來源: 鈦媒體APP | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

很多人認為不需要自研語音合成模型，直接調用 ElevenLabs、OpenAI 或者 Google Cloud 的 API 就行了。

但是 ElevenLabs 的 API 非常貴，如果走零售定價，每 1K 字符需要 0.18 美金，按照一個 token 4 個字符計算，相當於 $0.72 / 1K tokens 了，這是比 GPT-4 Turbo 都要貴 24 倍的。ElevenLabs 雖然效果好，但是如果 to C 產品大規模使用，這個價格是真的燒不起。

OpenAI 和 Google Cloud 的語音合成 API 不支持語音克隆，只有那幾個固定的聲音，這樣就沒法克隆名人語音了，只能做一個冷冰冰的機器人播報。但即使這樣，成本也是比 GPT-4 Turbo 貴 1 倍的，也就是成本的大頭不是花在大模型上，而是花在語音合成上。

大概也是因為語音不好做，很多 to C 的產品都選擇只支持文字，但實時語音交互的用戶體驗明顯是更好的。

雖然基於 VITS 很難實現 ElevenLabs 級別質量的語音，但基本可用是沒有問題的。自己部署 VITS 的成本只要 $0.0005 / 1K 字符，是 OpenAI 和 Google Cloud TTS 價格的 1/30，ElevenLabs 價格的 1/360。這個 $2 / 1M tokens 的語音合成成本也跟自己部署開源文本大模型的成本差不多，這樣文本和語音的成本就都降下來了。

因此如果真的打算把語音作為一個用戶體驗的重大加分項，基於開源自研語音模型不僅是必要的，也是可行的。

八佰裡影業出品的精品豎屏短劇《瞎混也能出天才》6月7日正式在張家口風影片場開機

12歲華人天才少女被國際大牌搶著簽約

經常在這個睡眠階段醒你也有機會變天才

我們知道圖片生成現在已經比較成熟，視頻生成會是 2024 年一個非常重要的方向。視頻生成不僅僅是生成素材這麼簡單，更重要的是讓每個人都能輕松成為視頻內容的創作者，更進一步，讓每個 AI 數字分身都有自己的形象，可以用視頻的方式來交流。

有幾條典型的技術路線，比如Live2D，3D 模型，DeepFake，Image Animation 和 Video Diffusion。

Live2D 是很老的技術，不用 AI 也行。比如很多網站上的看板娘就是 Live2D，一些動畫游戲也是用 Live2D 技術做的。Live2D 的優點在於制作成本低，比如一套 Live2D 皮套，一萬元人民幣一兩個月就能做出來。缺點在於只能支持指定的二次元人物，沒辦法生成背景視頻，也沒辦法做出皮套范圍以外的動作。Live2D 作為 AI 數字分身的形象，最大的挑戰是如何讓大模型輸出的內容跟 Live2D 人物的動作和口型一致。口型一致相對容易，很多皮套都支持 LipSync，也就是讓音量和口型一致。但是動作一致就相對復雜，需要大模型在輸出中插入動作指示，告訴 Live2D 模型該做什麼動作了。

3D 模型跟 Live2D 類似，也是很老的技術，跟 Live2D 就是二次元和三次元的區別。大多數游戲都是用 3D 模型和 Unity 之類的物理引擎做的。今天數字人直播裡面的數字人一般也是用 3D 模型做的。目前 AI 很難自動生成 Live2D 和 3D 模型，這還需要基礎模型的進步。因此AI 能做的事就是在輸出中插入動作提示，讓 3D 模型一邊說話一邊做指定的動作。

DeepFake、Image Animation 和 Video Diffusion 則是通用視頻生成 3 條不同的技術路線。

DeepFake 是錄制一個真人視頻，隨後利用 AI 把視頻中的人臉換成指定的人臉照片。這種方法其實也是基於上一代深度學習的方法，它從 2016 年開始就存在了。現在經過一系列的改進，它的效果已經非常好了。有時我們會認為當前的真人視頻與我們想要表達的場景，比如說游戲中的場景，是完全不同的。事實上，因為 DeepFake 可以使用這個世界上所有的 YouTube 視頻資料，所有的電影剪輯，甚至是用戶上傳的抖音短視頻。AI 學習了這些視頻的內容，對視頻做文字總結和標注之後，我們總能從海量的視頻庫中找到一個我們想要的視頻，然後在這個時候把視頻中的人臉換成我們指定的人臉照片，就能達到非常好的效果。實際上，這個有點類似於現在短視頻中比較常用的混剪技術。