原華為天才少年4萬字演講,談談AI

2024-04-04 | 來源: 鈦媒體APP | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

這個識別圖片中物體和文字的步驟增加了額外的 0.5 秒延遲，但是我們看一下延遲分解，就會發現視頻部分根本不是瓶頸，只有 0.9 秒，而語音輸入部分反而是瓶頸，需要 1.1 秒。在 Google Gemini 這個演示場景中，從看到視頻到 AI 文字開始輸出只要 1.3 秒，從看到視頻到 AI 語音開始播放只要 1.8 秒，雖然沒有演示視頻的 0.5 秒這麼酷炫，但也足夠完爆市面上的所有產品了。這裡面用的還全部都是開源模型，一點訓練都不需要做。如果公司自己有一些自己訓練和優化模型的能力，想象空間就更大了。

Google Gemini 演示視頻分為兩種任務：生成文本/語音和生成圖片。在生成圖片的時候，可以根據文本，調用 Stable Diffusion 或者最近新出的 LCM 模型，只要 4 個 step 甚至 1 個 step 就可以生成圖片，圖片生成的延遲可以做到 1.8 秒，那麼從看到圖到生成圖的端到端時間就只有 3.3 秒，也是非常快的了。

好看的皮囊：多模態生成能力

語音克隆是制作名人或者動漫游戲角色的重要技術，目前 ElevenLabs 做得是最好的，但是 ElevenLabs 的 API 很貴。XTTS v2 之類的開源方案合成語音的相似度不高。

我認為要想語音克隆效果好，還是要靠大量的語音數據來做訓練。但是傳統語音訓練所需的數據一般對質量要求很高，必須是錄音棚裡面錄制的口齒清晰的語音數據，因此采集語音數據的成本很高。但我們不可能要求名人到錄音棚裡去給我們專門錄制語音，只能用 YouTube 等公開視頻的語音做訓練。YouTube 語音往往是訪談形式，裡面有多個人說話，而且有背景噪聲，名人說話的過程中也可能有結巴和口齒不清。如何用這樣的語音訓練語音克隆呢？

經常在這個睡眠階段醒你也有機會變天才

12歲華人天才少女被國際大牌搶著簽約

美外交官敦促北約盟國動用國防開支來更換華為設備

我們搭建了一套基於 VITS 搭建的語音克隆流水線，可以自動把視頻中的人聲從背景噪聲中區分出來，拆分成句子之後，識別出有哪幾個說話人，針對我們想要的人的語音，篩選出其中信噪比較高的語音，然後識別出文字，最後這些清洗過的語音和文字送去做批量微調。

微調過程也是很有技術含量的。首先，微調的基礎語音需要是比較相似的語音，比如一個男生的語音用一個女生的語音作為基礎去微調，那效果肯定不好。如何從語音庫裡找到相似的語音來做微調是需要一個音色相似度檢測模型，類似聲紋識別的模型。像 ElevenLabs 的基礎語音模型中就已經包含了大量不同音色人的高質量數據，因此在語音克隆的時候，很多時候能夠從語音庫中找到很相似的語音，這樣不需要做微調就能 zero-shot 生成不錯的語音。

其次，VITS 訓練過程中不能根據簡單的 loss 判斷收斂，以往都是要靠人耳朵去聽哪個 epoch 的效果最好，這樣就需要大量的人工成本。我們開發了音色相似度檢測模型和發音清晰度檢測模型，可以自動判斷語音的微調結果哪個更好。

（注：這個報告是 2023 年 12 月做的，目前 GPT-soVITS 的路線比 VITS 更好，可以實現 zero-shot 語音克隆，不再需要收集大量高質量語音做訓練。開源模型可以合成的語音質量終於逼近 ElevenLabs 的水平了。）