原華為天才少年4萬字演講,談談AI

2024-04-04 | 來源: 鈦媒體APP | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

Image Animation，比如說最近比較火的阿裡通義千問的 Animate Anyone 或者字節的 Magic Animate，它實際上是給定一張照片，隨後根據這張照片生成一系列的對應視頻。然而，這個技術相比於 DeepFake 的缺點是它可能目前還達不到實時視頻生成，而且視頻生成的成本相比 DeepFake 要高一些。但是 Image Animation 可以生成大模型指定的任意動作，甚至可以把圖片背景填充進去。當然，不管是 DeepFake 還是 Image Animation 生成的視頻，都不是完全准確，有時候可能發生穿幫的情況。

Video Diffusion 我認為是一個更為終極的技術路線。雖然這條路線現在還不夠成熟，比如像 Runway ML 的 Gen2，以及 PIKA Labs 都在探索這一領域。（注：本演講是在 2023 年 12 月，當時 OpenAI 的 Sora 還沒有發布。）我們認為，可能未來基於 Transformer 的方式端到端的生成視頻是一個終極的解決方案，可以解決人和物體的運動以及背景生成的問題。

我認為視頻生成的關鍵是要對世界有一個很好的建模和理解。現在我們的很多生成模型，比如 Runway ML 的 Gen2，在對物理世界的建模方面實際上存在很大的缺陷。許多物體的物理規律和其物理屬性並不能被正確地表達出來，因此它生成的視頻的一致性也較差，稍微長一點的視頻就會出現問題。同時，即使是非常短的視頻，也只能生成一些簡單的運動，而對於復雜的運動，是沒辦法正確建模的。

此外，成本也是一個大問題，現在 Video Diffusion 的成本是所有這些技術中最高的。因此，我認為 Video Diffusion 是 2024 年一個非常重要的方向。我相信，只有當 Video Diffusion 在效果足夠好的同時，成本也大幅降低，每個 AI 的數字分身才真的能擁有自己的視頻形象。

有趣的靈魂：個性

八佰裡影業出品的精品豎屏短劇《瞎混也能出天才》6月7日正式在張家口風影片場開機

中企CEO演講突發飆辱罵學生結果慘了…內幕曝光

流量恐怖主義:清華天才"崩老頭"

剛才我們討論了好看的皮囊這一部分，包括怎麼讓 AI Agent 理解語音、理解視頻，以及怎麼讓 AI Agent 生成語音、生成視頻。

好看的皮囊之外，同等重要的是有趣的靈魂。其實我覺得，有趣的靈魂是現有市場上的 AI Agent 存在更大差距的地方。

比如，就拿這個截圖中 Janitor AI 的例子來說，我們當前市場上的主要 AI Agent 大部分是使用 GPT 或者其他的開源模型套上一個殼。所謂套殼，就是定義一個人物設定以及編寫一些樣本對話，然後大模型基於這些人物設定和樣本對話去生成內容。

但是，我們想，一個 prompt 它總共也就幾千字的內容，它怎麼可能完整地刻畫出一個人物的歷史、個性、記憶和性格呢？這是非常困難的。