AI技術(shù)正在視頻內(nèi)容生成領(lǐng)域發(fā)揮著越來(lái)越大的作用，那么當(dāng)下，各家產(chǎn)品們的AI視頻生成能力表現(xiàn)得如何？AIGC在視頻生成領(lǐng)域的發(fā)展，未來(lái)又有著怎樣的想象空間？一起來(lái)看本文的分享。

“AIGC在視頻內(nèi)容生成的賽道上才剛剛起步。”

上周二Stable Video Diffusion（SVD）模型的發(fā)布在行業(yè)內(nèi)引起熱議，SVD模型主要提供圖片生成視頻能力。在短視頻的時(shí)代，誰(shuí)能不對(duì)智能視頻內(nèi)容生成能力感到興奮呢？那AI視頻生成能力現(xiàn)在如何能為我們所用，未來(lái)會(huì)有多大的想象空間呢？

從產(chǎn)品類型區(qū)分，AIGC視頻生成產(chǎn)品可以分為：

1. 數(shù)字人合成視頻：以數(shù)字人搭配對(duì)話的形式為視頻內(nèi)容主題，數(shù)字人可以為個(gè)人真實(shí)形象或者是虛擬人物形象；
2. 圖文生成視頻：通過(guò)輸入圖片搭配文字描述生成以圖片內(nèi)容為主題的擴(kuò)展視頻；
3. 素材合成：通過(guò)文字描述，在素材庫(kù)或網(wǎng)絡(luò)中檢索匹配的視頻或者圖片內(nèi)容，組合成一部視頻。

一、數(shù)字人合成視頻

通過(guò)個(gè)人形象+動(dòng)作+聲音合成視頻，視頻內(nèi)的相關(guān)元素均可通過(guò)視頻錄制上傳后制作成為模板。適用于視頻內(nèi)容相對(duì)固定，視頻形式以真人+講解的場(chǎng)景，例如廣告宣傳、知識(shí)講解等。

什么是B端产品经理？和C端产品经理有什么区别？

B端产品经理中的B是Business，商业的意思，B端产品经理首先就要理解这个职位的重要性，要设计出更适合这个项目需求的产品方案，B最终产品经理在日常工作中...

查看详情 >

以下是通過(guò)HeyGen生成的視頻片段，兩個(gè)形象均為數(shù)字虛擬人，從產(chǎn)品效果看，數(shù)字人的形象、動(dòng)作、音色的還原度均非常高。

前陣子非?；馃岬耐庹Z(yǔ)對(duì)嘴型視頻也可以通過(guò)HeyGen進(jìn)行制作，只要上傳視頻并選擇需要翻譯的語(yǔ)言，就可以將原視頻音頻的語(yǔ)言翻譯為指定的另一門語(yǔ)言，并將視頻中人物發(fā)音的嘴型對(duì)應(yīng)上。

二、圖文生成視頻

通過(guò)圖片+文字描述生成視頻。由于文字控制的自由度過(guò)高，隨著視頻時(shí)間的增加，視頻內(nèi)容的質(zhì)量目前很難保證（且隨著AI模型對(duì)視頻內(nèi)容記憶的增加，視頻生成將消耗大量的硬件資源），目前適用于制作5秒以內(nèi)的短視頻（動(dòng)態(tài)圖），作為靜態(tài)圖片的延展。

但人類對(duì)于AI的幻想從來(lái)都不會(huì)局限在僅僅幾秒的時(shí)間內(nèi)。Runway在8月推出了Watch功能，展示了分鐘級(jí)別的作品，目前已有60多個(gè)作品。雖然中長(zhǎng)視頻制作的功能暫未開(kāi)放，但已有的作品為我們展示了AI在未來(lái)的可想象性。

以下視頻是Runway的Watch功能里片段，除了人物鏡頭拉遠(yuǎn)后身體細(xì)節(jié)會(huì)出現(xiàn)一些扭曲外，視頻整體的質(zhì)量已經(jīng)相當(dāng)不錯(cuò)。

三、素材合成

通過(guò)文字描述在已有的素材庫(kù)中選擇合適的視頻及圖片素材進(jìn)行匹配，文字描述將作為字幕展示，再選擇音色對(duì)字幕進(jìn)行配音。這種應(yīng)用方式從視頻的角度是生成，而從素材的角度更多是進(jìn)行合成。由于素材是從已有素材庫(kù)提取，故視頻質(zhì)量相對(duì)可控。適用于素材較多的視頻制作場(chǎng)景。

以下是通過(guò)剪映文字成片功能制作的視頻片段，視頻內(nèi)容整體的流暢度與文字描述關(guān)聯(lián)較大，但有部分素材與文字描述不符，受限于素材庫(kù)的素材量。

四、未來(lái)展望

從目前的產(chǎn)品形態(tài)以及生成質(zhì)量上看，AIGC在視頻生成領(lǐng)域的發(fā)展，還遠(yuǎn)未達(dá)到批量消費(fèi)級(jí)內(nèi)容生產(chǎn)的階段。受限于機(jī)器資源、內(nèi)容豐富度、使用場(chǎng)景等因素，視頻生成能力還需要經(jīng)過(guò)很長(zhǎng)時(shí)間的打磨。

在未來(lái)，集成了三類視頻生成能力的工具可能會(huì)推動(dòng)AI生成視頻走向消費(fèi)級(jí)別。我們可以先定義好人物形象、聲音、動(dòng)作，再?gòu)乃夭膸?kù)檢索并添加已有的素材，最后根據(jù)文字描述決定故事情節(jié)的走向?；蛟S有一天，所有人都可以成為一名AI電影導(dǎo)演。