試了Runway新模型,我覺得OpenAI的Sora真的危險了
試了試 Runway 的新模型,圍觀者皆是歡呼雀躍的聲音,各種鏡頭讓人分不清是虛擬還是現(xiàn)實。Runway 的圖文視頻生成能力究竟如何,讓我們來一探究竟吧。
在今天的文章開始之前,知危編輯部想先鄭重地喊話一下 Sora:哥們,再不開放測試,這飯可就真捂臭了。因為就在今天,萬眾矚目的 Runway 終于全面開放了 Gen3 版本。這個全新一代版本的生成視頻長度,已經(jīng)從原先的 4s 飛躍到了 10s。
隨手翻一翻評論,你會發(fā)現(xiàn)全是歡呼雀躍的聲音,有的圍觀者直接甩出狠話:這就是現(xiàn)在最好的視頻 AI。
從 Runway 這條官方推文里給出的例子來看,Gen3 版本的效果確實讓人眼前一亮。各種鏡頭調(diào)度、高清的皮膚紋理、自然的人物動作,試問這下誰還能分清虛擬和現(xiàn)實?
看到這,讓人不禁替隔壁還沒開放跡象的 Sora 捏把汗。因為,在文生視頻領(lǐng)域,大家都在爭先恐后地甩狠貨出來。從 Pika,到 Luma,再到前段時間在海外大殺四方的快手可靈 AI。
此前老外為了尋求快手可靈 AI 的測試資格甚至?xí)弥形拇虺?“ 求求你了 ”這次 Runway Gen3 的全面開放,算是把大家的注意力,從可靈那邊拉回來了一點(diǎn)。
由于 Sora 尚不能測試,這次知危編輯部就拿快手可靈 AI 這個受到國內(nèi)外廣泛認(rèn)可的文生視頻模型與 Runway Gen3 進(jìn)行比較,大家可以借此看出 Runway Gen3 的效果。
測試前我們先說明一下,可靈 AI 由于出自快手之手,所以特別擅長與吃相關(guān)的畫面。而 Runway3 則是重點(diǎn)宣傳自己的真實感、想象力以及有很好的鏡頭審美。大家可以帶著兩家的特點(diǎn)進(jìn)行觀看。
首先,我們從 Runway Gen3 這個新選手的拿手項目入手,給了可以發(fā)揮電影感的關(guān)鍵句:一個孤獨(dú)的人在酒吧里喝飲料。
( 提示詞:Static, locked-off shot, Harsh, neon lights, A solitary figure sitting at a bar, Sipping a drink, staring into space, A crowded, dimly lit bar, Lonely, melancholic )還沒比出結(jié)果,Runway 就在生成時長上小勝一籌了。因為可靈生成 5s 的內(nèi)容,要花幾分鐘。
但 Runway 一分鐘不到,就做出可靈一倍時長的視頻。而且,別看它用時短,快功反而出細(xì)活。鏡頭拉近之后,男人側(cè)身并且睜開眼,一系列的鏡頭調(diào)度,妥妥的百萬制作。如果不是張嘴的特寫有些不自然,說它是某部好萊塢電影的片段,肯定能忽悠到不少人。
Runway Gen3↓
不過,作為征服過老外的存在,可靈 AI 生成效果也完全不遜色,而且,主角低頭看杯子的神情,完美貼合了【 孤獨(dú) 】的設(shè)定。
可靈 AI ↓
既然沒分出勝負(fù),那咱們再比一輪,這次給的關(guān)鍵句是:消防員在火場滅火的戲劇感。
( 提示詞:Silhouette shot,Fiery flames of a burning building, A firefighter battling the blaze, Spraying water, rescuing people,A burning building in the night, Dramatic, heroic )
到這局,Runway Gen3 的優(yōu)勢就表現(xiàn)得特別明顯了。人物剪影的鏡頭處理,和橘色的調(diào)色,讓整個畫面莊嚴(yán)又熱血。
Runway Gen3 ↓
可靈雖然生成內(nèi)容依然沒有問題,人物動作也都很逼真??墒钱嬅嫣幚砩嫌悬c(diǎn)隨意,很像熱無意中路過火場的熱心市民,拿手機(jī)隨手錄的。很真實,但是確實鏡頭美感沒有 Runway 好。
可靈 AI ↓
既然第一輪可靈略遜一籌,那現(xiàn)在讓我們調(diào)轉(zhuǎn)主場,來到可靈的主場:吃播。不過,測到這里的時候,出了點(diǎn)小插曲。知危編輯部發(fā)現(xiàn) Runway 變強(qiáng)了,但審查也變嚴(yán)了。
我本來想試試經(jīng)典老番,把威爾史密斯先生請出山,讓他為我們再嗦一次面條。結(jié)果卻被遺憾告知【 此內(nèi)容已被標(biāo)記 】。不僅是名人,連皮克斯動畫,都被列為了禁止。
沒辦法,咱們只能換個題,改做 “ 一個男人在吃面條 ”。
( 提示詞:Warm, inviting lighting, A person with a focused expression, Using chopsticks or a fork to skillfully slurp up the noodles, A casual dining environment, Enjoyable, satisfying )
到了主場的可靈 AI,果然穩(wěn)定發(fā)揮,所向披靡。效果比我第一次測試還要逼真,感覺面條的熱氣,都飄到我的臉上了。
可靈 AI ↓
到了 Rumway 這邊,果然犯了 AI 的老毛病,出現(xiàn)了面條瞬移,嘴巴錯位的問題。不過其實效果也進(jìn)步很大了,起碼知道用筷子,只可惜遇到了可靈這個吃播王者。Runway Gen3 ↓
試完吃播之后,知危編輯部還玩了很多其他肢體動作的題。甚至讓它們畫一些現(xiàn)實中根本不存在的事情,比如:讓一只羊來騎自行車。
( 提示詞:Playful POV shot, following the sheep as it rides, Warm, sunny day, A fluffy white sheep perched atop a vintage bicycle, Pedaling enthusiastically, weaving through the countryside,A winding country road lined with wildflowers, Whimsical, joyful )
實是兩邊效果都很不錯,兩只羊都蹬得相當(dāng)賣力。
Runway Gen3 ↓
可靈 AI ↓
只不過,知危編輯部測得越多,就越發(fā)現(xiàn)一個事。那就是:再強(qiáng)的視頻 AI,現(xiàn)在也攻克不了現(xiàn)實物理引擎。比如我讓它們給我打個籃球。
( 提示詞:Dynamic tracking shot, following the man’s movement, High-contrast lighting with a spotlight on the basketball, Subject A young man in stylish black overalls, Dribbling the basketball with flair and precision, An outdoor basketball court with vibrant graffiti art, Energetic )Runway 出現(xiàn)了虛空拍球,和腳下運(yùn)籃。讓人分不清打的是籃球,還是足球。
( 踢籃球可能是語義理解的原因,因為 “ Dribbling?” 也就是 “?運(yùn)球?” 這個詞機(jī)既可以用在足球上也可以用在籃球上,AI 應(yīng)該沒能區(qū)分理解 )
Runway Gen3 ↓
到了可靈 AI 這邊,畫面就更詭異了。扔出去的籃球原地分身,人也長出第三只手。
可靈 AI ↓
籃球起碼還能保證基本動作是對的,但到了碰撞、翻滾之類的處理,兩邊就抽象得都高度一致了,比如這個誰也摔不破的雞蛋。( 提示詞:The egg fell from the table and broke on the ground,Slow-motion, close-up shot, Natural light from a window, Suspenseful, anticipation building)
Runway Gen3 ↓
可靈 AI ↓
雖然都有不足,但總體體驗下來,Ruwnay3 基本還是強(qiáng)于了正當(dāng)紅的可靈 AI。在大部分情況下,能做到了官方宣傳的:夠真、夠快、夠穩(wěn)定,再加上時長這個加分項,這使得不管你有再多天馬行空的想象,它都還你一個高質(zhì)量的結(jié)果。真的讓觀者覺得,現(xiàn)實和虛擬的界限又模糊了一點(diǎn)。
( 提示詞:Navigating through a dense jungle and stumbling upon an ancient, glowing interdimensional portal, science fiction, pov. The air is thick with mystery and the sounds of exotic wildlife. As you approach, the portal pulses with an eerie light, drawing you closer to its otherworldly energy. )
Runway Gen3 ↓
不過,先別急著替 Runway 歡呼,因為這場比賽到這里還沒有結(jié)束。除了效果之外,AI 領(lǐng)域還有一個繞不開的問題,就是:商業(yè)化。之前知危編輯部就介紹過,根據(jù)國內(nèi)廠商的測算,一個兩分鐘左右的視頻,少說得砸進(jìn)去 180 塊。。
無底洞的高消耗,使得大家的視頻生成,大多都卡在 5s 左右。甚至很多家的生成效果還很抽象,完全沒有大語言模型出現(xiàn)后,遍地開花的盛況。Runway Gen3 這次雖然突破到了 10s 的關(guān)卡,但相應(yīng)的就是消費(fèi)者的費(fèi)用變高。
相比于上一代,我們掏的錢幾乎是翻倍了。如果按照月包套餐計算,基礎(chǔ)會員 15 刀每月,購買者只能拿到 625 的積分。而 Runway3 生成一秒鐘,就要消耗 10 個積分,換算下來,一條 10s 的視頻價值 2.4 刀,約合人民幣 17 塊。
大家可以計算一下,光是本文文章里展示的這些案例,總共要花掉多少錢。這件事誰也沒辦法阻止,因為這是大勢所趨,盈利是擺在所有 AI 大模型面前的問題。
所以,雖然 Runway3 實力很強(qiáng),贏了比賽。依然不得不承認(rèn),完全免費(fèi)的可靈才更有吸引力。至于 Sora,我們已經(jīng)有一種開始祛魅的感覺了,在用不到之前,都只是美麗的夢幻泡影,0 分。
本文由人人都是產(chǎn)品經(jīng)理作者【汪仔2083】,微信公眾號:【知?!浚瓌?chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
sora就是造假的。。。。