當內容產業開始進入AI模型化階段,大家拼的不僅是流量,也是數據、算法和核心創意。我們面臨的挑戰不僅是某種技術的變革,也是思維和意識的轉型。
■ 潮聲 | 執筆 謝丹穎
人工智能(AI)推動視頻生成技術又邁出新的一步。
不久前一條發布在社交媒體平臺的AI視頻中,角色集體開口戲謔:“我們不過是0和1的排列組合?醒醒吧,伙計。”
讓它們“開口說話”的是美國谷歌公司在今年5月發布的視頻生成模型Veo 3。其最大的特點是在視頻中融合音頻,直接生成話語流暢、口型自然的人物,且自帶符合場景特征的音效。而此前,AI視頻一直是默片,需要后期配音,再借助工具讓角色嘴唇動作看起來合理。
2022年以來,以ChatGPT聊天機器人程序為代表的生成式人工智能引發社會關注。行業像被按下了快進鍵,幾乎每個月都有相關熱點出現。相比之下,視頻生成技術在最初一段時間里不溫不火。不過,歷經近3年的發展,AI視頻已逐漸從最初類似PPT、動圖的形態,進化至能夠直接產出合理視頻。基座模型能力的迭代,帶來了畫面真實感、視頻情緒度和流暢度的提升,影響面不斷擴展,滲透性持續增強。
如今,學界、業界已在眺望AI視頻迎來“技術奇點”的時刻。我們該如何理解視頻生成模型的核心突破意義?它又會給人們生產生活帶來什么影響?
忽如一夜春風來
2023年初,AI生成視頻與生成圖像,幾乎在同一時期進入公眾視野——英國人工智能公司Stability AI的“穩定擴散模型”(Stable Diffusion)帶火了“文生圖”,美國人工智能公司Runway的視頻生成模型“Gen-1”則是激起了“人人都能制作電影大片”的無限遐想。
彼時,“穩定擴散模型”用時數月,讓AI生成的圖像幾近照片級真實。Runway創始人不由興奮:“我們已經看到了圖像生成模型的爆發,相信2023年將會是視頻之年。”
然而,圖像生成模型的成功并沒能引發AI生成視頻技術的迅速成熟。
起初,AI視頻主要分為兩條技術路徑:或是與“文生圖”的技術一脈相承,著重“還原呈現”,打上“擴散模型”(Diffusion Model)的烙印;或是沿用ChatGPT的技術脈絡,采用“自回歸模型”(Autoregressive Model)方法,講究“邏輯推理”,靠大參數、大數據,從零開始構建模型體系。
“走純粹的‘自回歸’路徑,至今尚未出現很好的產品。”浙江大學藝術與考古學院副教授沈華清說。同時,他認為使用更普遍的“擴散模型”缺陷也明顯。
沈華清自稱“無門無派、興趣廣泛的教書先生”,從“好奇嘗鮮”變成“深度沉迷”。沈華清類比幀動畫原理,向記者解釋“擴散模型”的技術難點:“按最低的24fps(幀/秒)算,5秒的視頻需要120張圖。每張圖間都要保持相互的人物一致、動作連貫,連光影的斑駁細節都不能穿幫——這相當于讓120位畫家同時畫同一幅畫,每一幅每一筆都要嚴絲合縫。”
的確,靜態圖像生成只需解決“是什么”的問題。視頻卻要在此基礎上,在回答“如何變化”命題的同時,保證主體的統一以及符合常識的運動。2023年底,與美國人工智能初創公司Midjourney同名的“文生圖”工具已經能生成以假亂真的圖像。同期,美國AI初創公司Pika Labs發布的AI視頻產品Pika 1.0還局限在風格特定的3秒片段上。
沈華清回憶起那段使用經歷,即便先用“文生圖模型”生成了不錯的分鏡圖,再通過“圖生視頻模型”拼接成片,但在最終呈現的幾秒視頻里,人物總是畸形、畫面常有畸變,“這哪是人在動,分明是算法在抽搐,看得人脊背發涼”。
生成視頻技術始終“小步快走”,沒有根本性的突破。就在大家快失去耐心時,時間來到2024年2月:美國開放人工智能研究中心OpenAI繼ChatGPT后,發布“文生視頻模型”Sora。
這一全新模型用ChatGPT背后的神經網絡架構Transformer替換傳統“擴散模型”中的卷積U-Net網絡,迭代出一條新路徑DiT(Diffusion Transformer)。如此,Sora可以精準根據文本指令,生成最長為1分鐘的高清視頻,畫面逼真、絲滑連貫。
業內有人稱:“AI視頻的‘GPT時刻’,來了。”
忽如一夜春風來。眼下,騰訊“混元”、華為“諾亞”……各家廠商在大模型領域謀局落子,可謂“神仙打架”。其中,又以擁有海量視頻數據的字節跳動、快手增勢最為迅猛,其分別在2024年3月、6月推出“即夢”和“可靈”,迅速躋身AI視頻產品的第一梯隊。
一位技術人員笑稱,這條新路徑似乎達成了一個“成年”模型的“既要又要”——用大語言模型里學到的世界知識來幫助生成視覺世界。“視頻就這樣成了從大模型根上生長出來的一項功能,上升軌跡飛快。”
但即便是Sora問世一年后的今天,一鍵“文生視頻”仍難有良品。“畢竟,語言是高度壓縮的信息。”沈華清說,一千個讀者眼中尚且有一千個哈姆雷特,將抽象文字直接轉為具體的時空連續體,這對算力和工程化的要求實在太高,“不是誰都能做的,也不是在短時間內就能做好的。”
是助手,更是共創者
令人振奮的AI技術革新終歸要落地產業,才能產生實際價值。
一位技術人員告訴記者,不同于此前大模型簡單直接的“文本輸入—文本輸出”交互邏輯,視頻生成技術因視覺模態的復雜性,用起來要棘手得多。而“能用”與“好用”之間,又橫亙著訓練數據、算力、成本控制等多重障礙。
眼下,單個的AI視頻生成工具還處在“宣傳視頻都很好,但實際一點都不好用”的階段。
“套用多種工具很有必要。”中國傳媒大學導演系科班出身的羅翀,拍過豆瓣8.3分傳記式宣傳片、拿過中國紀錄片學院獎。今年年初,他從杭州某大廠離開,轉型自由AI導演。在制作多個商片的過程中,他迅速摸到了生成視頻的一條路子。
羅翀介紹,不同視頻生成模型的優缺點各異。比如,快手的“可靈”強在對多鏡頭、物理規律的理解;美國人工智能公司Runway的模型性價比更高,生成速度更快。
但他也告訴記者,基于AI生成產品的不穩定性,即便經過多種AI視頻制作工具的多次打磨、篩選,還是需要借助PS等編輯軟件再進行微調,才能得到更滿意的結果,以生成“完全可以和傳統商片掰掰手腕的成品”。
“雖然缺少故事線,但未來,意識流的賽博視頻或將成為一個門類。”羅翀說,自己仿佛遇見了共創者,“我負責想象、嘗試,AI負責調整、展現,降本增效的同時,極大地拓寬創作的自由度。”
院線影視講究起承轉合,質量要求更高。但在浙江,利用AI制作的視頻仿佛距離“院線水準”不算太遠。一家老牌影視企業,便提供了可供分析的落地樣本。
第27屆上海國際電影節啟幕前夕,浙江博采傳媒有限公司一條3分鐘創意短片《兩代悟空對戰》,在B站傳播量近百萬。網友紛紛贊嘆所用技術之精妙——無論是六小齡童飾演的86版美猴王,還是網游《黑神話:悟空》的天命人,“大圣風采依舊”。
記者也去湊了個熱鬧。在湖州市德清縣博采AI虛擬影視基地,導演的監視器中,兩代悟空對戰正酣,遠處宮殿群光影流動。但現場,只有兩位動捕老師,拿著特殊棍棒,在一塊“空地”“打”得激烈,無論是角色樣貌、服飾,還是建筑、云霧,都是LED顯示屏“附上”的畫面。工作人員用鼠標一點,切換只在分秒間,演員置身其中,畫面真假難辨。
“單靠AI,肯定跑不出這樣的片子。”博采傳媒研發中心總監王偉東告訴記者,《兩代悟空對戰》融合了影視行業所用的4D掃描、Holo身體掃描、LED拍攝等技術,“我們稱之為‘虛擬制片’。”據他介紹,團隊專門開發了一套虛擬制片管理軟件Kmoke,融合各類AI工具,“效率直接提高了3倍、成本起碼節省了三分之一。”
博采傳媒總裁辦項目統籌牛聰說,在電影創作中,相比導演和制片,AI其實是做好了一份助理的工作——通過AI實時預演,讓創意的好壞“盡在眼前”;傳統影視的各個環節也從“線性等待”轉為“動態協同”,無論是調整劇本還是場景,在AI的“協同”下都能更高效完成。
“今年,我們引入AI大模型,繼續迭代一整套AI創作系統‘墨客’,實現連貫性的劇本創作,并產出精準可控的視頻。”牛聰坦言,針對現在AI視頻像素細節不夠的問題,“通過改進的AI增分技術,分辨率能從720p躍升為5K,直接達到電影放映級畫面質量。”
拉平起始點,重新競爭
在一份技術報告中,美國開放人工智能研究中心OpenAI對AI視頻的定義是“世界模擬器”。這個遠景表明,AI視頻有潛力成為一種通用人工智能,理解世界、改變世界。
這種顛覆性在技術細節中確有顯露。有從業者根據Sora產品表現出的不錯的“3D一致性”,推測它或許能通過參數的再疊加,沖破智能閾值,觸摸到對世界完整理解和創造的邊界。
“大力出奇跡”真能無往不利?學界對此的質疑聲也不少。
北京通用人工智能研究院院長朱松純曾明確:過去,“大數據+大算力+大模型”的思維定式,過度簡化了通用人工智能的復雜性。美國互聯網公司Meta人工智能研究負責人楊樂昆更是直言:“生成式模型是建立世界模型的死胡同,通過生成像素來模擬世界的動作,既浪費又注定失敗。”
實踐也證明,AI視頻實現如此“暴力美學”的代價極高:運行一個動輒超百億參數規模的視頻生成模型,尖端顯卡要“跑”數十秒甚至數分鐘,才能制作一個一分鐘、分辨率高達1080p的視頻,算力成本高昂得驚人。
不可忽視的還有生成式AI的固有癥結——“幻覺”。“0.8<0.09”的數學對答、四條腿的螞蟻圖、在跑步機上倒著跑的人——這些都是AI制作可能導致的可笑錯誤。它沒有自主意識,對現實世界“知之甚少”,擅長計算卻拙于糾錯。北京大學新聞與傳播學院教授胡泳坦言,這類低級錯誤或許會在技術的迭代中減少,但永遠無法徹底修復,失敗風險始終存在。
技術障礙外,高質量訓練數據又從何而來?一如ChatGPT問世引發的深度造假、版權侵權、隱藏偏見等法律倫理爭議,AI視頻同樣繞不開這些熟悉而嚴重的“老問題”。
但不可否認,AI視頻正加速被市場接納,其價值與影響力持續攀升。《2025中國廣告主營銷趨勢調查報告》顯示:今年4月,超50%的廣告主已將生成式AI納入創意生產,AI營銷內容占比超過10%。
同期,美國電影藝術與科學學院宣布,2026年第98屆奧斯卡金像獎將正式允許AI參與創作的電影參評。這標志著AI正式進入主流評價體系。但評審標準中,“將綜合考慮人類創作者在創意創作過程中所發揮的核心作用,來決定最終的獲獎者”的微妙表述,也暗示著人類藝術本質的不可替代性。
AI視頻正處落地的“中場哨”階段。熱潮過后,玩家紛紛沉下心來,打磨產品的基礎能力、拓寬模型的適應邊界、重構與用戶的長期關系。
可以確定的是,AI正成為創作的基底。正如快手聯合創始人程一笑將“可靈”定位為“更多行業創作的新基礎設施”,AI將拉平所有人的起始點。
“我們不要放大,也不要低估AI的影響。”5年前,沈華清將AI帶入課堂,鼓勵學生借助工具,在學習與創作中嘗試拓展、延伸、融合。他認為,在這個技術愈發平權的時代,競爭已轉向快速捕捉創意并落地的能力,考驗的是使用者的積累——“擁有審美、分析、判斷能力,成為跨領域、跨學科的融合通才,是AI時代的新要求”。