技術趨勢:視頻生成正在由檢索生成、局部生成走向依靠自然語言提示詞的全量生成,生成內容更加靈活豐富,應用空間廣闊
檢索生成主要是對現(xiàn)有的視頻素材根據(jù)關鍵詞和標簽進行檢索匹配,再進行相應的拼接和排列組合
特點
1 采用傳統(tǒng)的跨模態(tài)視頻檢索技術,通過視頻標 簽的或者視頻語義理解的方式從數(shù)據(jù)庫中的檢 索,再將這些素材進行剪輯、組合拼接在一起, 本質上還是鍵值對匹配的邏輯
2 例如短視頻平臺的知識類視頻、解說類視頻, 通過文本關鍵字在數(shù)據(jù)庫中進行素材檢索,然 后在進行拼接組合生成
3 創(chuàng)意空間有限,沒有貢獻增量素材,但成本極 低,生成速度極快
僅針對視頻的一部分進行生 成,例如視頻中人物角色、 動作、背景、風格化、特殊 效果等
特點
1 采用傳統(tǒng)的計算機視覺(Cv)、計算機圖形學 (CG)技術,但生成功能有限,主要是一些局 部的垂點功能
2 例如效果生成,在現(xiàn)有視頻上添加多種效果, 如濾鏡、光影、風格化、美顏特效等。也可以 做局部動態(tài)化,如人物的面部表情生成、搞笑 表情、爆款特效、舞蹈動作生成等
3 有一定創(chuàng)意空間,生成部分新元素,成本低但 應用的場景有限
通過文字、圖片、視頻作為提示 詞來進行憑空生成,不依賴外部 素材,核心在于大模型的能力
特點
1 采用基于Transformer或者擴散模型的大模型路 線,可以通過自然語言或者指導圖進行全局生成 (但也可以嵌入已有內容),視頻的內容、風格、 長短、分辨率、寬高比都可以進行靈活調整
2 例如生成天馬行空的創(chuàng)意視頻、藝術視頻、卡通 視頻等等,非常靈活
3 創(chuàng)意空間無限,所有的元素都是全新生成,現(xiàn) 階段成本高昂,但天花板高,應用場景廣泛
附件:AI視頻生成研究報告-由檢索生成、局部生成走向依靠自然語言提示詞的全量生成
商用機器人 Disinfection Robot 展廳機器人 智能垃圾站 輪式機器人底盤 迎賓機器人 移動機器人底盤 講解機器人 紫外線消毒機器人 大屏機器人 霧化消毒機器人 服務機器人底盤 智能送餐機器人 霧化消毒機 機器人OEM代工廠 消毒機器人排名 智能配送機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 導覽機器人 酒店送物機器人 云跡科技潤機器人 云跡酒店機器人 智能導診機器人 |