文丨胡镤心
编辑丨张睿
【亿邦原创】在波涛汹涌的大海中,上古神灵悉数登场,渔村少年李行舟漂洋过海,打蠃鱼、斗共工、抢水神戟、游深海、救人鱼、战九婴,最后带着母亲与村民涉海回家。
这是一个以《山海经》为背景的少年历险玄幻短剧——特别之处是,其中的主角、配角、异兽、奇景全部由AI生成,剧情也全部由文生图、图生视频的方式完成,但其效果不输电影CG特效,自7月13日在快手上映以来,播放量超600万。
当短剧的热风从去年吹到今年,新生产方式的出现将为这股热风再添一把火。
艺恩数据则预测,2023年短剧用户规模超5亿,短剧市场规模近400亿,接近电影市场体量70%,五年内市场规模有望突破千亿元。借助AI大模型视频生成能力,短剧的生产速度在加快,以往三个月的制作时间现在只需要半个月,短剧的题材也在拓展,玄幻、科幻、穿越等主题的内容越来越多。
这背后来自AI视频生成模型的快速发展。自从年初Sora爆火,国内市场也出现了大量AI视频生成模型:抖音的即梦AI、快手的可灵AI、爱诗科技的PixVerse 、美图的WHEE、清华大学联合生数科技共同发布的Vidu、智象未来推出的Pixeling、右脑科技的VegaAI……所有镜头均由AI生成的短剧正是大模型应用的核心场景。
大模型给短剧行业带来哪些可能性?AI短剧能否成为独立赛道?当下AI与短剧的结合还有哪些制约?亿邦动力采访了短剧导演、平台负责人、AIGC创作者等,试图回答这些问题。
01
AI短剧,打开进入奇幻世界的新方法
不妨先来感受一下AI短剧的画面效果。
“鱼身而鸟翼,音如鸳鸯,见则其邑大水”的蠃鱼:
借鉴了《红楼梦》的风月宝鉴,也是《山海奇镜之劈波斩浪》中的“镜”:
大反派九婴, “其状如牛而龙尾,九首,能喷水吐火,其音如婴儿,见则其邑大水”:
《山海奇镜之劈波斩浪》在影院播放时,大屏幕上的大特写细致逼真——大海时而波涛如怒,时而悠远浩荡,异兽动辄遮天蔽日,狰狞凶残,上古神灵或动或静,丝滑流畅,老者沧桑的眼神和少年挣扎的表情,在大屏幕上纤毫毕现。
尽管导演陈坤一再指出,AI在视频生成过程中,长于奇景、异兽的生成,不善于人物表情、人物互动的生成,但《山海奇镜之劈波斩浪》中的人物面部特写依然扛得住大屏幕。
导演陈坤(AKA闲人一坤)是一名从业二十余年的传统影视人,目前转型AI影视,这是他推出的第一部AI短剧,所有镜头均由快手的可灵AI生成。
他介绍,《山海奇镜之劈波斩浪》立项于2023年12月,第一版完成于2024年5月,但团队对效果很不满意,“要么是PPT动画,要么是没法跟背景完美融合。”为此,他们尝试用ComfyUI去搭建工作流(一种基于节点的工作流程,将稳定扩散的流程分解成多个节点,实现精准定制和可靠复现),甚至考虑过绿幕动捕转绘,但不论如何抽卡、剪辑,总是达不到理想的效果。
6月7日可灵AI上线后,陈坤成为第一批试用者。在可灵AI完成的第一批镜头中,有一幕是水神共工从山中站起来,仅通过图片和提示词,共工完成抬头、挺胸、起身、站立的流畅画面,其中肌肉紧绷、头发飞扬、山石崩裂,效果逼真。“这个镜头非常符合我们的提示词要求,也非常符合物理定律的,不像以前的参数微调,看到这个效果,我就意识到这是颠覆性的。”陈坤回忆。
基于这一效果,陈坤决定所有镜头全部由可灵AI重新生成,然后再重新剪辑,重做音乐。“镜头重新生成加重新剪辑,我们团队一共十几个人,半个月做完。”陈坤介绍。
最近在抖音上线的科幻短剧《三星堆:未来启示录》则使用了抖音的即梦AI,由抖音联合博纳影业AIGMS制作。
这部科幻短剧,不仅有机甲斗法、末世灾难,主角团还穿越到中国古代,在竹海环绕的中式庭院中,与高冠博带的古蜀国人,一起揭开青铜神树的秘密,探索文明兴亡的奥秘。
《三星堆:未来启示录》立项于2022年,筹备于2023年底。博纳影业制作总监、博纳AIGMS制作中心负责人曲吉小江表示,以最快速度推出该剧的目的之一,就是让行业看到目前AI技术的极限是什么,未来的可能性在哪里。
“当下的观众对AI影视内容其实是充满了好奇和期待的。”曲吉小江发现,目前,一个由AI创作的短视频片段,一经发布就能获得百万流量的加持。观众还是期待看到更震撼的视觉效果和更智能的观影体验。
截止目前,《山海奇镜之劈波斩浪》更新4集,在快手播放量677.3万,《三星堆:未来启示录》更新9集,在抖音播放量1942.1万。
除了抖音、快手的积极布局,6月底,由中央广播电视总台影视剧纪录片中心制作的三部AI微短剧《英雄》、《爱永无终止》、《奇幻专卖店》在央视频上线。
· 《英雄》:讲述一个普通人“大胖子”跨越时空界限,与西汉名将霍去病并肩战斗的成长故事。
· 《爱永无终止》:通过AI+真人,讲述了一名年轻人使用AI技术创造出意外去世的父亲影像,借此来抚慰奶奶心灵的温馨故事。
· 《奇幻专卖店》:科幻萌宠主题,通过AI生成的虚拟人物和动物,讲述了一个寻找与被寻找、爱与被爱的故事。
此外待播短剧还有:
《西西里的美丽传说》:悬疑+爱情,主角穿梭古今,逆风翻盘。
《如果AI》:科幻+文旅,提出了关于人工智能发展、现实与虚拟的边界、人类情感复杂性以及希望与绝望之间对峙的故事。
《大宋喵喵志》:奇幻+搞笑,围绕拥有远大抱负的现代猫咪与宋代书生的搞笑生活展开,以宠物的生活视角结合宋朝的社会风貌。
可以看出,AI短剧倾向于科幻、玄幻等内容题材。“因为这两条赛道在传统影视制作中,受制于CG特效的高成本和长周期,观众需求强,但供给较弱。AI短剧在该领域最容易发挥优势并受到观众认可。”陈坤指出。
同时,“中国文化”也成为AI短剧关键词——深厚的历史积淀,悠久的志怪传奇,自带的文化号召力,丰富的文化母题和神秘元素,也给短剧行业带来高质量的内容增量。
02
视频模型群雄逐鹿,AI短剧等来临界点
AI短剧背后,是今年能力突飞猛进的视频生成模型。
据博纳影业AIGMS公众号,《三星堆:未来启示录》定制化的工作流程为:
AI创意与文本创作:大语言模型(LLM)
视觉概念及分镜设计:变化模(Transformer Model)、文本到图像生成(Text-to-Image Generation)
镜头画面生成:扩散模型(Diffusion Models)、生成对抗网络(GANs)、风格迁移(Style Transfer)、深度学习(Deep Learning)
图像质量增强:超分辨率技术 (Super-Resolution)
图像到视频转换:时序生成模型 (Sequential Generative Models)
视频编辑和媒体内容增强:自动视频编辑算法 (Automated Video Editing Algorithms)
文本到语音合成:语音合成技术 (Text-to-Speech Synthesis, TTS)
文本到音乐创作:音乐生成AI (Music Generation AI)
在《三星堆:未来启示录》看片会上,即梦AI相关负责人表示,此次合作过程中,即梦AI改进了“视频生成”的功能,包括支持24fps、30fps、60fps的补帧以及二倍超分的能力,新增镜头水平移动、上下移动,支持镜头移动的方向和幅度控制等。
2024年被视为“视频模型元年”,年初Sora炸场(点击阅读《Sora爆火,AI电商打开新世界的大门》),引发全球AI视频风暴,海外Runway、Pika、Luma斗法,国内互联网大厂和独角兽公司齐上阵,学习Sora的DiT架构,增加首尾帧控制、镜头控制、运动控制等功能,提升视频生成时长和质量。
“去年8月份,Runway带火了Diffusion +UNet架构,全球上百家视频生成公司开始用这个架构。今年Sora带火了Diffusion+Transformer架构,现在国内DiT架构大概六七家,年底估计能跑出二十多家。”运营AIGC创作者社区的宋东恒观察到。
“目前的视频模型处于群雄逐鹿状态。Runway出了一个Motion Brush(运动笔刷,用于视频内容控制),PixVerse也上一个Magic Brush。一个模型率先推出高清功能,立马会有其他同行跟进。每一个工具都在拼命往前追赶,想给创作者更多的一些工具。”陈坤指出。
此前,AI视频模型多用于电商素材营销(点击阅读《AI视频爆发!一天10万条,冲进抖音快手小红书》),随着短剧爆火,AI视频模型也大举进入短剧领域。
在创作者看来,AIGC不仅能降本增效,还能创作“不可能”。
宋东恒观察到,在制作成本普遍为几万到几十万每分钟的动画番剧中,AI可以帮助创作者制作同样的内容,将成本降低十分之一。
宋东桓尝试用3D辅助+DiT首尾帧,可以实现转绘之外另外一种低成本精准控制画面的效果,而且比之转绘还更灵动。“创作者不需要会做动画或动捕,只需要会做参考图,就可以作出视频,这进一步降低创作者的创作门槛。”
宋东桓通过“3D辅助+DiT首尾帧”制作(受访者提供)
曲吉小江认为,AI还能够创造全新的观影体验,比如将电影变成互动形式,观众可以在观看过程中做出选择,决定故事的发展方向。还可以让剧中角色返老还童,生成高度逼真的虚拟角色,为创作带来更多可能。
不过,对于创作者来说,他们的创作依然受限于当下的技术上限。
陈坤提到,目前AI技术的不足包括:人物一致性、场景一致性、人物表演、动作交互和运动幅度。“因为技术限制,我们没有去讲一个很复杂的故事,也没有把很多人物表演融进去,不是编剧写不出,是在目前技术条件下还做不好,我认为不适合呈现一个非常复杂的故事,容易让大家看不懂。”
“我们是在技术极限处反复横跳。”陈坤分析,“但很多人看到的是不完美,我看到的恰恰是无限的可能。”
03
AIGC+短剧,撑起平台半边天
“在快手上,每日观看10集以上的重度短剧用户数达9400万,短剧供给严重不足,我们也想提升产能,方法有两种:一种是增加创作者,一种是提升创作者生产效率。”在《山海奇镜之劈波斩浪》看片会上,快手文娱业务负责人陈弋弋表示。
快手曾披露,2023年快手短剧日活跃用户数达2.7亿,日均消耗时长2小时,短剧内容创作者10万以上,播放量过亿的短剧300多部。抖音官方数据显示,2023年抖音播放量破亿的微短剧达500部,其中12部作品的播放量破10亿,微短剧日播放量增长了一倍。
《山海奇镜之劈波斩浪》和《三星堆:未来启示录》两部剧作为试水之作,不仅要给短剧赛道增加新内容,也要给创作者提供新工具,提高生产力。
科幻、末日、上古传说等新题材和新表现手法,为短剧发展带来新的创作灵感和内容增量。《西西里的美丽传说》导演徐卓认为,随着观众群体的扩大和审美需求的提升,不仅要求题材和故事创新,更需要专业化的表现手法。有了AI的助力,微短剧的制作水准将得到全面提升。AI技术将开启微短剧3.0时代。
除了增加题材种类,今年年初,快手短剧还尝试了创意玩法,利用AIGC工具的实时互动、沉浸性特点,激发用户互动兴趣,吸引超20万用户的参与。收到良好反馈后,快手在3月举办的第十一届网络视听大会上,提出“微短剧+AI”的理念,以智能、高效的技术能力重塑星芒短剧的内容力。
相比于2023年短剧市场的井喷,2024年短剧已经开始向着规范化、精品化发展。“付费剧初期的流量红利已经消失了,长期的内容红利才刚刚开始。”有从业者表示。
经过数年发展,微短剧已经基本形成分工明确、环节完善的产业链条——上游为剧本创意、拍摄制作、监管约束;中游为内容分发,包括平台整合、买量、分销等;下游为内容消费,包括上线播出、观看以及观看后的充值消费。
但AI短剧目前还是新生事物,能不能成为一个独立赛道,陈坤、宋东恒、陈弋弋都不确定。想要成为独立赛道,内容能不能规模化,用户是不是爱看,有没有商业模式,这些都有待验证。
AI短剧的商业模式也和传统短剧一致,包括广告营销、付费充值、版权分账和电商带货四种方式,其中面向B端的广告营销和面向C端的付费充值是微短剧最主要的变现来源。to B的品牌定制、广告植入、IP合作都是成熟的商业模式,C端市场则需要爆品,“现在万事俱备只欠东风,只差一个爆款作品把到C端消费的路径打通。”宋东桓说。
曲吉小江认为,如果剧集能够实现破亿的播放量,就摸到商业化的门槛。第二季可能会走付费模式,未来AI技术足够成熟之后,也有可能将AIGC作品搬到大荧幕。
陈坤也表示,首部AI短剧只是一个探索,暂时不考虑挣钱。未来如果和可灵AI合作第二部、第三部微短剧,可以一起去探索一些新的商业化路径。
文章来源:亿邦动力