【亿邦原创】输入一张静态图片就能生成一段商品展示小视频；一张图片+文字描述，还能按照要求一键生成高质量的5秒视频。这是阿里妈妈近期推出的“淘宝星辰 · 图生视频”工具。
“淘宝星辰”是由阿里妈妈基于自研的淘宝星辰视频生成大模型推出的视频AIGC工具，操作便捷、更懂商品的展示手法、专业的光影效果、更强的多语种语义遵循能力、稳定的人物/商品/装饰保持，这是淘宝星辰的主要特点。
视频生成是一个复杂的、系统性的算法工程。据介绍，2024年3月，阿里妈妈基于Unet Diffusion Model路线研发并上线了阿瞳木动效视频，实现了视频AIGC在电商场景的首次应用落地。但是，由于技术路线、数据等多个因素的限制，阿瞳木动效视频在画面稳定性、内容可控性、目标与动作丰富性等关键要素上，仍然存在较大的进步空间。
从去年3月至今，通过算法、数据、工程等众多团队的密切协作，阿里妈妈完成了面向生成任务的数据飞轮、自研3D VAE、自研淘宝星辰视频生成大模型（包括Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等）等多个关键模块和模型从0到1的建设。目前，Tbstar-I2V大模型已经应用于“淘宝星辰 · 图生视频”工具中，为用户提供更懂电商的图生视频功能。
“淘宝星辰 · 图生视频”不仅可以根据单张商品图，一键生成主图视频，还能在多少模特图的基础上，自行添加转场、特效和文字，快速生成吸睛的产品展示视频。同时，还可以根据多张商品图分别生成视频片段，采用剪辑视频方式制作商品短视频，配备解说、字幕等，生成商品种草视频。
淘宝星辰还针对服装行业提供一体化解决方案，只需要“模特图”或“平铺图”+虚拟模特，都能轻松生成多样化服饰视频。
目前“淘宝星辰 · 图生视频”工具仅对淘宝天猫商家开放。
文章来源：亿邦动力
