最近，Skywork AI 的研究团队推出了一种名为 SkyReels-A2的全新视频生成框架，标志着可控视频生成技术的新高度。这个名为 “元素到视频（E2V）” 的框架可以根据文本提示，将各种视觉元素(如角色、物体、背景)合成自然的视频，并且能够与参考图像保持高度一致。

SkyReels-A2的核心在于其复杂的数据处理流程。研究团队设计了一条全面的数据构建管道，以生成包含提示、参考图像和视频的三元组，从而为模型训练提供数据支持。其生成过程通过两个分支进行:空间特征分支和语义特征分支。空间特征分支利用细粒度的变分自编码器（VAE）来处理每个组成元素，而语义特征分支则利用 CLIP 视觉编码器提取更深层次的语义信息。这种双管齐下的策略确保了生成视频既符合文本提示，又能够保持各个元素之间的自然衔接。

除了保证视频内容的多样性与高质量，SkyReels-A2还优化了推理过程，以提高生成速度和输出稳定性。这使得用户可以更快地创建出专业水准的视频内容。SkyReels-A2不仅是一款开放源代码的商业级模型，它的出现也为影视制作和虚拟电商等领域提供了巨大的创作潜力。

最后，研究团队还推出了一套系统的评估基准 A2Bench，旨在全面评估生成视频的质量。这一基准不仅考虑了自动评测指标，还包括用户的主观评价，从多个角度真实反映了 E2V 任务的效果。

SkyReels-A2无疑是一个改变游戏规则的工具，期待它在创意应用领域的广泛应用，助力内容创作者突破现有的技术瓶颈，实现更富想象力的创作。

项目地址：https://ift.tt/oVyhFpN