Sora复刻版出现了——
Mora，还是多智能体那种。
Sora有的能力它基本都有，比如文本转视频、扩展视频、视频编辑、视频拼接、模拟数字世界等等。
还支持生成1024*576分辨率的12秒视频。
每个agent负责特定的输入和输出，通过设置agent的角色和操作技能，团队定义了各种任务基本工作流程。
根据任务不同，采用特定的agent组合。
目前他们主要设计了六个工作流：
文本到视频生成；文本条件图像到视频生成；扩展生成的视频；视频到视频编辑；连接视频以及模拟数字世界。
最终，在各个任务中，Mora的表现都接近Sora。
团队认为，Mora作为开源多agent框架，具有一定的灵活性和效率，还能无缝集成各种模型。
但与此同时，也有一定的进步空间。比如高质量视频数据集的需求、指令遵循能力的提升、人类视觉偏好对齐等。
理海微软团队此次研究来自理海大学孙力超团队，此外还有微软研究院研究员参与。
前段时间，同样也是这个团队用37页论文逆向工程解剖Sora。
他们对模型背景、相关技术、应用、现存挑战以及文本到视频AI模型未来发展方向进行了全面分析。
感兴趣的朋友可戳下方链接：
https://arxiv.org/abs/2403.13248
https://github.com/lichao-sun/Mora |
手机版
官方微信
