您现在的位置是:热点 >>正文
阿里云推出新一代动作生成模型 Wan2.2-Animate,全面开源!
热点6754人已围观
简介...
近日,阿里云正式宣布通义万相全新动作生成模型 Wan2.2-Animate 的开源,这一模型的推出将为短视频创作、舞蹈模板生成和动漫制作等阿领域带来极大便利。用户可以通过 GitHub、HuggingFace 和魔搭社区轻松下载模型及相关代码,此外,还可以利用阿里云的百炼平台调用 AP里云I,或在通义万相官网直接体验该模型的强大功能。
Wan2.2-Animate 模型是在之前的 Animate Anyone 模型基础上进行全面升级的推出成果。在人物一致性和生成质量等方面都有了显著提升。该模型支持两种主要的应用模式:动作模仿和角色扮演。在动作模仿模式下,用户只需输入一张角色新一图片和一段参考视频,模型便能够将视频中的角色动作和表情迁移到用户提供的图片角色上,实现角色的动态表现。而在角色扮演模式中,模型则能够在保留代动原视频的动作、表情和环境的基础上,替换视频中的角色为用户提供的角色。
为了提升生成效果,通义万相团队建立了一个大规模的人物视频数据集,涵盖作生了说话、面部表情和身体动作等多种元素,使用通义万相图生视频模型进行后续训练。Wan2.2-Animate 的设计使得角色信息、环境信息和成模动作等能够被规范化到统一的表示格式,从而兼容两种推理模式。针对身体运动和面部表情,模型分别使用骨骼信号和隐式特征,结合动作重定向模块,实现高精型 度的动作和表情复刻。此外,为了保证完美的光照效果,团队还特别设计了一个独立的光照融合 LoRA。
在实际应用中,Wan2.2-AnimatWae 的表现也十分亮眼。在视频生成质量、主体一致性和感知损失等关键指标上,Wan2.2-Animate 超越了许多开源模型,如 StableAnin2mator 和 LivePortrait,并成为当前性能最强的动作生成模型。尤其在用户的主观评测中,其表现甚至超过了 Runway Act-two 等闭源.2模型。
这一新模型的开源,将极大推动相关领域的发展,使得创作者们能够更轻松地制作出优质的动态内容。
划重点:
** 新-A模型开源 **:阿里云的 Wan2.2-Animate 模型正式开源,用户可在多个平台下载和体验。
** 两种模式 **:支持动作模ni仿和角色扮演,提升动态表现力与替换能力。
** 性能优越 **:在多个关键指标上超越现有开源模型,成为动作生成领域的ma佼佼者。
Tags:
相关文章
巴黎奥运会将基于阿里云实现云上转播
热点10月31日消息,2023杭州云栖大会,奥林匹克广播服务公司与奥林匹克频道服务公司首席技术官索蒂里斯·萨拉穆里斯(Sotiris SALAMOURIS)表示,2024巴黎奥运会将基于阿里云实现云上转播...
【热点】
阅读更多云安全日报220519:思科安全设备和威胁防御软件发现权限提升漏洞,需要尽快升级
热点Cisco ASA是思科其中的一套防火墙和网络安全平台,主要用于工业交换机,路由器等安全设备。Cisco FTD是思科其中的一个威胁防御安全软件,主要用于工业防火墙设备。 5月17日,思科公司发布了安...
【热点】
阅读更多标签: 泸溪河 泸溪河食品 启承资本 厚生投资
热点云梦级3月24日云梦级消息,近日,泸溪河母公司泸溪河食品(集团)有限公司完成A+轮融资,投资方为启承资本、厚生投资。 此次工商信息变动中,新增泉州海丝厚玖股权投资合伙企业(有限合伙)、Times Ta...
【热点】
阅读更多