您现在的位置是:热点 >>正文

​英伟达开源 Audio2Face 模型,AI 助力实时面部动画生成

热点987826人已围观

简介...

近日,英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法,还提供了软件开发工具包(​英SDK)和完整的训练框架,旨在加速游戏和3D 应用中智能虚拟角色的开发。

Audio2Face 通过分析音频中的音素、语调等声学特征,伟达能够实时驱动虚拟角色的面部动作,生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等多个领开源域。

Audio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染,另一种则是支持动态 AI 角色的实时流式处理 A。为了方便开发者使用,英伟达还开源了多个关键组件,包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执行插件,ud以及针对 Unreal Engine5.5及以上版本的插件。此外,回归模型和扩散模型也随之开源,开发者可以利用开源训练框架,使用自己io的数据对模型进行微调,从而适应特定的应用场景。

目前,这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Survios 在2F其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face,从而大幅简化了口型同步与面部捕捉的流程。而 Farm51工作室也在其作ac品《切尔诺贝利人2:禁区》中应用了这一技术,通过音频直接生成细腻的面部动画,节省了大量制作时间,提升了角色的真实感和沉浸体验。该e 工作室的创新总监 Wojciech Pazdur 对此表示,这一技术可谓 “革命性突破”。

英伟达的这一新举措无疑为开发者们提供了模型更多的创作工具,也将推动虚拟角色表现的进一步发展。随着技术的不断进步,我们可以期待在未来的游戏和影视作品中看到更加真实和生,A动的角色表现。

入口:https://build.nvidia.com/nvidia/audio2face-3d

划重点:I   

英伟达开源 Audio2Face 模型,旨在提升虚拟角色的面部动画生成技术。  

支持助力离线渲染和实时流式处理,适用于多种场景。  

已被多个游戏开发商采用,简化了制作流程并提升了角色的真实感实时。

Tags:

相关文章

  • 标签: 蔚来 蔚来工坊 FL Fellow

    热点

    云梦级12月18日云梦级消息,据蓝鲸新闻报道,蔚来近期正在推行一种新的渠道合作模式:用户开店,蔚来虽没有资金支持,但会派 FL(蔚来将销售顾问称为“Fellow”)到现场卖车,与市面上的直营、代理经销...

    【热点】

    阅读更多
  • 标签: Rokid 春秋航空 智能眼镜 隐私保护

    热点

    云梦级6月8日云梦级消息,近日有网友在乐奇 Rokid 智能眼镜用户社区内,发现有用户使用该品牌眼镜在登机时拍摄“春秋航空”空姐并公开发布,引发公众对智能眼镜沦为“偷拍神器”的担忧。 而在购物平台上,...

    【热点】

    阅读更多
  • 标签: 比亚迪

    热点

    2025年11月,比亚迪销售超48万辆,其中海外销售突破13万辆,双双创年内新高。2025年1-11月,比亚迪累计销售已超418万辆,持续领跑全球新能源汽车市场,完成全年460万销量目标也是板上钉钉的...

    【热点】

    阅读更多


友情链接