您现在的位置是:热点 >>正文
连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班
热点76505人已围观
简介...
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
我们在打游戏、看动漫的时候,遇到过不少这样的情况:
感觉哪里不太对……
现在,这些3D人体模型可以得到改进了~体态更逼真、褶皱更连肌自然、肌肉更饱满:
连情绪都显得更投入了……
甚至肌肉颤动也清晰可见:
这么一对比,差距很明显了~
不仅动画质量更高,这种新方法还大量减少了人工参与,制作速度更快了。
要知道,以前的动画需要繁琐的步骤,比如:搭建骨骼、蒙肉颤皮、刷权重等等……动画师往往要为此修炼数年,效果还常常不尽人意。
现在,只需一个神经网络就能搞定。
不仅如此,它还可以从形象中预测骨骼,并绑定权重,更容易地用运动捕捉来制作动画。
这一研究成果,由北京大学、北京电动都影学院等高校和机构合作完成。
相关论文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上发表,代码现已开源。
提出神经融合形状技清晰术
团队开发了一套神经网络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。
它由两个部分组成:包裹变形分支(envelope deformation branch)和补偿变形分支(residual def可见ormation branch)。
其中,包裹变形分支通过间接监督,学习由偏移量组成的特定骨架层次的装配参数,最后从输入角色中预测出骨架、蒙皮和权重绑定。
你可能会说,常用的动画制作工具Mixamo中,也有绑定和蒙皮!3。
但是新方法能做的不只这些,它还可以准确预测与模型高度匹配的骨骼,并绑定权重。
从而更容易进行动作捕捉,制作动画:
并且,利用一种神经融合形状(neural blend shapes)技术,补偿变形分支可以根据输入的D人网格连接,来预测对应的融合形状(blend shapes)。
与此同时,根据关节旋转预测融合系数,然后基于此插值得到补偿变形。
比如,神经混合形状会纠正肌肉的形状,准确保留鼓起的肌肉:
与LBS(线性混合蒙皮)算法的体模效果相比,细节处理得更好:
与三维动画制作软件Blender的效果对比:(小肚腩被完美保留了)
除此之外,研究团队还对神经混合形状系数进行了可视化,可以看到左侧输出的形象,与右侧相应的姿势绑定。
并且,通过颜色型自变化,表现各关节的混合形状系数激活程度。
利用这一方法,神经网络只需观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方法有任何限制,极大扩大了适用范围。
最终实现了,实时、高质量的三维人物模型动动生画端到端自动生成。
一作来自北大图灵班
团队由来自北京大学陈宝权教授研究团队、北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学,以及苏黎世联邦理工学院的研究人员组成。
论文一作成算,是来自北大图灵班的一名本科生——李沛卓。
他毕业于重庆一中,曾入选信息学竞赛省队,2017年高考以687分考入北大。
目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大学视觉计算与学习实验法,室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。
此前,他已有论文登上SIGGRAPH。在与量子位交流时,他曾表示对图形学特别感兴趣。
论文的更多细节,感兴趣的小伙伴,可以戳链接了解详情。
项目主页一作:
https://peizhuoli.github.io/neural-blend-shapes/
论文地址:
https://peizhuoli.github.io/neural-blend-shapes/北大papers/neural-blend-shapes-camera-ready.pdf
Tags:
相关文章
谷歌以超低价向美国政府提供 AI 服务,促成行业竞争新格局
热点近日,谷歌宣布将加入到与美国政府的 AI 服务折扣竞赛中,推出针对政府机构的特惠方案,价格仅为每个机构0.47美元。这一举措让谷歌在与 OpenAI 和 Anthropic 等竞争对手的较量中抢占了先...
【热点】
阅读更多标签: 阿里巴巴 阿里云 李飞飞 通义实验室
热点云梦级4月8日云梦级消息,4月8日,阿里巴巴集团CEO吴泳铭发布全员信,集团AI相关迎来组织大调整。包括新设立集团技术委员会,通义实验室升级为事业部等。 根据内部信,李飞飞出任阿里云CTO,吴泽明(范...
【热点】
阅读更多标签: 星思半导体 5G基带芯片 6G通信 卫星通信
热点云梦级2月6日云梦级消息,国产5G/6G通信基带芯片企业上海星思半导体有限公司(以下简称“星思半导体”)近期完成了多轮战略融资,累计金额近15亿元。 资料显示,星思半导体成立于2020年,主要聚焦5G...
【热点】
阅读更多