您现在的位置是:热点 >>正文
标签: HappyHorse1.0 Seedance2.0 可灵 Transformer
热点836人已围观
简介...
云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。
H: appy Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没Ha有声音的视频,再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。
而Happy Horse 1.0用一个pp统一的Transformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程里生成,不需yH要任何后期拼接。
模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分支,也没有or专门的条件网络。整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型在去噪过程中自己学se会跨模态对齐。
在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处理各自的1.输入输出,中间32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。
此外,每0 个注意力头都有一个可学习的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同Se时反传,很容易互相打架。
速度方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillaedtion v2),把去噪步数从通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算an量。再配合MagiCompiler全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒ce,256p的预览版本则在2秒左右就能出来。
同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这2.些语言的口型、语调和语音时序是和视频一起联合训练出来的,不是后期贴上去的。
Tags:
相关文章
标签: 地瓜机器人 具身智能 机器人产品 B2轮融资
热点云梦级4月8日云梦级消息,地瓜机器人宣布完成1.5亿美元B2轮融资,B轮累计融资额达2.7亿美元。 资料显示,本轮融资由某零售科技与供应链巨头、Prosperity7风投基金、远景科技集团等战略投资机...
【热点】
阅读更多身份和访问管理问题是否阻碍了混合云和多云的采用?
热点随着人们意识到控制和安全方面的差距,对云平台中身份和访问管理的担忧可能会减缓组织迁移的速度。 IT决策者可能会对云迁移感到犹豫,或者担忧与身份和访问管理(IAM)和云计算安全相关的问题。根据Forge...
【热点】
阅读更多苹果悄然研发ChatGPT式应用,Siri即将重大改版
热点近日,有消息人士透露,苹果公司正在开发一款与 ChatGPT 类似的 iPhone 应用,旨在为即将到来的 Siri 重大改版进行测试。这款新应用被苹果的人工智能部门用来迅速评估 Siri 的全新功能...
【热点】
阅读更多