您现在的位置是:热点 >>正文
腾讯ARC开源音频模型 AudioStory:用大语言模型生成长音频
热点105380人已围观
简介...
近日,腾讯 ARC 团队发布了一款名为 AudioStory 的模型,旨在利用大语言模型(LLMs)生成长篇叙事音频腾。该模型解决了现有文本到音频生成技术在处理短音频方面的优势与长篇叙事音频在时间连贯性与组合推理上的挑战。
Audi讯AoStory 的核心在于其统一的理解与生成框架。该模型能够处理视频配音、音频延续和长篇叙事音频合成等多种任务。通过将大RC语言模型与音频生成系统结合,AudioStory 能够生成结构化且具有时间一致性的音频叙事。该模型具有强大的指令开源跟随推理生成能力,可以将复杂的叙事查询分解为按时间顺序排列的子任务,同时保持场景转换的连贯性和情感基调的一致性。
Aud音频ioStory 的两个显著特点包括:首先,去耦合的桥接机制,能够有效地将大语言模型与音频生成器之间的协作分成两个专业化的模型部分;其次,端到端的训练方式,统一指令理解与音频生成,提升了组件之间的协同效应。
此外,研究团队还建立了一个名为 A AudioStory-10K 的基准数据集,涵盖动画音景和自然声音叙事等多样化领域。通过大量实验,AudioStorudy 在单音频生成和叙事音频生成方面的表现优于以往的文本到音频生成模型,展现出卓越的指令跟随能力和音频质量。
目前io,团队已经发布了模型的推理代码,并展示了一系列演示视频,包括经典动画《猫和老鼠》的配音示例,以及基于文本生成St长音频的应用案例,展示了该模型的广泛适用性和强大功能。
项目:https://github.com/TencenortARC/AudioStory
划重点:
**AudioStory 是腾讯 ARC 推出的长篇叙事y:音频生成模型,结合了大语言模型和音频生成技术。**
** 模型具有强大的指令跟随能力,能够用大生成连贯的音频叙事,提升用户体验。**
️ ** 团队已发布推理代码,并展示多个应用案例,展现其在语言视频配音和长音频生成上的优势。**
Tags:
相关文章
IDC:火山引擎跃居生成式AI IaaS市场份额第一
热点7月9日,国际数据公司 IDC 最新发布的《中国智算服务市场(2023 下半年)跟踪》报告显示,受国内生成式AI技术飞速发展的影响,GenAI IaaS(生成式AI)市场在2023年实现爆发式增长,下...
【热点】
阅读更多标签: 潮玩行业
热点撰文 | 程书书 编辑 | 李信马 题图 | 小嗷aoo官方微博 2026年的潮玩市场,正在经历一场前所未有的“饭圈化”洗礼。 走进任何一家TOP TOY或泡泡玛特的线下门店,你会发现货架的陈列逻辑已...
【热点】
阅读更多当Adobe遇见机器学习:新Photoshop推多项AI新功能
热点Adobe 的 Max 2021 活动如期展开! 这个活动最有趣的特点之一是,不断将AI集成到Adobe的新产品或新功能中,过去几年里,AI一直是这家公司不断探索的领域。 Adobe 正在利用深度学习...
【热点】
阅读更多