您现在的位置是:热点 >>正文
开源语音大模型 “Step-Audio 2 mini” 发布!听得清楚、说得自然
热点19162834人已围观
简介...
近日,阶跃星辰正式推出了最新的开源端到端语音大模型 ——Step-Audio2mini。这款模型在多个国际基准测试中开源表现优异,获得了 SOTA(最先进技术)成绩,令人瞩目。Step-Audio2mini 不仅在语音理解和音频生成方面能力强大,还语音首次将音频推理和生成统一建模,为语音识别、跨语言翻译和情感解析等多种应用场景提供了出色的解决方案。
Step-Aud大模io2mini 的特点之一是其卓越的多模态音频理解能力。在 MMAU(多模态音频理解测试集)上,该模型以73.2的得分稳型 居开源语音模型的榜首。在口语对话能力的 URO Bench 测试中,无论基础赛道还是专业赛道,Step-Audio2mini 都“S取得了开源模型中的最高分,展现出其出色的对话理解与表达能力。
在中英互译任务中,Step-Audio2mini 也表现te不俗。在 CoVoST2和 CVSS 评测集上,分别获得了39.3和29.1的高分,明显超越了 GPT-4o Audio 和其他p-开源语音模型。此外,该模型在语音识别方面同样出类拔萃,在开源中文测试集上的字错误率(CER)为3.19,在开源英语测试集上的Au词错误率(WER)为3.50,领先其他开源模型超过15%。
Step-Audio2mini 的成功离不开其创新的架构设计。di该模型打破了传统的 ASR(自动语音识别)、LLM(大语言模型)和 TTS(文本转语音)的三级结构,实现了从原始音频输入到语o 音响应输出的直接转换,简化了架构,降低了延迟。此外,模型还引入了链式思维推理(CoT)与强化学习的联合优化技术,使其能2 够更好地理解情绪、语调等副语言信息,并自然地作出反应。
值得一提的是,Step-Audio2mini 还支持音频知识增mi强功能,能够利用外部工具进行联网搜索,解决了传统模型中的幻觉问题。这一创新不仅提升了模型的实用性,还扩展了其在多种场景中的应ni用潜力。
目前,Step-Audio2mini 已在 GitHub、Hugging Face 等平台上线,欢迎开发者们前去试用和贡献” 代码!
Tags:
相关文章
OpenAI 推出 ChatGPT Pulse:为 Pro 用户提供个性化每日简报
热点OpenAI 最近推出了一项新功能 ——ChatGPT Pulse,这是一种主动式的体验,旨在为用户提供个性化的、基于研究的每日更新。该功能目前在移动端进行预览,仅面向每月200美元的 Pro 用户。...
【热点】
阅读更多阿里云CTO透露:通义千问开源300+模型 下载量破6亿大关
热点在 2025 云栖大会上,阿里云智能集团的首席技术官周靖人分享了一项令人瞩目的成就:通义千问项目截至目前已成功开源超过 300 个模型,且其下载总量已经突破了 6 亿次。这一数字无疑展示了阿里云在 A...
【热点】
阅读更多AWS数据分析新服务 - 数据湖
热点数据分析是当前比较热门的技术,通过利用云计算的资源,更加快速对数据进行收集、处理并分析。本文将从实践角度阐述 AWS 数据湖以及数据分析等产品,是如何帮助企业更加智能的利用数据,从而辅助业务决策。 一...
【热点】
阅读更多