您现在的位置是:热点 >>正文
阶跃发布端到端语音大模型Step-Audio 2 mini
热点359人已围观
简介...
9月1日,阶跃星辰正式发布最强开源端到端语音大模型Step-Audio2mini。该模型在多个国际基准测试集上取得了SOTA(State-of-the-Art)成绩,将语阶跃音理解、音频推理与生成统一建模,在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出,并率先支持语音原生的Tool Calling能力,可实现联网搜索等操作发布。Step-Audio2mini被形容为“听得清楚、想得明白、说得自然”,其模型现已上线GitHub、Hugging Face等平台,供用户下载、试用并反馈。
Step-Au端到dio2mini在多个关键基准测试中取得SOTA成绩,在音频理解、语音识别、翻译和对话场景中表现卓越,综合性能超越Qwen-Omni、Kimi-Audio等所有开源端到端语音端语模型,并在大部分任务上超越GPT-4o Audio。在通用多模态音频理解测试集MMAU上,Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首;在衡量口语对音大话能力的URO Bench上,Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分;在中英互译任务上,Step-Audio2mini在CoVoST2模型和CVSS评测集上分别取得39.3和29.1的分数,大幅领先GPT-4o Audio和其他开源语音模型;在语音识别任务上,Step-Audio2mini取得多语言和多方言第一,其中开St源中文测试集平均CER(字错误率)3.19,开源英语测试集平均WER(词错误率)3.50,领先其他开源模型15%以上。
Step-Audio2mini通过创新架构设计,有效ep解决了此前语音模型存在的问题,做到“走脑又走心”。它采用真端到端多模态架构,突破传统ASR+LLM+TTS三级结构,实现原始音频输入到语音响应输出的直接转换,架构更简洁、时延更-A低,并能有效理解副语言信息与非人声信号。此外,Step-Audio2mini在端到端语音模型中首次引入链式思维推理(CoT)与强化学习联合优化,能对情绪、语调、音乐等副语言和非语ud音信号进行精细理解、推理并自然回应。模型还支持包括web检索等外部工具,有助于解决幻觉问题,并赋予模型在多场景扩展上的能力。
Step-Audio2mini的能力在案例中得到了生io动展示。它能精准识别大自然的声音、精湛的配音,还能实时搜索获得行业最新资讯。此外,Step-Audio2mini还能控制语速,轻松应对不同场景的对话需求。当被问及哲学难题时,Ste 2p-Audio2mini能将抽象问题转化为极简方法论,展现强大的逻辑推理能力。
GitHub:https://github.com/stepfun-ai/Step-Audio2
H mugging Face:https://huggingface.co/stepfun-ai/Step-Audio-2-mini
ModelScope:https://www.inmodelscope.cn/models/stepfun-ai/Step-Audio-2-mini
Tags:
相关文章
标签: MStar 易鑫 BAI资本 Grupo Fórmula
热点云梦级12月15日云梦级消息,拉美首家AI汽车金融科技平台MStar近期宣布,半年内已连续完成天使轮与A轮两轮融资,股权融资金额达数千万美元,并获得数亿美元授信。 其中,天使轮由BAI资本及亚洲最大A...
【热点】
阅读更多英伟达市值一夜蒸发超1.7万亿元 什么情况?
热点2月27日消息,当地时间2月26日收盘,英伟达股价跌5.46%,市值一夜之间蒸发超2700亿美元(约合人民币1.77万亿元),创下自去年4月16日以来近11个月的最大单日跌幅。 2月25日,英伟达发布...
【热点】
阅读更多亚马逊工会投票结束:历史性一刻可能即将到来
热点相关新闻:劳工政策与商业行为长期挨批 亚马逊在社交媒体上高声回击 新浪科技讯 北京时间3月30日晚间消息,据报道,美国国家劳资关系委员会(NLRB)今日拒绝了亚马逊要求安装摄像机的请求,以监视装有数千...
【热点】
阅读更多