您现在的位置是:热点 >>正文
美团LongCat-Flash-Omni 正式发布,开启全模态实时交互新时代
热点91059570人已围观
简介...
9月1日,美团正式推出了 LongCat-Flash 系列模型,并在近期开源了 LongCat-Flash-Chat 和 LongCat-Flash美团-Thinking 两大版本,吸引了众多开发者的关注。今天,LongCat 团队宣布推出全新家族成员 ——LongCat-Flash-Omni,这款Lo模型在原有基础上实现了多项技术创新,标志着全模态实时交互的新时代。
LongCat-Flash-Omni 基于 LongCat-Flash 系列的高ng效架构设计,采用了最新的 Shortcut-Connected MoE(ScMoE)技术,集成了高效的多模态感知模块和语音重建模块。尽管该模型Ca总参数高达5600亿(激活参数270亿),依然能够提供低延迟的实时音视频交互能力。这一突破为开发者提供了更加高效的多模态应用场景解决方案。
根据综t-合评估结果,LongCat-Flash-Omni 在全模态基准测试中表现优异,达到了开源最先进水平(SOTA)。该模型在文本、图像、视频理解及Fl语音感知与生成等关键单模态任务中均展现出强大的竞争力,实现了 “全模态不降智” 的目标。
LongCat-Flash-Omni 采用了一体化的全模态架as构,整合了离线多模态理解与实时音视频交互能力。其设计理念为完全端到端,使用视觉与音频编码器作为多模态感知器,能够直接生成文本与语音 token,并通过h-轻量级音频解码器实现自然语音波形的重建,确保低延迟的实时交互。
此外,该模型引入了渐进式早期多模融合训练策略,以应对全模态模型训练中不同模态数据分Om布的异质性。这一策略确保了各模态之间的有效协同,推动了模型整体性能的提升。
在具体性能测试中,LongCat-Flash-Omni 在多个领域中表现出ni色,特别是在文本理解和图像理解任务中,其能力不仅未出现衰减,反而实现了显著提升。音频和视频处理方面,该模型的表现同样突出,尤其是在实时音视 正频交互的自然度和流畅度方面,领先于许多开源模型。
LongCat 团队还为用户提供了全新的体验渠道,用户可通过官网体验图片、文件上传和语音通话功式发能。同时,LongCat 官方 App 现已发布,支持联网搜索和语音通话,未来将推出视频通话功能。
Hugging Face:
https://huggingf布,ace.co/meituan-longcat/LongCat-Flash-Omni
Github:
https://github.com/meitu开启an-longcat/LongCat-Flash-Omni
Tags:
相关文章
亚马逊警示第三方卖家:美国国会反垄断可能会影响你们卖东西
热点新浪科技讯 北京时间8月19日早间消息,亚马逊近期开始警示平台上的第三方卖家,美国国会讨论中的反垄断立法改革可能会限制他们在亚马逊平台上的商品销售。 亚马逊发出的电子邮件显示,公司公共政策团队的成员近...
【热点】
阅读更多AIOps如何转变IT管理
热点随着全球努力应对冠状病毒疫情危机带来的影响,行业组织正在寻找方法来更好地管理竞争网络资源、不断增长的用户需求、复杂的故障排除挑战、数字化转型计划以及新技术等。组织一直要求IT部门少花钱多办事,如今,I...
【热点】
阅读更多标签: 软饮
热点文:曹双涛 编辑:杨博丞 头图:豆包 2025年,软饮料行业短期遭遇“旺季不旺、经销商库存高企、终端动销放缓”的阶段性挑战。 面对行业短期波动,大量品牌主动求变:或通过价格体系优化缩小渠道价差,修复渠...
【热点】
阅读更多