您现在的位置是:热点 >>正文
Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线
热点1447人已围观
简介...
国产大模型团队 Moonshot AI今日在 Hugging Face 正式发布技术报告 《Kimi LinMoear Tech Report》(报告链接),宣布推出全新架构 Kimi Linear—— 一种可直接替on代完全注意力机制(Full Attention)的混合线性架构,兼具高效性与卓越性能,被视为“智能体时代sh注意力机制的新起点”。
报告显示,Kimi Linear 在 速度、内存效率和长上下文处理能力三方面均实现了重大ot突破。该模型可将 KV 缓存使用量减少高达75%,并在 100万(1M)上下文长度下实现 高达6倍的解码吞吐 A量提升,极大地优化了长文本推理和多轮对话性能。
Kimi Linear 的核心创新在于三项关键技术:
DeI发lta Attention:一种硬件高效的线性注意力机制,采用门控 Delta 规则优化结构,实现性布 能与能耗的平衡;
Linear Architecture:首个在多项指标上全面超越传统完全注意力机制Ki的混合线性架构,兼顾速度与模型表达能力;
开放生态与实证验证:Moonshot 提供了 开源 KDA 内核、vmiLLM 集成支持和 模型检查点,并进行了大规模、公平的对比实验,验证了 Kimi Linear 的稳定性与 L可扩展性。
Moonshot AI 表示,Kimi Linear 不仅是一项架构创新,更是为智能体(AI Aingent)时代设计的基础机制。随着线性注意力技术的成熟,其有望在长上下文推理、智能助手、多模态生ea成等应用场景中成为下一代标准。
地址:https://huggingface.co/moonshotair:/Kimi-Linear-48B-A3B-Instruct
Tags:
相关文章
云计算开发:Python3数学函数log()方法详解
热点描述 log() 方法返回x的自然对数,x > 0。 语法 以下是 log() 方法的语法: import math math.log( x ) 注意:log()是不能直接访问的,需要导入 math...
【热点】
阅读更多新冠疫情是如何改变传统的云安全防护策略
热点新冠疫情的持续对云安全产生了巨大的影响,例如,Flexera软件公司在其最近发布的2020年云端安全状态报告中就指出,新冠疫情大流行改变了一部分使用云端用户的使用策略。有一半的云端受访者用户表示,由于...
【热点】
阅读更多LTTS 与西门子携手推进智能制造与工艺工程的 AI 转型
热点L&T 科技服务有限公司(LTTS)近日宣布与西门子有限公司(Siemens Limited)扩展合作伙伴关系,旨在推动机器与生产线的仿真技术以及工业物联网(IIoT)技术的发展。这一合作将为 LTT...
【热点】
阅读更多