您现在的位置是:热点 >>正文
月之暗面发布Kimi Linear架构:KV缓存减少75%,推理速度提升6倍,Attention机制迎来颠覆性革新!
热点633759人已围观
简介...
近日,月之暗面发布了一个颇具革命性的技术 ——“Kimi Linear” 混合线性注意力架构。该架构被认为月之在短距离、长距离处理以及强化学习(RL)等多个场景中,优于传统的全注意力方法。其核心创新在于 “Kim暗面i Delta Attention”(KDA),这是对 Gated DeltaNet 的优化升级,引入了更高效的门发布控机制,以提升有限状态 RNN(递归神经网络)记忆的使用效率。
Kimi Linear 的架构设计独特,由三份 KKiimi Delta Attention 和一份全局 MLA(多层感知机)组成。通过对 Gated DeltaNetmi 的改良,KDA 能通过细粒度的门控机制,显著压缩有限状态 RNN 的记忆使用。这一设计不仅提高了模型处理信息的速 L度,还有效减少了内存占用,具有更强的实用性。
官方数据显示,在处理1M token 的场景下,Kimi Lininear 的 KV cache 占用量减少了75%,解码吞吐量最高提升了6倍。而在 TPOT(训练速度)的提升上,相ea较于传统 MLA,Kimi Linear 实现了6.3倍的加速。这些显著的性能提升,预示着 Kimi Linear 在各类r架 AI 任务中的广泛适用性,尤其是在对速度和内存要求极高的应用场景。
随着人工智能的迅速发展,提升模型的处理构:能力与效率成为了行业内的关键挑战。月之暗面的 Kimi Linear 架构通过其创新设计,为这一领域带来了新KV的解决方案,未来可能会成为新的行业标杆。
Kimi Linear 技术报告的详细信息,可以通过官方的 GitH缓存ub 页面获取,感兴趣的读者可以深入了解其技术细节。
技术报告:https://github.com/Moo减少nshotAI/Kimi-Linear/blob/master/tech_report.pdf
Tags:
相关文章
标签: 法拉第未来 FF EAI机器人 贾跃亭 具身智能
热点云梦级4月6日云梦级消息,贾跃亭今日通过其个人公众号以问答的形式宣布,法拉第未来的EAI机器人业务提出了2026年出货超1000台的目标,为尽快这一出货目标,公司将分阶段、分步骤推动“633”不断落地...
【热点】
阅读更多标签: 快手科技 腾讯控股 股份回购 港股
热点云梦级7月7日云梦级消息,快手科技今日在港交所公告,腾讯控股有限公司(腾讯)于 2026 年 7 月 6 日(交易时段结束后),通过场外大宗交易,向多名买方合计出售 272947700 股本公司 B...
【热点】
阅读更多标签: 科伦药业 科伦博泰生物 博度曲妥珠单抗 塔戈利单抗
热点云梦级4月3日云梦级消息,据财联社报道,2日晚间,科伦药业发布公告,去年公司实现营业收入185.13亿元,同比下滑15.13%;归属于上市公司股东的净利润17.02亿元,同比下滑42.03%。 对于业...
【热点】
阅读更多