您现在的位置是:热点 >>正文
月之暗面推出新型混合线性注意力架构 “Kimi Linear”
热点930828人已围观
简介...
近日,月之暗面发布了一种全新的混合线性注意力架构,名为 “Kimi Linear”。这一架构据称在处理短距月离、长距离信息以及强化学习(RL)等多种场景中,性能优于传统的全注意力方法。其核心技术 Kimi Delta At之暗tention(KDA)是对 Gated DeltaNet 的一次优化,特别引入了一种更高效的门控机制,以更好地管理面推有限状态 RNN 的记忆使用。
Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全局 MLA出新 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆,使得模型在处理信息时更加高效。官方指出,在处理1M to型混ken 的数据场景中,Kimi Linear 的 KV cache 占用降低了75%,而解码吞吐量最高可提升6倍,TP合线OT 相较于传统 MLA 加速了6.3倍。
这种新的架构为各种 AI 应用场景提供了更强的支持,无论是在信息密集型的性注自然语言处理任务还是在动态环境中的强化学习,Kimi Linear 都有着显著的优势。随着 AI 技术的不断发展,这种高意力效的注意力机制可能会为未来的智能应用带来新的突破。
更多技术细节可以在 Kimi Linear 的技术报告中找到,ht架构tps://github.com/MoonshotAI/Kimi-Linear/blob/master/tech “_report.pdf。
划重点:
Kimi Linear 是一种新型的混合线性注意力架构,Ki优化了信息处理性能。
该架构在1M token 场景下,KV cache 占用减少75%mi,解码吞吐量提升6倍。
Kimi Delta Attention 是其核心技术,通过细粒度 L门控优化了 RNN 的记忆管理。
Tags:
上一篇:标签: 白酒行业
相关文章
AlphaFold2鍘熺悊锛氭敞鎰忓姏鏈哄埗鍙栦唬鍗风Н缃戠粶锛岄�娴嬪噯纭�€ф彁鍗囪秴30%
热点鏈�枃缁廇I鏂板獟浣撻噺瀛愪綅锛堝叕浼楀彿ID:QbitAI锛夋巿鏉冭浆杞斤紝杞�浇璇疯仈绯诲嚭澶勩€� 鏈€杩戯紝DeepMind寮€婧怉lphaFold2锛岃�瀛︽湳鍦堝啀涓€娆℃哺鑵句簡銆� 杩...
【热点】
阅读更多谷歌,戴尔和英特尔组成新的计算小组,致力于转变云和IT工具
热点Google,戴尔,英特尔以及IT和云计算行业中的其他几家主要科技公司已经联合起来,共同解决围绕安全性,远程工作和其他企业问题的联合问题,这些问题在冠状病毒大流行期间变得越来越重要。这些公司组成的联盟...
【热点】
阅读更多标签: 动力电池
热点撰文 | 张 宇 编辑 | 杨博丞 题图 | IC Photo 动力电池回收行业即将迈入强监管时代。 1月16日,工信部等六部门联合发布《新能源汽车废旧动力电池回收和综合利用管理暂行办法》,该新规将于...
【热点】
阅读更多