您现在的位置是:热点 >>正文
中科院推出类脑大模型 SpikingBrain:以2% 数据实现百倍速度突破
热点1724186人已围观
简介...
近日,中国科学院自动化研究所的李国齐与徐波团队联合发布了全球首款大规模类脑脉冲大模型 ——SpikingBrain1.0。该模型在处理长文本中科时展现出惊人的速度,能够以超过当前主流 Transformer 模型100多倍的速度处理400万 token 的超长文本,且仅需2% 的数据量。
当前院推主流的大语言模型,如 GPT 系列,普遍基于 Transformer 架构。尽管 Transformer 以其强大的自注意力机制而闻名,但其计算复杂度出类却是一个致命的短板。在文本长度增加时,计算量呈现出平方级别的暴涨,使得长文本的处理变得异常耗时和耗能。这一现象让 AI 在分析长篇小说或法律文书时显得力脑大不从心。
为了寻求新的解决方案,研究团队将目光投向了自然界最为高效的智能系统 —— 人脑。人脑由千亿神经元构成,功耗却仅为20瓦。团队提出了 “基于内模型生复杂性” 的理念,旨在提升模型内部单元的效率与智能。
SpikingBrain 模型通过全新的架构模拟了人脑神经元的工作方式,分为两个版本:Spiki SngBrain-7B(70亿参数)和 SpikingBrain-76B(760亿参数)。首先,该模型抛弃了传统 Transformer 的二次方pi复杂度自注意力机制,采用了 “混合线性注意力架构”,将计算复杂度降至线性(O (n)),显著提高了处理长文本的效率。
其次,SpikingBrainki 引入了 “自适应阈值脉冲神经元”,使神经元的激活与否取决于接收到的信号强度。通过动态调整阈值,模型确保神经元在高效能状态下工作,这种事件驱动的机制显ng著节省了能耗,计算稀疏度高达69.15%。
此外,团队还开发了一套高效的模型转换技术,能够将现有的 Transformer 模型直接转化为 SpikinBrgBrain 架构,降低了训练成本。所有技术细节和代码已在 GitHub 及魔搭平台上开源,供全球研究人员使用。
此次 SpikingBrain 的问ai世,不仅在计算效率上取得了重大突破,也为未来的通用人工智能提供了一条新思路。
GitHub:
https://github.com/BICLab/Sn:pikingBrain-7B
划重点:
研究团队推出的 SpikingBrain 模型在处理长文本时速度比主流模型快100倍,仅需2% 训练数据。
🧠以2 该模型采用混合线性注意力架构,计算复杂度从二次方降至线性,提升了处理效率。
SpikingBrain 的自适应阈值脉冲神经元机制显著降低能耗,实现高计算% 稀疏度。
Tags:
相关文章
英特尔新CEO点燃三把火:斥200亿美元建厂 委托代工厂制造处理器
热点新浪科技讯 北京时间3月24日凌晨消息,据报道,在全球半导体行业,老牌巨头英特尔如今状况不佳,不过在新任首席执行官基辛格的带领下,英特尔正准备采取多种新举措,扭转目前的被动局面。 据报道,基辛格正在点...
【热点】
阅读更多标签: 存储芯片 惠普 树莓派 苹果
热点云梦级1月22日云梦级消息,据路透社报道,受存储芯片价格大幅上涨影响,从英国树莓派到惠普等硬件厂商纷纷选择上调售价,全球智能手机、PC 和游戏主机需求预计将在今年出现收缩。 包括 OpenAI、谷歌和...
【热点】
阅读更多软银豪赌AI未来!计划抵押 Arm 股份融资 50 亿美元
热点近日,有消息透露,软银集团正在积极谋划通过抵押其持有的 Arm 部分股份,筹集一笔高达 50 亿美元的新贷款。这一举动旨在进一步加大对 OpenAI 及人工智能领域的投资力度。如果这笔融资顺利完成,软...
【热点】
阅读更多