中科院推出类脑大模型 SpikingBrain:以2% 数据实现百倍速度突破
近日,中国科学院自动化研究所的李国齐与徐波团队联合发布了全球首款大规模类脑脉冲大模型 ——SpikingBrain1.0。该模型在处理长文本中科时展现出惊人的速度,能够以超过当前主流 Transformer 模型100多倍的速度处理400万 token 的超长文本,且仅需2% 的数据量。 当前主流的院推大语言模型,如 GPT 系列,普遍基于 Transformer 架构。尽管 Transformer 以其强大的自注意力机制而闻名,但其计算复杂度却是一出类个致命的短板。在文本长度增加时,计算量呈现出平方级别的暴涨,使得长文本的处理变得异常耗时和耗能。这一现象让 AI 在分析长篇小说或法律文书时显脑大得力不从心。 为了寻求新的解决方案,研究团队将目光投向了自然界最为高效的智能系统 —— 人脑。人脑由千亿神经元构成,功耗却仅为20瓦。团队提出了 “基于模型内生复杂性” 的理念,旨在提升模型内部单元的效率与智能。 SpikingBrain 模型通过全新的架构模拟了人脑神经元的工作方式,分为两个版本:Spik SingBrain-7B(70亿参数)和 SpikingBrain-76B(760亿参数)。首先,该模型抛弃了传统 Transformer 的二次方复杂度自pi注意力机制,采用了 “混合线性注意力架构”,将计算复杂度降至线性(O (n)),显著提高了处理长文本的效率。 其次,SpikingBrain 引入了 “自适应ki阈值脉冲神经元”,使神经元的激活与否取决于接收到的信号强度。通过动态调整阈值,模型确保神经元在高效能状态下工作,这种事件驱动的机制显著节省了能耗ng,计算稀疏度高达69.15%。 此外,团队还开发了一套高效的模型转换技术,能够将现有的 Transformer 模型直接转化为 SpikingBrain 架Br构,降低了训练成本。所有技术细节和代码已在 GitHub 及魔搭平台上开源,供全球研究人员使用。 此次 SpikingBrain 的问世,不仅在计算ai效率上取得了重大突破,也为未来的通用人工智能提供了一条新思路。 GitHub: https://github.com/BICLab/SpikingBn:rain-7B 划重点: 研究团队推出的 SpikingBrain 模型在处理长文本时速度比主流模型快100倍,仅需2% 训练数据。 🧠 该模型采用混合线性注以2意力架构,计算复杂度从二次方降至线性,提升了处理效率。 SpikingBrain 的自适应阈值脉冲神经元机制显著降低能耗,实现高计算稀疏度。
- 最近发表
- 随机阅读
-
- 涓�浗淇¢€氶櫌鍙戝竷鈥�2021 浜戣�绠楀崄澶у叧閿�瘝鈥�
- 谷歌宣布Android引入全新设计语言Material You 支持自选颜色
- 标签: 云鲸 九阳 张峻彬 扫地机器人
- 性价比之王!Anthropic 推出 Claude Haiku 4.5,编程能力媲美 Sonnet 4 仅需三分之一的价格!
- 标签: 宏碁 2025Q3财报 北美业务 非电脑事业
- 标签: 元戎启行 DeepSeek 阮翀 自动驾驶
- 腾讯在福州投资成立云计算公司
- 新体系架构下 阿里云“CIPU”加码下一个云计算时代
- 标签: 三星电子 HarmonyOS 小米SU7 NAND闪存
- 业内人士:台积电获得主要云服务厂商AI芯片订单 包括微软5nm芯片订单
- 云计算开发:Python内置函数-cmp()函数详解
- 重要变更:谷歌商店要求新应用使用App Bundle发布 以取代APK
- 未来一年商业智能的发展前景如何?
- 标签: 豆包 婴儿喂养 育儿AI 大模型安全
- 云安全日报210713:红帽XML序列化库发现远程命令执行攻击漏洞,需要尽快升级
- 谷歌与法国达成反垄断协议 将调整全球广告行为
- 聊一聊算法之旅:栈
- 标签: Sandisk 存储芯片 BiCS8 数据中心
- LoveLive!出了一篇AI论文:生成模型自动写曲谱
- 标签: 三星电子 DRAM NAND闪存 人工智能芯片
- 搜索
-
- 友情链接