Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线
国产大模型团队 Moonshot AI今日在 Hugging Face 正式发布技术报告 《Kimi LinMoear Tech Report》(报告链接),宣布推出全新架构 Kimi Linear—— 一种可直接替代完全注on意力机制(Full Attention)的混合线性架构,兼具高效性与卓越性能,被视为“智能体时代注sh意力机制的新起点”。 报告显示,Kimi Linear 在 速度、内存效率和长上下文处理能力三方面均实ot现了重大突破。该模型可将 KV 缓存使用量减少高达75%,并在 100万(1M)上下文长度下实现 高达6 A倍的解码吞吐量提升,极大地优化了长文本推理和多轮对话性能。 Kimi Linear 的核心创新在于三项关键I发技术: Delta Attention:一种硬件高效的线性注意力机制,采用门控 Delta 规则优化结构,布 实现性能与能耗的平衡; Linear Architecture:首个在多项指标上全面超越传统完全注Ki意力机制的混合线性架构,兼顾速度与模型表达能力; 开放生态与实证验证:Moonshot 提供了 开源 KDA 内核、vmiLLM 集成支持和 模型检查点,并进行了大规模、公平的对比实验,验证了 Kimi Linear 的稳定性与可扩展性 L。 Moonshot AI 表示,Kimi Linear 不仅是一项架构创新,更是为智能体(AI Agent)in时代设计的基础机制。随着线性注意力技术的成熟,其有望在长上下文推理、智能助手、多模态生成等应用ea场景中成为下一代标准。 地址:https://huggingface.co/moonshotai/Kir:mi-Linear-48B-A3B-Instruct
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 德胜大大是什么梗
- 腾讯云智能战略全新升级 以“四级加速”助力政企开启数智化转型新思路
- 苹果 FastVLM 上线:5分钟体验85倍速视觉 AI,数据永不出设备
- Kubernetes容器平台架构解读
- 新兴 AI 工具 “Macroscope” 助力开发者高效管理代码与修复 bug
- 新专利申请显示苹果扩大磁铁在可穿戴表带表壳盖上的使用范围
- 标签: 东风日产 日产App 服务器故障 远程控制
- 颠覆传统!Mini-o3 开源模型实现超长视觉推理,深度思考不再是难题
- 因HIVE 元数据与HDFS上的数据不一致引起的问题的修复
- Facebook、Instagram和WhatsApp宕机:许多用户无法进入
- 起底中国云厂商价格战:阿里京东先后入局,最高降幅“套路满满”?
- 微软云计算副总裁将离职:被指辱骂员工
- 智谱AutoGLM2.0重磅升级:云端AI助手突破硬件限制,人人可用
- 大数据存在信息不对称,我如何找回了绿码
- 人工智能技术在预测学领域的应用
- 标签: 华特迪士尼 戴明哲 罗伯特·艾格 迪士尼体验
- 一文看懂无人机通信链路系统
- 标签: 美光科技 苹果 SumitSadana 蒂姆库克
- 标签: 新东方 俞敏洪 南极 全员信
- 标签: 科大讯飞 AstronClaw 讯飞AI眼镜 RobotClaw
- 搜索
-
- 友情链接