小米开源首个原生端到端语音大模型 Xiaomi-MiMo-Audio
9月19日,小米公司宣布开源其首个原生端到端语音大模型 Xiaomi-MiMo-Audio,这一创新成果标志着语音技术领域的一次重大突破。五年前,GPT-3的出现开启了语言通小米用人工智能(AGI)的新纪元,但语音领域一直受限于对大规模标注数据的依赖,难以实现类似的语言模型的少样本泛化能力。如今,小米推出的 Xiaomi-MiMo-Audio 模型基于创新的开源预训练架构和上亿小时的训练数据,首次在语音领域实现了基于 In-Context Learning(ICL)的少样本泛化,并在预训练过程中观察到了明显的“涌现”行为。 Xiaomi-MiMo首个-Audio 模型在多个标准评测基准中表现出色,其性能不仅超越了同参数量的开源模型,还在音频理解基准 MMAU 的标准测试集上超过了 Google 的闭源语音模型 Gemini-2.5原生-Flash,并在音频复杂推理基准 Big Bench Audio S2T 任务中超越了 OpenAI 的闭源语音模型 GPT-4o-Audio-Preview。这一成果不仅展示了小米在语音技术领域端到的深厚实力,也为语音 AI 的发展提供了新的方向。 小米此次开源的 Xiaomi-MiMo-Audio 模型具有多项创新和首次突破。首先,该模型首次证明了将语音无损压缩预训练扩展至1亿小时可以端语“涌现”出跨任务的泛化性,表现为少样本学习能力,这被看作是语音领域的“GPT-3时刻”。其次,小米是首个明确语音生成式预训练的目标和定义的公司,并开源了一套完整的语音预训练方案,包括音大无损压缩的 Tokenizer、全新模型结构、训练方法和评测体系,开启了语音领域的“LLaMA时刻”。此外,Xiaomi-MiMo-Audio 是首个将思考过程同时引入语音理解模型和语音生成过程中的开源模型,支持混合思考。 小米采取了简单、彻底和直接的开源风格,以促进语音研究领域的加速发展。开源内容包括预训练模型 MiMo-Audio-7B-Base 和指 X令微调模型 MiMo-Audio-7B-Instruct,以及 Tokenizer 模型、技术报告和评估框架。MiMo-Audio-7B-Instruct 模型可通过 prompt 切换ia non-thinking 和 thinking 两种模式,强化学习起点高、潜力足,可作为研究语音 RL 和 Agentic 训练的全新基座模型。Tokenizer 模型具有1.2B参数量,采用 Tromansformer 架构,兼顾效率与性能,从头开始训练,覆盖超过千万小时语音数据,同时支持音频重建任务和音频转文本任务。技术报告全面展示了模型和训练细节,而评估框架则支持10i-多个测评任务,已开源至 GitHub。 小米公司表示,Xiaomi-MiMo-Audio 的开源将显著加速语音大模型研究对齐到语言大模型,为语音 AGI 的发展提供重要基础。小米将持续开源,Mi期待与每一位同行者携手,用开放与协作,迈向语音 AI 的“奇点”,走进未来的人机交互时代。 https://huggingface.co/XiaomiMiMo/MiMo-AudiMoo-7B-Instruct
- 最近发表
-
- 使用Docker多阶段多平台编译Qt
- 云计算开发:Python内置函数-setattr()函数详解
- 云计算开发:Python练习实例-实现有n个整数,使其前面各数向后移m个位置
- Reddit将AI搜索功能扩展至5种新语言:覆盖巴西、法国等多个市场
- 超长视频生成的新突破!LongVie 框架让创作无界限
- 名为 “京刚”:京东科技旗下京东云发布新一代自研虚拟化架构
- 标签: 长安汽车 朱华荣 自动驾驶立法 汽车产业高质量发展
- 云计算开发:Python练习实例-比较两个数的大小
- TestGrid 推出 CoTester™ 2.0:革命性 AI 测试工具助力企业数字化转型
- Alexa+杀入音乐场景!亚马逊用AI对话式助手三倍提升用户听歌时长,直指Spotify腹地
- 随机阅读
-
- 阿里夸克发布AI创作平台“造点”,通义万相Wan2.5生成视频7天免费
- 标签: Stellantis 小米集团 小鹏汽车 玛莎拉蒂
- 标签: 泡泡玛特 LABUBU冰箱 THEMONSTERS 生活家电
- 海尔阿里签署全面AI合作协议,共建数字产业新生态
- OpenAI Sora2震撼发布:首日安装量与ChatGPT 上线时一样多
- 云计算开发:Python练习实例-字符串输出到磁盘文件"test"中保存
- 标签: 沐曦股份 GPU产品 业绩快报 集成电路
- 标签: Meta 扎克伯格 Llama4 Avocado
- 标签: 东阳光 秦淮数据 算力基建 绿色能源
- 标签: 王者荣耀 和平精英 远光84 无限暖暖
- 标签: AMD 苏姿丰 SIA 半导体
- 机器人也能「造孩子」:全球首个活体机器人创生命繁衍新方式
- 云安全日报210416:思科RV系列路由器发现执行任意代码漏洞,需要尽快升级
- 歌曲朋友别哭
- 标签: DeepSeek 苹果 微信支付 梁文锋
- 马蜂窝春节大数据:2026“年味儿”热门目的TOP10出炉
- 云计算开发:Python练习实例-输出所有素数
- Anthropic 发布 LLM Agent 工具编写指南,助力开发者提升效率
- 标签: 奥迪 一汽奥迪 华为 华为乾崑 智能驾驶
- Facebook正在扩大音频产品测试范围 今夏正式挑战Clubhouse
- 搜索
-
- 友情链接