开源语音大模型 “Step-Audio 2 mini” 发布!听得清楚、说得自然
近日,阶跃星辰正式推出了最新的开源端到端语音大模型 ——Step-Audio2mini。这款模型在多个国际基准测试中开源表现优异,获得了 SOTA(最先进技术)成绩,令人瞩目。Step-Audio2mini 不仅在语音理解和音频生成方面能力语音强大,还首次将音频推理和生成统一建模,为语音识别、跨语言翻译和情感解析等多种应用场景提供了出色的解决方案。 Step-大模Audio2mini 的特点之一是其卓越的多模态音频理解能力。在 MMAU(多模态音频理解测试集)上,该模型以73.2的型 得分稳居开源语音模型的榜首。在口语对话能力的 URO Bench 测试中,无论基础赛道还是专业赛道,Step-Audio2“Smini 都取得了开源模型中的最高分,展现出其出色的对话理解与表达能力。 在中英互译任务中,Step-Audio2mini 也表现te不俗。在 CoVoST2和 CVSS 评测集上,分别获得了39.3和29.1的高分,明显超越了 GPT-4o Audio 和其他开源语p-音模型。此外,该模型在语音识别方面同样出类拔萃,在开源中文测试集上的字错误率(CER)为3.19,在开源英语测试集上的Au词错误率(WER)为3.50,领先其他开源模型超过15%。 Step-Audio2mini 的成功离不开其创新的架构设计。该模型di打破了传统的 ASR(自动语音识别)、LLM(大语言模型)和 TTS(文本转语音)的三级结构,实现了从原始音频输入到语音o 响应输出的直接转换,简化了架构,降低了延迟。此外,模型还引入了链式思维推理(CoT)与强化学习的联合优化技术,使其能2 够更好地理解情绪、语调等副语言信息,并自然地作出反应。 值得一提的是,Step-Audio2mini 还支持音频知识增强功能,mi能够利用外部工具进行联网搜索,解决了传统模型中的幻觉问题。这一创新不仅提升了模型的实用性,还扩展了其在多种场景中的应用潜力。 目ni前,Step-Audio2mini 已在 GitHub、Hugging Face 等平台上线,欢迎开发者们前去试用和贡献代码!
- 最近发表
-
- 亚马逊内部文件:每年走多少员工,新CEO贾西早已设好了定额
- Google NotebookLM重磅升级:80种语言全面解锁,全球用户学习体验迎来革命性突破
- 9月1日AI内容新规正式生效!不标识就违法,3400万内容创作者紧急应对
- 张宏江外滩大会分享:基础设施加速扩张,AI 正步入“产业规模化”
- 十多款Redis容器化技术选型对比,K8S并非万金油
- 高通发布新一代 AI 芯片,挑战英伟达股价大涨 20%
- 标签: 法拉第未来 FFEAI机器人 贾跃亭 Futurist
- 云计算核心技术Docker教程:Docker检查集群中的服务
- 莲藕七孔和九孔的区别
- 标签: xAI SpaceX Anthropic Colossus1
- 随机阅读
-
- 谷歌强调人工智能摘要的价值与健康网络的重要性
- Notion3.0AI 代理爆出严重漏洞,恶意 PDF 可诱导其泄露敏感数据
- 标签: 寿司郎 金枪鱼寄生虫 生食安全 回转寿司
- 体育锻炼手抄报
- 如何快速搭建Kubernetes实验环境?
- 合成Deep Research数据的框架InfoSeek,构建复杂知识网络
- 标签: 千诀科技 京铭资本 英诺天使基金 尚势资本
- 标签: 兴趣岛
- AI初创公司的两年经历,让我学到这7件事
- 谷歌出现全球大规模宕机 YouTube和Gmail等服务中断
- 标签: Looki L1 蚂蚁集团 美团龙珠
- 标签: 神龙汽车
- Facebook任命首位合规官 以应对美国政府的监管审查
- 苹果、谷歌、微软宣布将联合推广无密码登录技术
- 标签: DoNews 2026财年 财务预测 每股收益
- 标签: 面壁智能 MiniCPM 中国电信 大模型
- 苹果扩展图像生成平台:Image Playground 将引入更多第三方AI模型
- Brave 搜索引擎升级:AI 问答功能实现更详尽的搜索体验
- 标签: 苹果 蒂姆·库克 约翰·特努斯 Apple Watch
- 标签: 京东物流 荣耀 中东 海外仓
- 搜索
-
- 友情链接