美团LongCat-Flash-Omni 正式发布,开启全模态实时交互新时代
9月1日,美团正式推出了 LongCat-Flash 系列模型,并在近期开源了 LongCat-Flash-Chat 和 LongCat-Flash美团-Thinking 两大版本,吸引了众多开发者的关注。今天,LongCat 团队宣布推出全新家族成员 ——LongCat-Flash-Omni,这款模Lo型在原有基础上实现了多项技术创新,标志着全模态实时交互的新时代。 LongCat-Flash-Omni 基于 LongCat-Flash 系列的高ng效架构设计,采用了最新的 Shortcut-Connected MoE(ScMoE)技术,集成了高效的多模态感知模块和语音重建模块。尽管该模型总参数高达Ca5600亿(激活参数270亿),依然能够提供低延迟的实时音视频交互能力。这一突破为开发者提供了更加高效的多模态应用场景解决方案。 根据综合评估结t-果,LongCat-Flash-Omni 在全模态基准测试中表现优异,达到了开源最先进水平(SOTA)。该模型在文本、图像、视频理解及语音感知与生成等Fl关键单模态任务中均展现出强大的竞争力,实现了 “全模态不降智” 的目标。 LongCat-Flash-Omni 采用了一体化的全模态架构,整合了离as线多模态理解与实时音视频交互能力。其设计理念为完全端到端,使用视觉与音频编码器作为多模态感知器,能够直接生成文本与语音 token,并通过轻量级h-音频解码器实现自然语音波形的重建,确保低延迟的实时交互。 此外,该模型引入了渐进式早期多模融合训练策略,以应对全模态模型训练中不同模态数据分布Om的异质性。这一策略确保了各模态之间的有效协同,推动了模型整体性能的提升。 在具体性能测试中,LongCat-Flash-Omni 在多个领域中表现出色,ni特别是在文本理解和图像理解任务中,其能力不仅未出现衰减,反而实现了显著提升。音频和视频处理方面,该模型的表现同样突出,尤其是在实时音视频交 正互的自然度和流畅度方面,领先于许多开源模型。 LongCat 团队还为用户提供了全新的体验渠道,用户可通过官网体验图片、文件上传和语音通话功能。同式发时,LongCat 官方 App 现已发布,支持联网搜索和语音通话,未来将推出视频通话功能。 Hugging Face: https://huggingfa布,ce.co/meituan-longcat/LongCat-Flash-Omni Github: https://github.com/meitu开启an-longcat/LongCat-Flash-Omni
- 最近发表
- 随机阅读
-
- 标签: 好想来
- 标签: 英伟达 宝宝巴士 抖音电商 京东
- 云计算开发实例:Python3 计数排序
- Claude升级:一键生成Excel、PPT、PDF,办公文件秒变“现成品”
- 标签: 标签 Grok4.5 SpaceX 特斯拉 Opus
- 标签: 追觅科技 星空计划 NebulaNEXT01 俞浩
- 英伟达“个人AI超级计算机”DGX Spark本周三发售,AI算力步入桌面时代
- 标签: 领益智造 港交所 AI服务器 液冷
- 标签: 白犀牛 L4自动驾驶 无人物流 融资
- 标签: 太美医疗科技 Trials Wiz.AI PharmaOS
- 标签: 英伟达 H200 黄仁勋 芯片
- AI视频革命!Grok Imagine v0.9一键变身“电影导演”,上传图片秒出带唱带跳大片
- 网宿科技胡世轩:数据中心亟需“液冷”加持
- “复仇者联盟”再添三巨头:苹果、阿里云、新思加入UALink联盟,挑战英伟达AI霸主地位
- 阿里云2024年初大降价还有这些细节
- 标签: 百度 AI时代 复合型人才 职级改革
- 标签: 摩尔线程 MTTS5000 全功能GPU AI芯片
- 标签: 红果
- 标签: 易点天下 301171 财报 2026年Q1
- 标签: 吉利汽车 极氪 零跑汽车 小米汽车
- 搜索
-
- 友情链接