英伟达推出全模态理解模型 OmniVinci,刷新 SOTA 高出19.05分
英伟达研究团队今日发布了名为 OmniVinci 的全模态理解模型,该模型在关键的全模态理解基准测试中取英伟得了惊人的成果,相较于现有顶尖模型高出19.05分。更为引人注目的是,OmniVinci 仅使用了1/6的训练数据,达推展现出卓越的数据效率和性能。 OmniVinci 的目标是创建一个能够同时理解视觉、音频和文本的全能 AI 系统,使机器能出全够像人类一样通过多种感官感知并理解复杂的世界。为了实现这一目标,英伟达团队采取了创新的架构设计和数据管理策略,通过一模态个统一的全模态潜在空间,将不同感官的信息融合在一起,实现了跨模态的理解和推理。 在 Dailyomni 基准测试中,Omn理解iVinci 的表现超过了 Qwen2.5-Omni,其在音频理解的 MMAR 测试中高出1.7分,在视觉理解的 Video-MM模型E 测试中高出3.9分。使用的训练 Token 仅为0.2万亿,而 Qwen2.5-Omni 的训练量为1.2万亿,显示出 Omn OiVinci 的训练效率是其6倍。 该模型的核心创新在于全模态对齐机制,包括 OmniAlignNet 模块、时间嵌入分组(TEGmn)和约束旋转时间嵌入(CRTE)三项技术。OmniAlignNet 利用视觉和音频信号之间的互补性,加强了两者的学习与对iV齐。而 TEG 则通过将视觉和音频信息按时间分组,有效编码了时间关系。CRTE 则进一步解决了时间对齐问题,确保模型能够理解事件in的绝对时间信息。 研究团队采用了两阶段的训练方法,首先进行模态特定训练,随后进行全模态联合训练,以逐步提升模型的全模态理ci解能力。在隐式全模态学习方面,研究者们通过现有的视频问答数据集,进一步提高了模型对音视频的联合理解能力。 Omni,刷Vinci 的问世标志着英伟达在多模态 AI 领域的重要突破,预计将在各类应用中推动 AI 技术的发展,助力更智能的系统和服务新 的出现。该模型的开源发布,也将为全球的研究人员和开发者提供新的机遇,推动 AI 在实际应用中的进一步探索与创新。
- 最近发表
- 随机阅读
-
- Soul语音模型SoulX-Podcast震撼发布:90分钟无中断播客生成,AI语音革命再升级
- 美国防部终止微软百亿美元大单 亚马逊、IBM等云服务公司“虎视眈眈”
- Eightco Holdings 更名为 ORBS,专注于 AI 与人类身份验证
- 标签: 字节跳动 Meta 电商 利润
- OpenAI 与马丁·路德·金遗产公司合作 暂停Sora生成金博士肖像
- 标签: 三星电子 内存芯片 SK海力士 台积电
- OpenAI估值跃升至5000亿美元,成全球独角兽之王
- 标签: 英伟达 Nemotron3 GR00T AlphaFold GTC2026
- 牙膏挤不动了?英特尔正与台积电、三星商谈,将部分芯片生产外包
- 标签: Coupang 酷澎 数据泄露 韩国电商
- 云计算核心技术Docker教程:Docker使用Graylog 扩展格式日志驱动程序
- 标签: 百度 反贪腐 MEG ACG
- 云计算开发:Python练习实例-输出 9*9 乘法口诀表
- 云计算开发:Python内置函数-divmod() 函数详解
- 告别信息泄露!OpenAI 推出 Privacy Filter,支持12.8万超长上下文与8类隐私识别
- 标签: 美光 DDR5 HBM AI存储
- 本科生新算法打败NeRF,不用神经网络照片也能动起来,提速100倍
- 蜀道集团发布国内首个车路协同高精度导航 阿里云提供技术支持
- 标签: 理想汽车 李想
- 云计算核心技术Docker教程:Docker集群管理群中的节点
- 搜索
-
- 友情链接