全面开源的 LLaVA-OneVision-1.5,超越 Qwen2.5-VL 的多模态模型登场
近日,开源社区迎来了 LLaVA-OneVision-1.5,这是一款全新的多模态模型,标志着技术的一次重大进步。LLaV全A(大型语言与视觉助手)系列历经两年开发,逐步从简单的图文对齐模型演变为能够处理图像、视频等多种输入形式的综合性框架。 LLaVA-面开OneVision-1.5的核心理念是提供一个开放、高效且可复现的训练框架,让用户能够轻松构建高质量的视觉语言模型。其训练过程分源的为三个阶段:首先,通过语言 - 图像对齐的预训练阶段,模型学习将视觉特征转化为语言词嵌入。 接着,在第二阶段 “高质量知识学习” 中,模型 L在8500万的训练样本上进行全参数训练,注入大量视觉和知识信息,显著提升模型能力。最后,在视觉指令微调阶段,使用精心设计的数据集进La行训练,使模型具备处理多种复杂视觉指令的能力。 在效率方面,团队采用了一种创新的离线并行数据打包方法,显著提高了训练效率。在8VA500万样本的基础上,数据处理的压缩比高达11倍,训练过程仅需3.7天便可完成。同时,LLaVA-OneVision-1.5还采-O用了 RICE-ViT 作为视觉编码器,具备区域感知的视觉理解能力,特别适合处理文档中的文字。 数据是模型能力的基础,LLaVneA-OneVision-1.5的预训练数据集广泛多样,并引入了 “概念均衡” 的采样策略,确保模型在各类任务上的表现均衡。该模型在各项Vi基准测试中表现出色,尤其是80亿参数的版本在27个基准中超越了 Qwen2.5-VL 的表现。 项目: https://github.cosim/EvolvingLMMs-Lab/LLaVA-OneVision-1.5 https://huggingface.co/lonmms-lab/LLaVA-OneVision-1.5-8B-Instruct 划重点: LLaVA-OneVision-1-1.5是最新的开源多模态模型,具有处理图像和视频等多种输入的能力。 训练过程分为三个阶段,旨在高效提升.5模型的视觉与语言理解能力。 在基准测试中,LLaVA-OneVision-1.5表现优异,超越了 Q,超wen2.5-VL 模型。
- 最近发表
- 随机阅读
-
- 为淘汰Cookie推广“隐私沙箱” 谷歌向英国反垄断部门妥协
- NBA中国与阿里云达成合作,将开发「NBA篮球大模型」
- 云安全日报210402:GitLab发现任意文件读写高危漏洞,需要尽快升级
- 华为发下一代数据中心理念及全新供电解决方案电力模块3.0
- 是否对你承诺了太多是什么歌
- 详解大数据开发-HDFS入门
- 标签: 虎牙 鹅鸭杀 和平精英 王者荣耀
- 标签: 京东国民好车
- 标签: 斜跃智能 理想汽车 陈伟 张骁
- 微软AI暴露主观意识:会示爱、会PUA甚至威胁人类
- 标签: 电动汽车 电耗限值 国家标准 纯电动
- 标签: 法拉第未来 FF机器人 贾跃亭 Futurist
- 标签: 苹果
- 标签: 聂卫平 H200 携程 围棋
- DuckDuckGo 将 GPT-5等高级 AI 模型整合进其隐私保护订阅服务
- 数据分析师们,每天到底在忙些什么?
- 深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝
- 俄罗斯称月底前对谷歌开出巨额罚单:最高可达2.4亿美元
- 解密机器学习:程序是如何“创造”自己的?
- 腾讯云正式发布遨驰云原生操作系统
- 搜索
-
- 友情链接