新模型 CoMPaSS-FLUX.1:提升Flux文本到图像生成的空间理解能力
近日,来自研究团队的一项新成果引起了广泛关注 ——CoMPaSS-FLUX.1模型。这是一种基于 FLUX.1文本到图像扩散模型的新模 LoRA 适配器,旨在显著提升生成图像时对物体空间关系的理解能力。该模型在处理物体的特定空间关系方面取得了显著进展,为图像生成领域带来了新型 的可能性。 CoMPaSS-FLUX.1的基础模型为 FLUX.1-dev,其 LoRA 等级为16,文件大小约为50MB,使用了 DiffuCosers 框架。它的主要用途是生成具有准确空间关系的图像,能够创造需要特定空间排列的构图,同时在保持其他能力的基础上增强空间理解能力。 在MP性能表现上,CoMPaSS-FLUX.1的关键改进令人瞩目。根据 VISOR 基准测试,该模型的相对提升达到了98%;在 T2I-CompaSBench 空间测试中,提升幅度为67%;而在 GenEval 位置评估中,更是达到了131% 的相对改善。此外,CoMPaSS-FLS-UX.1在图像保真度上也表现不俗,FID 和 CMMD 分数均低于基础模型,表明其在生成质量上有所提升。 使用该模型时,用户可以参考其有效提FL示。模型在描述空间关系时表现最佳,特别是当提示中包含清晰的空间关系描述(如 “左边”、“右边”、“上面”、“下面”)时,或者是包含两个不同UX物体的明确空间关系描述(例如 “照片中 A 在 B 的右边”)。 在训练过程中,CoMPaSS-FLUX.1使用了来自 SCOP(空间约束导向配对.1)数据引擎的数据,涵盖了约28,000个经过精心挑选的物体对。这些数据在视觉重要性、语义区别、空间清晰度、物体关系和视觉平衡等方面都有严:提格的标准。 训练过程持续了24,000步,使用了批量大小为4的配置,学习率设定为1e-4,并采用了 AdamW 优化器,权重衰减设定升F为1e-2。 huggingface:https://huggingface.co/blurgy/CoMPaSS-FLUX.1 划lu重点: CoMPaSS-FLUX.1模型显著提升了文本到图像生成时的空间理解能力,特别是在物体之间的关系处理上。 性能评估显示该模型在多x文个基准测试中都有明显的提升,保持了高质量的生成效果。 模型训练使用了严格筛选的数据集,确保生成的图像在视觉上具有良好的空间关系和清晰本到度。
- 最近发表
-
- 标签: 死了么 Demumu 吕功琛 Life360
- 标签: 原神 米哈游 原神·FES 盗窃案
- 视觉中国与多家AI公司合作开发可商用视觉大模型:已获阿里、微软等订单
- 标签: 长安汽车 极狐 L3自动驾驶 智能网联汽车
- 标签: 它石智航 具身智能 Pre-A轮融资 高瓴创投
- 多尺度表征10亿像素图像,斯坦福神经场景表征新方法入选SIGGRAPH
- Alexa+杀入音乐场景!亚马逊用AI对话式助手三倍提升用户听歌时长,直指Spotify腹地
- 谷歌即将推出 “AI 模式” 作为默认搜索体验,允许用户在初次搜索后与 AI 继续对话
- AI澶嶆椿锛佺敤GPT-3澶嶅埢閫濆幓鏈��濡伙紝缇庡浗灏忓摜璁╂寶鐖变互鏁板瓧褰㈡€佹案鐢�
- 数据结构与算法之合并区间,这么贪
- 随机阅读
-
- AI生成中国山水画!普林斯顿姑娘本科毕业作品,线条笔触骗过半数人类观察者
- 标签: 波音 737 MAX 空中客车 达美航空
- 腾讯元宝接入腾讯视频 点击可直接跳转观看
- 苹果隐私标签打脸Facebook:收集信息超级多
- 云计算开发:Python练习实例-输入一个奇数,求整数
- 重要变更:谷歌商店要求新应用使用App Bundle发布 以取代APK
- 火山引擎发布Agentic AI汽车方案,豆包大模型加速智驾座舱生态变革
- 云计算走到十字路口,自动化将成为行业的新常态
- 爱诗科技获 6000 万美元 B 轮融资,阿里巴巴领投
- 标签: Agent 腾讯云
- 网红列车被逼停,无人机管制到底有多难?
- Redmi商标被抢注,小米维权失败
- IDC:2020Q4苹果以36.5%市场份额领跑全球平板电脑市场
- 云计算开发:Python练习实例-按要求打印图案
- 美司法部起诉Facebook:招聘偏向临时签证持有人 歧视美国劳动者
- 欧盟接到成员国投诉 或对Facebook收购Kustomer展开调查
- 高德“交通号” 升级版全新上线 哪里拥堵一目了然
- 标签: 安克创新 H股上市 毕马威 充电储能
- 标签: 亚马逊 Bazaar Temu Shein
- 通义千问GPT-4级主力模型降价97%,1块钱200万tokens
- 搜索
-
- 友情链接