清华与快手联手推出新型SVG扩散模型,训练效率暴增6200%
在近期的科技界,VAE(变分自编码器)正在经历被逐步淘汰的尴尬局面,随着清华大学与快手可灵团队的合作清华,推出了一款名为 SVG(无 VAE 潜在扩散模型)的新型生成模型。此次创新不仅在训练效率上实现了6200与快% 的惊人提升,而且在生成速度上更是达到了3500% 的飞跃。 VAE 在图像生成领域的衰退,主要源于其存在的 “语义纠手联缠” 问题。也就是说,当我们尝试仅仅改变图像中某一特征(如猫的颜色)时,其他特征(如体型、表情)往往也会手推受到影响,导致生成的图像不够精准。为了解决这个问题,清华与快手的 SVG 模型采取了不同的策略,主动构建了一个融合出新语义与细节的特征空间。 在 SVG 模型的设计中,团队首先使用 DINOv3预训练模型作为语义提取器,该模型经过型S大规模的自监督学习,能够有效识别和分离不同类别的特征,解决了传统 VAE 模型中的语义混乱。此外,为了补充细节,VG团队还特别设计了一个轻量级的残差编码器,确保细节信息不会与语义特征相冲突。关键的分布对齐机制则进一步增强了扩散这两种特征的融合,保证了生成图像的高质量。 实验结果表明,SVG 模型在生成质量和多任务通用性方面,全面超模型越了传统的 VAE 方案。在 ImageNet 数据集上,SVG 模型在仅训练80个周期时,FID 值(衡量生成图,训像与真实图像相似度的指标)达到6.57,远超同规模的 VAE 模型;而在推理效率上,SVG 模型也显示出卓越练效的性能,在较少的采样步骤下即可生成清晰图像。此外,SVG 模型的特征空间还可直接用于图像分类、语义分割等多种率暴视觉任务,无需额外微调,大大提高了应用的灵活性。 清华与快手的这一新技术不仅为图像生成领域带来了革命性的变化,增6更有望在多模态生成任务中展现出强大的潜力。 论文地址:https://arxiv.org/pdf/251200.15301
- 最近发表
- 随机阅读
-
- 标签: 神州半导体 IPO 半导体设备 大基金二期
- 标签: OpenAI GPT-5.4 人工智能 超级AI应用
- 标签: AMD MI455X OpenAI AI芯片
- 标签: 耀速科技 器官芯片 FDAAISTAND AIfor3DBiology
- 照片和图像的云存储:如何为您的工作选择最佳的云
- 标签: 明略科技 数据智能服务 营销智能服务 智能体化服务
- 标签: 华盛雷达 科创板 招股书
- Anker推出 AI 语音记录器,尺寸仅如硬币般小巧
- Beatoven.ai 推出全新音乐 AI 模型,确保艺术家获得持续收入
- DeepSeek 模型在港大美股交易竞赛中夺冠,年化回报率10.61% 远超 GPT、纳斯达克基准
- 小米AI眼镜上线支付宝看一下支付,支付成智能眼镜标配
- 标签: 亚马逊 杨钧 AGS 裁员
- 辞任亚马逊CEO 贝索斯“急流勇退”
- 标签: 逐际动力 LimX COSA Oli 具身智能
- 亚马逊CEO接班人贾西:致力于开发电子游戏
- AI演示文稿工具Prezent融资3000万美元:估值4亿美元,首次收购剑指生命科学领域
- 标签: 多益网络 徐波 汤某 神武
- Snapchat免费开放“Imagine Lens”:首款开放式AI图像生成功能面向所有用户
- 云计算核心技术Docker教程:Docker创建和管理卷
- Gemini2.5Computer Use:谷歌推出“看”懂网页的 AI 代理模型
- 搜索
-
- 友情链接