您现在的位置是:热点 >>正文
清华与快手联手推出新型SVG扩散模型,训练效率暴增6200%
热点634425人已围观
简介...
在近期的科技界,VAE(变分自编码器)正在经历被逐步淘汰的尴尬局面,随着清华大学与快手可灵团队的合作清华,推出了一款名为 SVG(无 VAE 潜在扩散模型)的新型生成模型。此次创新不仅在训练效率上实现了6200与快% 的惊人提升,而且在生成速度上更是达到了3500% 的飞跃。
VAE 在图像生成领域的衰退,主要源于其存在的手联 “语义纠缠” 问题。也就是说,当我们尝试仅仅改变图像中某一特征(如猫的颜色)时,其他特征(如体型、表情)往往也会手推受到影响,导致生成的图像不够精准。为了解决这个问题,清华与快手的 SVG 模型采取了不同的策略,主动构建出新了一个融合语义与细节的特征空间。
在 SVG 模型的设计中,团队首先使用 DINOv3预训练模型作为语义提取器,该模型S型经过大规模的自监督学习,能够有效识别和分离不同类别的特征,解决了传统 VAE 模型中的语义混乱。此外,VG为了补充细节,团队还特别设计了一个轻量级的残差编码器,确保细节信息不会与语义特征相冲突。关键的分布对齐机制扩散则进一步增强了这两种特征的融合,保证了生成图像的高质量。
实验结果表明,SVG 模型在生成质量和多任务通用性方面模型,全面超越了传统的 VAE 方案。在 ImageNet 数据集上,SVG 模型在仅训练80个周期时,FID 值(衡量生,训成图像与真实图像相似度的指标)达到6.57,远超同规模的 VAE 模型;而在推理效率上,SVG 模型也显示出卓练效越的性能,在较少的采样步骤下即可生成清晰图像。此外,SVG 模型的特征空间还可直接用于图像分类、语义分割等率暴多种视觉任务,无需额外微调,大大提高了应用的灵活性。
清华与快手的这一新技术不仅为图像生成领域带来了革命性的增6变化,更有望在多模态生成任务中展现出强大的潜力。
论文地址:https://arxiv.org/pdf/220510.15301
Tags:
上一篇:标签: 享道出行
相关文章
连通系统与机器学习的 MLOps 挑战在哪?这篇文章讲清楚了
热点机器学习彻底改变了人们使用数据以及与数据交互的方式,提升了商业效率,从根本上改变了广告业的格局,全面变革了医疗健康技术。但是,机器学习若要继续扩大其影响力和影响范围,开发 pipeline 必 须得到...
【热点】
阅读更多加州率先立法监管AI聊天机器人:保护未成年人,最高罚款25万美元
热点美国加州在AI监管领域再次走在前列。州长加文·纽森周一签署了一项里程碑式法案,对AI伴侣聊天机器人实施监管,使加州成为全美首个要求AI聊天机器人运营商为AI伴侣实施安全协议的州。 这项名为SB243的...
【热点】
阅读更多密歇根州女子靠 ChatGPT 生成号码,赢得10万美元强力球大奖
热点据国外媒体报道,美国密歇根州的一位女性近日创造了一个充满趣味的彩票中奖故事:她透露自己是利用人工智能聊天机器人 ChatGPT 生成的一组号码,成功赢得了10万美元(约合70.9万元人民币)的强力球(...
【热点】
阅读更多