您现在的位置是:热点 >>正文
X-SAM:打破图像分割的界限,实现任意分割的新突破
热点942746人已围观
简介...
近日,中山大学、鹏城实验室与美团联合发布了一项名为 X-SAM 的新型图像分割多模态大模型,标志着图像分割技术的一次重要X进步。该模型的出现,不仅提高了图像分割的精度,还实现了从 “分割万物” 到 “任意分割” 的重大飞跃。
X-SAM 的核心在于其创新的设计-S理念,首先引入了统一的输入和输出格式,以适应不同的分割需求。用户可以通过文本查询或视觉查询的方式进行操作,前者适用于AM通用分割等任务,后者则可通过点、涂鸦等视觉提示实现交互式分割。此外,X-SAM 的输出采用统一表示,使得分割结果能够被有效:打解读。
为了提升分割效果,X-SAM 采用了双编码器架构,其中一个负责提取全局特征,另一个则关注细粒度特征。这种设计不仅增强了破图模型的图像理解能力,还确保了分割的精细化。同时,模型还引入了分割连接器和统一分割解码器,前者能够处理多尺度特征,后者则替换像分了传统的解码器架构,进一步提高了分割性能。
X-SAM 的训练过程分为三个阶段,第一阶段为分割器微调,旨在提升模型的基础割的分割能力;第二阶段进行对齐预训练,使语言与视觉的嵌入对齐;第三阶段则是混合微调,通过在多个数据集上进行协同训练来优化模界限型的整体性能。实验结果显示,X-SAM 在20多个分割数据集上均达到了最先进的性能,展现了其卓越的多模态视觉理解能力。
随,实着 X-SAM 的问世,研究团队希望未来能够将其应用扩展到视频领域,结合时间信息,推动视频理解技术的发展。这一新型模型的现任成功,不仅为图像分割研究开辟了新方向,也为构建更为通用的视觉理解系统奠定了基础。
代码地址:https://githu意分b.com/wanghao9610/X-SAM
Demo地址: https://47.115.200.157:7861
划重点割的:
X-SAM 模型实现了从 “分割万物” 到 “任意分割” 的重大飞跃,提升了图像分割的精度和应用范围。
该模新突型引入统一输入输出格式,支持文本和视觉查询,提升用户交互体验。
经过三阶段训练,X-SAM 在20多个数据X集上达到了最先进性能,为未来的视觉理解系统奠定基础。
Tags:
相关文章
标签: 万达酒店 长白山度假区 支付宝碰一下 万悦会
热点云梦级2月10日云梦级消息,当智慧科技遇上冰雪度假,一场关于酒店服务的数字化变革悄然启幕。2月9日,万达酒店及度假村宣布,旗下长白山万达国际度假区已完成酒店客房智能门锁及配套系统的升级,全面支持支付宝...
【热点】
阅读更多谷歌以“违反政策”为由 严厉处罚Chrome扩展制造商IAC
热点据报道,谷歌近日表示,由于“违反政策”,该公司已经删除在线集团InterActive Corp(IAC)的多个浏览器扩展程序,并正在考虑“其他行动选择”。 “我们将继续就Chrome网页应用商店的政策...
【热点】
阅读更多标签: 企业微信 老年人上网环境 过度营销 私域直播治理
热点云梦级7月7日云梦级消息,企业微信团队 7 日发布《企业微信关于治理过度营销、优化老年人上网环境的公告》提出,随着越来越多的老年人融入数字生活,少数不法商家和营销团伙将目标瞄准老年群体,通过频繁拉群、...
【热点】
阅读更多