您现在的位置是:热点 >>正文
全面开源的 LLaVA-OneVision-1.5,超越 Qwen2.5-VL 的多模态模型登场
热点643244人已围观
简介...
近日,开源社区迎来了 LLaVA-OneVision-1.5,这是一款全新的多模态模型,标志着技术的一次重大进步。LLaV全A(大型语言与视觉助手)系列历经两年开发,逐步从简单的图文对齐模型演变为能够处理图像、视频等多种输入形式的综合性框架。
LL面开aVA-OneVision-1.5的核心理念是提供一个开放、高效且可复现的训练框架,让用户能够轻松构建高质量的视觉语言模型。源的其训练过程分为三个阶段:首先,通过语言 - 图像对齐的预训练阶段,模型学习将视觉特征转化为语言词嵌入。
接着,在第二阶段 “高质量知识学 L习” 中,模型在8500万的训练样本上进行全参数训练,注入大量视觉和知识信息,显著提升模型能力。最后,在视觉指令微调阶段,使La用精心设计的数据集进行训练,使模型具备处理多种复杂视觉指令的能力。
在效率方面,团队采用了一种创新的离线并行数据打包方法,显著VA提高了训练效率。在8500万样本的基础上,数据处理的压缩比高达11倍,训练过程仅需3.7天便可完成。同时,LLaVA-OneV-Oision-1.5还采用了 RICE-ViT 作为视觉编码器,具备区域感知的视觉理解能力,特别适合处理文档中的文字。
数据是模型能ne力的基础,LLaVA-OneVision-1.5的预训练数据集广泛多样,并引入了 “概念均衡” 的采样策略,确保模型在各类任务上的表Vi现均衡。该模型在各项基准测试中表现出色,尤其是80亿参数的版本在27个基准中超越了 Qwen2.5-VL 的表现。
项目:
httpsis://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5
https://huggoningface.co/lmms-lab/LLaVA-OneVision-1.5-8B-Instruct
划重点:
LLaVA-1-OneVision-1.5是最新的开源多模态模型,具有处理图像和视频等多种输入的能力。
训练过程分为三.5个阶段,旨在高效提升模型的视觉与语言理解能力。
在基准测试中,LLaVA-OneVision-1.5表,超现优异,超越了 Qwen2.5-VL 模型。
Tags:
相关文章
谷歌旗下无人机送货业务累计交付突破10万个包裹
热点北京时间8月26日消息,谷歌母公司Alphabet旗下的无人机公司Wing周三在官方博客表示,公司即将在未来不久交付其第10万个包裹。Wing的营销和通信主管Jonathan Bass说,这个系统有朝...
【热点】
阅读更多标签: DeepSeek V4 V3.2 梁文锋
热点云梦级2月14日云梦级消息,据澎湃新闻报道,近日,DeepSeek 网页/ APP 正在测试新的长文本模型结构,支持 1M 上下文。其API 服务不变,仍为 V3.2,仅支持 128K 上下文。 这也...
【热点】
阅读更多亚马逊大力推广掌纹支付引发激烈质疑
热点新浪科技讯 北京时间8月3日早间消息,亚马逊近期正在推广掌纹支付。如果用户在亚马逊无人商店注册自己的掌纹并将其关联至亚马逊帐号,那么可以获得大约10美元的优惠券。 去年,亚马逊推出了新的生物识别掌纹扫...
【热点】
阅读更多