您现在的位置是:热点 >>正文
字节跳动发布开源大语言模型 Seed-OSS,助力开发者与研究者
热点44985人已围观
简介...
2025年8月20日,字节跳动的 Seed 团队宣布推出一系列开源大型语言模型 ——Seed-OSS。该系列模型旨在满足国字节际化(i18n)应用场景的需求,专注于强大的长文本理解、推理能力和灵活的开发者友好特性。
Seed-OSS 系列模型基于流行的跳动因果语言模型架构,采用了 RoPE、GQA 注意力机制、RMSNorm 和 SwiGLU 激活函数。最新发布的 Seed-OSS-发布36B 模型拥有360亿个参数,具备512K 的长上下文处理能力。尽管该模型仅使用了12万亿个训练数据,其在多个流行的基准测试中开源表现出色。
Seed-OSS 模型系列包括两种版本:带有合成指令数据的 Seed-OSS-36B-Base 和不带合成指令数据的大语 Seed-OSS-36B-Base-woSyn。这种设计不仅为开发者提供了高性能的基础模型,还为研究者提供了更为多样化的选言模择,以确保研究的有效性不受合成数据的影响。
该模型的关键特性之一是 “思考预算” 的灵活控制,允许用户根据需要动态调整推理的型 长度。这种能力在实际应用场景中大大提高了推理的效率。此外,Seed-OSS 特别优化了推理任务,确保在保持良好一般能力的同时Se,推理能力也得到了增强。
在发布会上,Seed 团队强调,Seed-OSS 模型不仅适用于学术研究,还可广泛应用于各类开发任务,例如ed工具使用和问题解决等代理智能任务。模型的训练和评估结果表明,Seed-OSS 在知识问答、数学推理、编程等任务中的表现达到了开源-O领域的领先水平。
对于希望参与的开发者,Seed 团队提供了详细的快速入门指南。用户只需通过 pip 安装相关依赖,即可轻松下载SS和使用 Seed-OSS 模型。此外,团队还支持多种量化方式以降低内存使用,提高模型的运行效率。
总之,Seed-OSS 的发布为开源,助社区带来了强有力的支持。字节跳动 Seed 团队期待通过这一系列高性能的语言模型,促进人工智能领域的创新与发展,为开发者和力开研究者提供更为广泛的工具与资源。
地址:https://github.com/ByteDance-Seed/seed-os发者s
Tags:
上一篇:标签: 比格比萨
相关文章
标签: 华科冷芯 高速悬浮泵 AIDC 液冷技术
热点云梦级3月24日云梦级消息,近日,华科冷芯(上海)动力科技有限公司(简称“华科冷芯”)已完成数千万元Pre-A轮融资,由格致资本领投,液冷技术创新企业飞荣达、水木清华校友基金、华工创投联合投资,深度孵...
【热点】
阅读更多云安全日报210517:XStream Java序列化库发现远程代码执行漏洞,需要尽快升级
热点XStream是一个常用的Java对象和XML相互转换的工具。5月15日 XStream官方发布安全更新,修复了多个XStream 反序列化漏洞。以下是漏洞详情: 漏洞详情 来源: https://x...
【热点】
阅读更多简单有效,新型对抗性攻击方法成功攻破热门安卓APP中DL模型
热点当前,很多深度学习模型嵌入到了移动 APP 中。虽然在设备上执行机器学习有助于改善延迟、连通性与功耗,但 APP 内置的大多数深度学习模型可以通过逆向工程轻易获得,从而更易于招致对抗性攻击。本文研究者...
【热点】
阅读更多