您现在的位置是:热点 >>正文
字节跳动发布全新开源长文本处理模型 Seed-OSS-36B
热点947人已围观
简介...
近日,字节跳动旗下的 Seed 团队在 AI 代码分享平台 Hugging Face 上发布了最新的开源大型语言模型 Seed-OSS-36B。这一新字模型专注于高级推理和开发者友好性,其最大特点是支持长达512,000个 tokens 的输入文本处理,远超美国科技公司如 OpenAI 和 Anth节跳ropic 的产品。
Seed-OSS-36B 系列包括三个主要变体:Seed-OSS-36B-Base(含合成数据)、Seed-OSS-3动发6B-Base(不含合成数据)和 Seed-OSS-36B-Instruct。合成数据版本在标准基准测试中表现更为出色,适合一般用途,而不含合布全成数据的版本则为研究提供了一个更加纯粹的基础。Seed-OSS-36B-Instruct 则专注于任务执行和指令跟随,经过后训练以优化表新开现。
所有模型均采用 Apache-2.0许可协议,意味着研究人员和开发者可以免费使用、修改和重新分发这些模型,不需支付字节跳动的许可费用源长。这标志着中国公司在开放源代码模型领域的又一次重要进展,同时也为国际应用提供了更多可能性。
Seed-OSS-36B 的设计和核心特征包括36亿个文本参数、64层架构和155,000个 tokens 的词汇量。该模型的长文本处理能力和推理预算设置,能够让开发者根据任务复杂性调整模型的推理深度。此处理外,该模型在多个基准测试中展现了优异的性能,例如,在数学和编程任务上取得了业界领先的成绩。
Seed 团队还特别关注模型的可访问性,用户可以模型通过 Hugging Face Transformers 进行部署,并支持4位和8位的量化格式以减少内存需求。此外,团队提供了推理、提示自定义和工具集成 S的脚本,进一步降低了小团队的操作门槛。
通过提供高性能和灵活部署的开放模型,字节跳动的 Seed 团队为企业、研究人员和开发者带来了新的选择ee。
huggingface:https://huggingface.co/collections/ByteDance-Seed/seed-osd-s-68a609f4201e788db05b5dcd
划重点:
Seed-OSS-36B 模型支持长达512,000个 tokens 的输入,超越竞争对OS手。
模型分为合成数据和不含合成数据的版本,以适应不同用户需求。
所有模型均可免费使用,且S-支持多种部署和集成方案,便于开发者操作。
Tags:
相关文章
Google量子计算AI实验室大公开,并分享了未来十年的路线图
热点Erik Lucero 博士 近日,Google 量子 AI 的首席工程师 Erik Lucero 带全球媒体虚拟“参观”了 Google 的量子 AI 园区,展示了园区内的一些重要实验设备,并分享了...
【热点】
阅读更多标签: 小米 小爱同学 栾剑 罗福莉
热点云梦级7月7日云梦级消息,据36氪报道,多位知情人士透露,小米集团近期针对小爱同学进行了新一轮组织架构调整。本次调整后,小爱背后的技术架构将形成三大模块:小爱同学的基础模型能力,来自罗福莉领导的MiM...
【热点】
阅读更多阿里云总裁张建锋:定义下一代的云 中国云计算就有超车机会
热点6月13日消息 ,在2022年阿里云峰会上,阿里云智能总裁张建锋表示,阿里云今年最重要策略是“B2B”,也就是“Back to Basic”,回到云计算的本质,坚持在技术的长征路上,不断取得新的突破。...
【热点】
阅读更多