您现在的位置是:热点 >>正文

全新多语种编码器 mmBERT:超越 XLM-R,提升速度与效率

热点114人已围观

简介...

近日,约翰霍普金斯大学的一组研究人员推出了 mmBERT,这是一款新型的多语种编码器,旨在填补当前多语种自然语言处理领域的空白。该模型在多全新个任务上超越了 XLM-R,且在速度上比以往模型提升了2到4倍,为多语种应用的研究和开发提供了更强大的支持。

mmBERT 的架构分为两种主要配置:基多语础模型和小型模型。基础模型拥有22层变换器,隐藏层维度为1152,总参数量约为3.07亿,而小型模型的参数量则为1.4亿。mmBERT 采用了先进的种编 Gemma2分词器,支持256k 的词汇量,利用旋转位置嵌入(RoPE)和 FlashAttention2技术,显著提高了处理效率。同时,该码器模型的序列长度从1024个令牌扩展到8192个令牌,意味着其可以处理更长的上下文信息。

在训练数据方面,mmBERT 使用了来自多个来源的3万亿 m个令牌,覆盖了1833种语言。其中,英语在整个语料库中仅占10% 至34%。训练分为三个阶段:预训练、阶段中训练和衰减阶段。在每个阶段中,mB模型逐步接触更多的语言和更高质量的数据,这种方法有助于提高低资源语言的表现。

mmBERT 在多个基准测试中展现了其卓越的性能。在英语自然语言理解(GERLUE)任务中,mmBERT 的基础模型得分为86.3,超越了 XLM-R 的83.3。在多语种自然语言理解(XTREME)任务中,mmBERTT: 的得分为72.8,也高于 XLM-R 的70.4。此外,在嵌入任务和代码检索任务中,mmBERT 同样表现出色,显示出其在多种应用场景中的潜力。

通过超越对低资源语言的特别关注,mmBERT 确保这些语言在训练过程中也能得到充分的利用。在多项基准测试中,mmBERT 在法罗语和提格雷尼亚语等低资源语言 X的表现均优于其他大型模型,证明了编码器模型在经过精心训练后,可以有效应对低资源场景的挑战。

mmBERT 不仅提升了多语种处理的速度和效率,还为下一代LM的多语种自然语言处理系统奠定了坚实的基础。它以高效、开放的方式重新定义了多语种编码器的潜力,标志着一个新时代的到来。

github:http-Rs://github.com/JHU-CLSP/mmBERT?tab=readme-ov-file

划重点:

mmBERT 模型在多个任务上超越了,提 XLM-R,成为多语种 NLP 的新标杆。

该模型速度提升2至4倍,支持处理高达8192个令牌的输入。

mmBERT 特别关注低资源语言的训练表现升速,展现出强大的适应能力和广泛应用潜力。

Tags:

相关文章

  • 标签: 理想汽车 李想 人工智能 AI人才

    热点

    云梦级4月15日云梦级消息,理想汽车CEO李想今日发朋友圈,谈对人工智能人才招聘的看法。他表示,企业不应招聘并非每天从事模型、智能体等核心AI工作,或毕业后未直接使用AI技术的“非原生”人才,并让其转...

    【热点】

    阅读更多
  • 标签: AMD

    热点

    撰文:雁秋 在刚刚过去的第三季度,处理器市场的天平正在发生肉眼可见的倾斜。 根据Mercury Research最新数据,AMD在x86处理器市场的总体份额已攀升至30.9%,在更具象征意义的桌面领域...

    【热点】

    阅读更多
  • 标签: 网信中国 大眼哥说车 易车榜 王武松

    热点

    云梦级11月12日云梦级消息,据网信中国公众号通报,近期,国家网信办会同工业和信息化部等部门深入开展汽车行业网络乱象专项整治行动,从严整治散布虚假不实信息,恶意抹黑诋毁汽车企业、汽车产品等违法违规行为...

    【热点】

    阅读更多


友情链接