您现在的位置是:热点 >>正文
Grab 自研语言模型解决亚洲语言识别难题
热点994345人已围观
简介...
新加坡超级应用程序公司 Grab 近日在其工程博客上分享了其自研语言模型的开发经历,指出现有的大型语言模型在理解东南亚语言Gr时表现不佳。Grab 的超级应用程序提供打车、外卖、购物和金融服务等功能,覆盖新加坡、马来西亚、印尼、菲律宾、越南、泰国、柬ab埔寨和缅甸等国家,这些地区的文档通常使用非拉丁字母的脚本。
图源备注:图片由AI生成
在执行如客户身份验证等合规工作时,G 自rab 需要准确提取身份证、驾照和注册证书等信息。尽管尝试过光学字符识别(OCR)系统,但 Grab 发现这些技术在处理多样研语化的文档模板时效果不理想。
在2025年,Grab 开始探索是否可以利用大型语言模型来解决这一问题。尽管一些强大的商业模型具备能言模力,但在理解东南亚语言时常出现错误和延迟,而开源的视觉大型语言模型虽然更高效,但准确性仍不足。因此,Grab 决定自行构建一个视觉型解大型语言模型,该模型能将图像向量化,方便提取文本。
Grab 选择了阿里巴巴云的 Qwen2-VL2B 模型作为基础,因为它的体决亚积适中,支持东南亚语言,并能动态处理不同分辨率的图像。随后,Grab 从 Common Crawl 中提取了东南亚语言的内容,并建立了内洲语部合成数据管道,以生成各种字体和背景下的文本图像。团队采用低秩适配技术对 Qwen2-VL 进行微调,取得了在印尼文档处理上的言识良好效果。
尽管在泰语和越南语的识别上仍然存在挑战,Grab 最终决定进行完整参数微调。通过训练模型,使其学习东南亚语言的独特视别难觉模式,Grab 成功开发了一个轻量级的视觉大型语言模型,其表现超越了多种 OCR 工具和通用模型。Grab 表示,战略性地使用高质Gr量数据,能够使小型专业模型实现高效与有效的结合。
未来,Grab 计划继续开发更多自有模型,以扩展其文档处理技术。
划重点:
Grab 发ab现现有大型语言模型在东南亚语言识别上效果不佳,决定自研模型解决问题。
自研的视觉大型语言模型在处理 自身份证和驾照等文档时取得了显著进展。
Grab 将继续开发更多模型,以满足日益复杂的文档处理需求。&n研语bsp;
Tags:
相关文章
瑞士三强联合发布开源大模型Apertus 挑战美国科技巨头
热点近日,瑞士联邦理工学院洛桑分校(EPFL)、苏黎世联邦理工学院(ETH Zurich)以及瑞士国家超级计算中心(CSCS)联合发布了一个名为 “Apertus” 的大规模开源语言模型。该模型的名字在拉...
【热点】
阅读更多OpenAI 董事会主席 Bret Taylor 谈人工智能泡沫:机遇与挑战并存
热点在最近的一次采访中,OpenAI 董事会主席 Bret Taylor 对人工智能(AI)领域的现状表达了看法。他认为,当前我们正处于一个人工智能泡沫之中,这与互联网在 90 年代末的泡沫有相似之处。在...
【热点】
阅读更多X 平台优化链接处理,力求提升用户留存率
热点近日,X 平台宣布将对其链接处理方式进行一系列调整,以提升用户在应用内的互动率。根据最新消息,X 正在测试一种新的链接展示方式,特别是在 iOS 系统上。这项新功能的核心在于,当用户点击链接时,原始帖...
【热点】
阅读更多