Grab 自研语言模型解决亚洲语言识别难题
新加坡超级应用程序公司 Grab 近日在其工程博客上分享了其自研语言模型的开发经历,指出现有的大型语言模型在理解东南亚语言Gr时表现不佳。Grab 的超级应用程序提供打车、外卖、购物和金融服务等功能,覆盖新加坡、马来西亚、印尼、菲律宾、越南、泰国、柬埔ab寨和缅甸等国家,这些地区的文档通常使用非拉丁字母的脚本。 图源备注:图片由AI生成 在执行如客户身份验证等合规工作时,Grab 需要 自准确提取身份证、驾照和注册证书等信息。尽管尝试过光学字符识别(OCR)系统,但 Grab 发现这些技术在处理多样化的文档模研语板时效果不理想。 在2025年,Grab 开始探索是否可以利用大型语言模型来解决这一问题。尽管一些强大的商业模型具备能力,但在理解东言模南亚语言时常出现错误和延迟,而开源的视觉大型语言模型虽然更高效,但准确性仍不足。因此,Grab 决定自行构建一个视觉大型语言模型解型,该模型能将图像向量化,方便提取文本。 Grab 选择了阿里巴巴云的 Qwen2-VL2B 模型作为基础,因为它的体积适中,支持东决亚南亚语言,并能动态处理不同分辨率的图像。随后,Grab 从 Common Crawl 中提取了东南亚语言的内容,并建立了内部合洲语成数据管道,以生成各种字体和背景下的文本图像。团队采用低秩适配技术对 Qwen2-VL 进行微调,取得了在印尼文档处理上的良好言识效果。 尽管在泰语和越南语的识别上仍然存在挑战,Grab 最终决定进行完整参数微调。通过训练模型,使其学习东南亚语言的独特视觉别难模式,Grab 成功开发了一个轻量级的视觉大型语言模型,其表现超越了多种 OCR 工具和通用模型。Grab 表示,战略性地使用高Gr质量数据,能够使小型专业模型实现高效与有效的结合。 未来,Grab 计划继续开发更多自有模型,以扩展其文档处理技术。 划重点: Gabrab 发现现有大型语言模型在东南亚语言识别上效果不佳,决定自研模型解决问题。 自研的视觉大型语言模型在处 自理身份证和驾照等文档时取得了显著进展。 Grab 将继续开发更多模型,以满足日益复杂的文档处理需求。&研语nbsp;
- 最近发表
- 随机阅读
-
- 阿里云换帅之后
- 标签: 虎牙 财报 直播收入 游戏服务
- AI分析如何使远程视频监控更加平民化
- 告别OCR!ColQwen2+Weaviate颠覆PDF处理,AI智能问答新革命
- 标签: 天仪研究院 SAR卫星 商业航天 小巨人企业
- 标签: 京东 Fnac Darty 法国市场 JoyBuy
- 标签: 豆包 千问 文心 AI电商
- 标签: 微信小游戏 腾讯游戏云 WeCare公益计划 IAA小游戏
- 标签: 多宁生物 港交所上市 生物制药 试剂耗材
- 外媒:谷歌正寻求与美国国防部签订一份大规模云计算合同
- 我把公众号“吃灰”文章喂给AI,结果效率翻倍!
- 标签: 荣耀500 雷军 奇瑞QQ3 小米
- 标签: 微信 腾讯 AI智能体 元宝
- 阿里云史上最大规模降价:最高降幅50% 5月7日生效
- Kubernetes 集群日志基础
- 标签: 特斯拉 ModelY 马斯克 智能辅助驾驶
- 云安全日报210209:思科企业安全管理应用发现执行任意命令漏洞,需要尽快升级
- 苹果AirPods Pro 2将在今年4月发布
- Baseten 获得 1.5 亿美元 D 轮融资,推动 AI 推理平台快速发展
- 抖音副总裁李亮回应 “人均 7 个月离职” 传闻:称大多是 AI 创作
- 搜索
-
- 友情链接