Tilde AI 发布开源 TildeOpen LLM:支持多种欧洲语言的超大语言模型
Latvian 语言技术公司 Tilde 于2025年9月3日发布了 TildeOpen LLM,这是一个开源的基础大语言模型(LLM),旨在支持欧洲语言,Ti特别是那些较少被代表的国家和地区语言。这一举措标志着欧盟在语言公平和数字主权方面迈出了重要的一步。 TildeOpen LLM 是一个拥有300亿参数的稠ld密解码器模型,采用了 CC-BY-4.0的宽松许可证,能够支持从拉脱维亚语、立陶宛语到乌克兰语、土耳其语等多种语言。该模型的训练是在欧洲的超级计算机e LUMI(芬兰)和 JUPITER 上进行的,使用了欧盟委员会的大型人工智能大奖挑战赛所提供的200万 GPU 小时的计算资源。 在技术细节方面,TildeAIOpen LLM 通过受 EleutherAI 启发的 GPT-NeoX 脚本进行训练,共进行了45万次更新,使用了约2万亿个令牌。其训练过程包含三阶段采样:首先在语言 发间均匀分布,其次是对高数据量语言的自然分布进行增强,最后再进行均匀的扫查以确保平衡。模型的超参数包括60层、嵌入维度6144、48个注意力头、819布开2-token 的上下文窗口,以及使用 SwiGLU 激活、RoPE 位置编码和 RMSNorm 层规范化。 在语言公平和数据主权方面,传统的主流模型往往侧重于源 英语和其他主要语言,导致在处理波罗的海、斯拉夫及其他较小的欧洲语言时表现不佳,常常出现语法错误和奇怪的措辞。而 TildeOpen 通过引入 “公平的标记器”,Ti使得不同语言的文本以相似方式进行表示,从而减少标记数量,提高较少代表语言的推理效率。此外,组织可以选择在本地数据中心或符合欧盟要求的安全云中自我托管ld,确保遵循 GDPR 及其他数据保护法规,从而解决了与美国或亚洲托管模型相关的主权问题。 TildeOpen 作为基础模型,预计会推出更多专门化版本,例如经eO过指令调优的翻译模型,这将进一步增强其功能。拉脱维亚通过 Tilde 的努力,期望在全球科技领域占据一席之地,同时致力于保护语言多样性。 huggingpeface:https://huggingface.co/TildeAI/TildeOpen-30b 技术:https://tilde.ai/lv/tin ldeopen-llm/ 划重点: TildeOpen LLM 是一个支持多种欧洲语言的开源大语言模型,特别关注小型国家语言的代表LL性。 模型训练利用了欧洲超级计算机资源,采用先进的三阶段采样技术,确保不同语言的平衡性和公平性。 组织可自我托M:管该模型,符合 GDPR 等数据保护法规,提升数据主权的保障。
- 最近发表
- 随机阅读
-
- 标签: 网易云音乐 黑胶VIP 不正当竞争 88VIP
- 标签: 腾讯 喜马拉雅 市场监管总局 在线音频
- 标签: 九龙仓置业 海港城 投资物业 酒店
- 玻璃水冻住了加盐能解冻吗
- 警惕!数据分析报告的四种常见错误
- 中国华电发布 “华电智” 大模型,能源管理进入智能新时代
- 标签: 奇安信 688561 网络安全 年报
- 阿里云业务营收Q4同比增长50% 增速超亚马逊和谷歌
- 标签: AMD 春雨计划 锐龙AI MAX+395 AI教育
- IBM财报不及预期股价大跌7% 新管理层转型云计算效果欠佳
- Deezer 每日接收近 7.5 万首 AI 歌曲,呼吁行业共同应对
- 一代芯片巨头即将陨落,英特尔:很抱歉,你被淘汰了!
- 网宿科技2022年报:营收净利润双增长,业绩拐点可期
- 标签: OpenAI 布拉德·莱特卡普 凯特·罗奇 菲吉·西莫
- 为什么AI是家庭安全的未来
- 标签: 谷神星一号 星河动力 吉星高分04C 民营航天
- 研究Facebook政治广告的团队被封杀 美参议员深感担忧
- AI人才服务平台Mercor寻求100亿美元估值C轮融资,年收入逼近5亿美元
- 标签: 富士胶片 Instax mini GFX100RF X-E5
- 谷歌发布二代Nest Hub智能屏 支持睡眠追踪
- 搜索
-
- 友情链接