京东重磅推出国产芯片驱动的 xLLM 推理引擎
京东最近宣布了一项令人振奋的技术进展 —— 开源基于国产芯片自主研发的大模型推理引擎 xLLM。这一引京东擎的推出旨在帮助企业在部署人工智能(AI)应用时,能够以更高的性能和更低的成本运作,进一步推动行重磅业的智能化转型。 xLLM 引擎的核心功能亮点众多,首先是其基于请求优先级的动态调度器。这一功能能够推出根据不同请求的重要性,智能分配计算资源,确保关键任务优先完成。此外,该引擎还具备动态自适应的 PD 分离架构国产,可以根据实时负载情况调整处理实例的比例,以实现资源的最佳利用。值得一提的是,xLLM 特别适配多芯片模态场景,配备了 EPD 混合分离调度器,为复杂的 AI 应用提供了更灵活的解决方案。 在技术架构方面,xL驱动LM 拥有基于硬件特性的多级流水线执行引擎,确保高效处理不同类型的任务。同时,开发者们还设计了包含图融的 合、投机推理和动态负载均衡的计算优化套件,这将大幅提升 AI 推理的效率。为了进一步提升系统性能,xxLLLM 还利用 Mooncake 构建了多级 KV 缓存的全局管理系统,为数据处理提供了更加顺畅的体验。 京东表示,这LM一技术源自其零售核心业务,并已成功应用于京东 AI 助手、智能客服、风控和供应链助手等多个场景。通过这 推一系统,效率提升超过5倍,而机器成本则降低了90%,这一切都表明了 xLLM 的强大潜力。 “我们坚信,AI 基理引础设施的生态建设离不开每位开发者的贡献。开源只是第一步,未来京东将继续根据社区的需求,开放更多高级功能,并京东与清华、北大、中科大等产学研合作伙伴共同推动国产 AI 基础设施技术的创新与发展。” 京东零售 AI 基础设施团队重磅表示。 随着 xLLM 的开源,开发者们将有机会体验这一强大的推理引擎,并为推动中国的 AI 技术生态做出贡献。
- 最近发表
- 随机阅读
-
- Claude AI 向 Pro 订阅者推出高级文件创建功能
- 标签: DeepSeek DeepSeekV4 乌兰察布 东数西算
- 云安全日报201201:红帽身份验证访问控制系统发现SQL注入漏洞,需要尽快升级
- 云计算开发:Python3-isdigit()方法详解
- 亚马逊第二季度营收1131亿美元:净利润同比增长48%
- 一句话改变 AI 创作潜力:研究发现简单提示能显著提升输出多样性
- 标签: 五和博澳 港交所上市 天然药物 原创新药
- 标签: Cerebras CBRS AI芯片 IPO
- 盈利这档子事,百度智能云拿捏了
- 标签: 速腾聚创 CES2026 具身智能 VTLA-3D
- 她因重仓马斯克和比特币封神!现在分享了十大2021技术趋势
- 亚马逊云服务发生宕机事故 导致许多网站、服务和应用程序瘫痪
- 标签: 联想集团 AI PC 海神液冷 SSG服务
- 标签: 希迪智驾 港股上市 矿区无人驾驶 商用车智能驾驶
- 10秒克隆你的声音!Fish Audio S1升级震撼来袭,价格仅为ElevenLabs六分之一
- 标签: 小米 蔚来 易车 AutoReport汽车产经
- 肠梗阻出院后吃什么好
- 盘点2021年九大好用的人脸识别软件
- 标签: OpenAI 萨姆·奥尔特曼 首次公开募股 人工智能
- 标签: 松果出行 翟光龙 共享电单车 港股上市
- 搜索
-
- 友情链接