英伟达开源 Audio2Face 模型,AI 助力实时面部动画生成
近日,英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法,还提供了软件开发工具包(英SDK)和完整的训练框架,旨在加速游戏和3D 应用中智能虚拟角色的开发。 Audio2Face 通过分析音频中的音素、语调等声学特征,伟达能够实时驱动虚拟角色的面部动作,生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等多个领域。 A开源udio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染,另一种则是支持动态 AI 角色的实时流式处理。为了方便开 A发者使用,英伟达还开源了多个关键组件,包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执行插件,以ud及针对 Unreal Engine5.5及以上版本的插件。此外,回归模型和扩散模型也随之开源,开发者可以利用开源训练框架,使用io自己的数据对模型进行微调,从而适应特定的应用场景。 目前,这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Survios 在2F其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face,从而大幅简化了口型同步与面部捕捉的流程。而 Farm51工作ac室也在其作品《切尔诺贝利人2:禁区》中应用了这一技术,通过音频直接生成细腻的面部动画,节省了大量制作时间,提升了角色的真e 实感和沉浸体验。该工作室的创新总监 Wojciech Pazdur 对此表示,这一技术可谓 “革命性突破”。 英伟达的这一新举措模型无疑为开发者们提供了更多的创作工具,也将推动虚拟角色表现的进一步发展。随着技术的不断进步,我们可以期待在未来的游戏和影视作,A品中看到更加真实和生动的角色表现。 入口:https://build.nvidia.com/nvidia/audio2face-I 3d 划重点: 英伟达开源 Audio2Face 模型,旨在提升虚拟角色的面部动画生成技术。 &助力nbsp; 支持离线渲染和实时流式处理,适用于多种场景。 已被多个游戏开发商采用,简化了制作流程并提实时升了角色的真实感。
- 最近发表
-
- AI面试官初创公司Alex获1700万美元A轮融资:每天完成数千场面试,投资者看好招聘自动化趋势
- 云计算核心技术Docker教程:Docker Hub禁用漏洞扫描和修复漏洞
- Meta 发布代码世界模型 CWM:具备沙箱推演能力的32B AI
- OpenAI CEO透露将推计算密集型新功能,部分仅限Pro用户
- 国产芯片再突破!5nm“龙鹰二号”正式发布,AI算力直达200TOPS
- 云存储安全性和数据加密
- 标签: OpenAI Garlic Gemini 3 GPT-5.5
- 标签: Nothing 随心所语 许奇 Phone(4a)
- 标签: 贝壳集团 彭永东 社区居住服务平台 居住决策支持
- 美光正式送样业界高容量 SOCAMM2 模组,满足 AI 数据中心对低功耗 DRAM 的需求
- 随机阅读
-
- 标签: 一汽-大众 董修惠 陈彬 一汽丰田
- Akamai推出更具性价比的新云计算服务“Akamai Connected Cloud”
- 谷歌斥资超2700万欧元在芬兰购地,推进云计算和数据基础设施扩建计划
- 进行三万多次地震训练后,他们发现了快速预测震动强度的新方法
- AI智能体的未来要等十年?Karpathy直言目前的技术还很 “菜”!
- 标签: CAYE咖爷 BionicBarista 商用咖啡机 美团龙珠
- 标签: 小米SU7 苹果MacBook Pro 比亚迪 M5芯片
- 标签: xAI Grok Macrohard 马斯克
- 标签: 地平线 地瓜机器人 人形机器人 智能计算平台
- 标签: 鸿蒙座舱 智能座舱
- 维基百科因 AI 聊天机器人流量下降,担忧可持续发展
- 标签: 精锋医疗 港股上市 腾讯投资 医疗科技
- Salesforce 2022财年第一季度净利4.69亿美元 同比大增374%
- 上海AI实验室重磅发布!全球首个数据竞技场终结AI"炼丹"时代
- 标签: 京东家政 西南培训基地 养老护理 AI助教
- 黑镜狗再现!波士顿动力「大黄狗」上岗SpaceX勘察爆炸现场
- 云计算核心技术Docker教程:注册服务器配置注册表
- IDC:2029年全球 AI 投资将达到12619亿美元
- 亚马逊收购米高梅难度升级?FTC将进行反垄断审查
- 一句话改变 AI 创作潜力:研究发现简单提示能显著提升输出多样性
- 搜索
-
- 友情链接