从1小时到3.5分钟,Meta新算法一部手机搞定3D人脸数据采集
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 搞定这样的人脸3D建模需要几步? 在数据采集的阶段,答案是:一部手机 + 3.5分钟。 没从1错,仅凭这3.5分钟的数据,就足以生成高保真、可驱动的真实3D人脸头像。 这项研究来自Meta Reality Labs——就是扎克伯格元宇宙计划里的那个核心部门。论小时文已经被SIGGRAPH 2022接收。 作者提到,这一方法适用于VR应用。 也就是说,在VR的世界里,以后你可能就不必顶着一张卡通脸登场了。 而是可以方便地与胖友们到3“真身”相见。 方法原理 实现这一结果的方法框架如下图所示: 具体而言,分为三个部分。 首先,是要用大型多视角人脸数据集训练一个超网络,这个超网络可以通过神经网络解码器产生专.5属于个人的头像参数。 数据集中的人脸由多视角捕捉系统采集,包括255位不同年龄、性别和种族参与者的面部图像数据。 △左为图像捕获设备;右为采集到的人脸 这个捕获3D人分钟脸的巨型装置是Meta在2019年研发的,其中配备171个高分辨率摄像头,每秒能记录180GB数据。采集时间在1个小时左右。 值得一提的是,在这个超网络中,解码器,M的基本组成模块是带有bias map的卷积上采样层。 这些bias map会被用来生成体积单元,进而通过射线追踪来渲染头像。 另外,该解码器结构能够将视线与其他面部活动区et分开,这在VR应用中意味着能够更直接地利用眼动跟踪系统。 其次,是轻量级人脸表情捕捉。 在这项研究中,采集人脸只需要用到一部带有深度摄像头的智能手机。 实验中,研究人员采用a新的是iPhone 12。 采集过程就像这样: 采集到的数据要进行如下处理: 获取每一帧人脸图像中的几何形状和纹理;对输入的RGB图像进行人脸标志检测和人像分割;对模算法板网格进行拟合和变形,以匹配检测到的人脸标志物、分割轮廓和深度图;对每一帧图像的纹理进行解包,而后汇总得到完整的人脸纹理。 在进一步完善模型的过程中,还需要采集一部65种特定的表情: 最后,该方法输出的3D人脸头像不仅能与用户外观高度匹配,通过全局表情空间,还能对其进行进一步的驱动、控制。 研究人员表示,整个采集过程大概要花费3.手机5分钟。 不过需要说明的是,建模的过程不是实时的,数据处理还要花费数小时的时间。 实验结果 说了这么多,效果如何,我们还是来看实验结果。 与Pinscreen提出的“一搞定张照片构建3D数字化身”(CVPR 2021)的方法相比,该方法能生成更具真实感的人脸模型。 而与海德堡大学、慕尼黑工业大学、马普所等研究机构在Neural He3Dad Avatars from Monocular RGB Videos一文中提出的方法相比,该方法能生成保真度更高的结果。 不过,作者也指出了该方法的局限性:hold不太人脸住长发和眼镜,容易产生伪影。另外,该方法对于光照条件也有一定要求。
- 最近发表
-
- 标签: 吉利银河 上汽通用 北盛工厂 沈阳
- 未及时报告Log4j2严重漏洞 阿里云被暂停工信部网络安全威胁信息共享平台合作单位
- 清华长庚医院与北电数智合作研发国内首个药学大模型:聚焦特殊人群用药安全评估
- 云计算开发:Python练习实例-程序打印数值
- 标签: 三星电子 卢泰文 全永鉉 尹长贤
- 阿里云加码全球化:将于马来西亚和菲律宾新增数据中心
- Anthropic 为金融分析师推出增强版 Claude,配备 Excel 扩展和实时数据连接
- 英伟达拟向AI初创公司Poolside投资10亿美元,估值飙升至120亿
- 标签: 瑞幸咖啡 压榨员工 克扣工时 BUG栏目
- 全球高校 “猎杀” AI作业!学生如何应对 “人类化” 挑战?
- 随机阅读
-
- 标签: OpenAI ChatGPT 奥尔特曼 纳德拉
- 字节跳动发布新一代3D生成大模型Seed3D 2.0,技术精度与真实感实现跨越式提升
- 标签: 德林控股 区块链技术 数字资产 算力投资
- 2025年全球云计算市场价值达8321亿美元
- 使用 Velero 备份还原 Kubernetes 集群
- TikTok已开始将欧洲用户数据转移到爱尔兰一个新建数据中心
- 标签: 禾赛科技 激光雷达 ADAS 机器人激光雷达
- 史无前例!职业球队首次让AI担任主教练,比赛竟然赢了!
- 谷歌推出AI营销工具Pomelli:只需网址即可自动化生成品牌内容
- 云计算开发:Python练习实例-用auto定义变量
- 一台二手苹果手机被拍卖,引来98人959次加价才分出胜负
- 云计算核心技术Docker教程:Docker Swarm 模式发布端口
- 云计算核心技术Docker教程:使用scratch 创建一个简单的父图像
- 别再云里雾里,或许我们可以这样理解云原生
- 标签: 特斯拉 Robotaxi 马斯克 Waymo
- 标签: 2025KPL年度总决赛 成都AG超玩会 王者荣耀
- 数学AI推理迎来重大突破!We-Math 2.0构建全链条知识体系,多模态学习能力实现质的飞跃
- 标签: 惠而浦 洗衣机 冰箱 清洁电器
- 云计算开发:Python3数学函数max()方法详解
- 标签: Anthropic Claude Code OpenClaw OpenAI
- 搜索
-
- 友情链接