首页 > 互联网 > 正文

当前速讯:OPPO发布最新AI技术,仅需几部手机,便可生成一个能熟练舞蹈的“数字分身”

2022-08-25 16:43:56来源:中关村在线  

当前,现实物理世界与虚拟数字世界从未如此特别地连接、发展着。很多人都梦想过上科幻电影演绎的生活——自由地在两个平行空间穿梭,运用虚拟化身学习、工作、娱乐,开启无限可能的第二人生。


(资料图)

OPPO正在将这样的“数字分身”自由从理想照进现实。通过自研结构化局部辐射场动态角色建模方法,OPPO在业界首次实现了自动为宽松着装人体创建动态数字孪生体的工作。AI算法仅通过分析手机摄像头拍摄的RGB视频,即可自动创建用户的“三维化身”,还原动态细节。

高效、便捷、易得,“数字分身”不再遥不可及

不穿戴全套动作捕捉设备,还要低成本、高效率、高质量的驱动虚拟世界的人物行为,是一件非常复杂且精细的事情。在操作层面,OPPO简化了三维人体采集、扫描、修复等步骤的门槛,同时大大提升了真实性和便捷性。来到OPPO数字分身实验室,模特只需在室内中央站好,舒展姿态,让几部OPPO Find X5 Pro手机进行多角度的拍摄,便可以完成人体形态的初步记录和数据收集,为更逼真的数字分身的生成打下基础。

仅需几部OPPO Find X5 Pro手机,便可以完成对模特人体形态的初步记录和数据收集

与普遍使用2D图片重建的方式不同,视频录制完成后,AI模型通过计算手机摄像头拍摄的RGB数据,可以自动生成3D人体模型,克服传统方法导致的重建误差。

AI模型通过计算手机摄像头拍摄的RGB数据,可以自动生成3D人体模型

为了进一步打造数字世界的舞蹈明星,OPPO找到专业舞者,通过对他的动态捕捉,预先锚定其舞动时的骨骼状态为节点,从而构建一组结构化的局部辐射场。

OPPO通过捕捉专业舞者的骨骼动态,构建一组结构化的局部辐射场

局部辐射场可以模拟其相应节点周围局部空间内的形状和外观,并根据身体姿态和服装样式的动态细节进行变化。值得一提的是,算法可以用残差运动(residual movements)更好体现出舞蹈时衣裙摆动的细微变化。基于此模型逻辑,神经网络可以掌握多样的舞种动作,让舞蹈梦想触手可及。未来,模型也可以不断学习,支撑更多应用场景,引领人们去亲身经历各种超越想象力的互动体验。

舞者的舞蹈姿势经过编码和渲染,仅需几小时,一个迈着酷炫流行舞步的“数字分身”最终生成。当音乐响起,孪生体化身与真实舞者同台“斗舞”,运动节拍准确、利落,脚步灵动,长裙也随着随舞步变化而轻微起伏、摇曳,与现实中的舞者别无二致。

仅需几小时,一个能熟练舞蹈的人体“数字分身”便可最终生成

立体、逼真、灵动,OPPO AI的全面突破

这一系列有趣画面的背后,是OPPO通过改进 NeRF(Neural Radiance Fields)创新的结构化局部辐射场动态角色建模方法。

传统的创建3D建模方法在观察和分离人体姿态与衣物形变之间面临着很大困难。在神经场景渲染技术的支持下,OPPO突破性地将传统NeRF模型分解为一组结构化的局部辐射场(structured local radiance fields),由身体骨架驱动,动态细节嵌入作为条件,提供了一种泛化性能更加的方案。

摒除了常见的全局规范场,局部辐射场表示方法可以更为细致的从粗到细分为三个层次:第一层是骨架运动;第二层是残差运动;第三层是时间变化细节,通过分层处理避免反向蒙皮的缺点,解决模糊性问题。由此一来,算法不仅在学习衣物logo、褶皱、层次和织物纹理等细节方面表现得更好,而且即使面对“未知”的场景,也能准确生成。不久的将来,每个人都有机会创造自己的全动画数字孪生体,在数字世界表达另一个自我。

一直以来,OPPO致力于通过技术创新为美好生活注入更多灵感。在OPPO数字分身实验室,我们将继续进行基础研究与应用,赋能千行万业。在健康领域,用户的数字分身可以还原肢体动作,帮助用户直观看到自己的动作形态与准确度,实现AI智能识别纠错和指导,甚至可以提前创造出拥有完美身材的“自己”,让居家健身更沉浸、更有趣;游戏动画设计师的创作灵感同样能与数字分身碰撞出新的火花,未来游戏或将基于真实人物动态进行塑造,从2D平面到3D立体,打造活灵活现的“真人化”原创角色;数字人作为虚拟世界的身份入场券,下一代XR融合场景、AR/VR世界中跨越时空的在线生活,也值得期待。

OPPO相信,数字分身将进一步协助人类社会发展,在娱乐、时尚、通信等领域开启前所未有的体验,激发创造活力,开启更智慧、更多可能的未来。

标签:

相关阅读

精彩推荐

相关词

推荐阅读