谷歌的新系统捕捉字符 照亮几乎任何环境

即使是新手摄影师和摄像师也要依靠他们的手持设备来拍照或制作视频，通常会考虑到他们的物体的照明。灯光在电影制作、游戏和虚拟/增强现实环境中非常重要，可以创造或破坏场景以及场景中演员和表演者的素质。在计算机图形学和计算机视觉中，再现逼真的字符光照仍然是一个困难的挑战。

尽管体捕捉系统取得了重大进展，重点是具有高分辨率纹理的三维几何重建，如实现人脸真实形状和纹理的方法，但在恢复再现字符所需的光度特性方面所做的工作要少得多。这个系统的结果缺乏精细的细节，被摄体的阴影被提前烘焙成纹理。

谷歌的计算机科学家们正在用一个新颖全面的系统彻底改变这一领域的体积捕捉技术，该系统可以首次捕捉3D人体表现的全反射，并通过AR无缝集成到现实世界或电影、游戏等中的数字场景中。谷歌将于11月17日至20日在澳大利亚布里斯班的ACMS IGgraph Asia展示他们的新系统“可点燃的东西”。如今，SIGGRAP HAsia已进入第12个年头，吸引了来自世界各地最受尊敬的技术和创意人才，包括计算机图形、动画、互动、游戏和新兴技术。

这一领域取得了重大进展，业界称之为3D捕捉系统。通过这些复杂的系统，观众已经能够在大银幕上体验数字角色的生活，比如在大片中，比如《阿凡达》和《复仇者联盟》系列等等。

事实上，体积捕捉技术已经达到了很高的质量水平，但其中许多仍然缺乏真正的真实感。特别是这些系统虽然使用了绿屏的高端演播室设置，但仍然很难捕捉到人类的高频细节，只能还原固定的光照条件。这使得这些体积捕捉系统不适合在不同照明条件下对任何场景中的演员或表演者进行逼真渲染。

谷歌重新照明系统使其能够实时定制角色照明，或者在任何给定的场景或环境中重新照明。

他们在定制的测地球中记录了这一点，该球配备了331个定制的彩色LED灯(也称为光相位捕获系统)、一组高分辨率相机和一组定制的高分辨率深度传感器。Relights系统从近100个摄像头捕获约65GB/秒的原始数据，其计算框架可以有效处理这种规模的数据。

他们的系统捕捉一个人的反射率信息——光线和皮肤之间的相互作用是一个主要因素，即真实的数字人是如何出现的。以前曾尝试使用平面照明或所需的计算机生成的字符。它们不仅可以捕捉人的反射率信息，还可以记录人在体积内自由移动的时间。因此，他们可以在任何环境下重新点燃他们的动画。

历史上，照相机从单一角度和光照条件记录人。研究人员指出，这种新系统允许用户记录某人，然后从任何角度和照明条件下观察他们，而不需要绿色屏幕来创建特殊效果，并允许更灵活的照明条件。

表演者与环境之间的空间、光线和阴影的相互作用在创造存在感方面起着至关重要的作用。除了“剪切并粘贴”3D视频捕获，该系统还提供了记录某人的能力，然后将他们无缝地放置在一个新的环境中——无论是在他们自己的增强现实体验空间中，还是在虚拟现实、电影或游戏体验的世界中。

在SIGGRA PH Asia，Relightable团队将展示他们系统的组件，从捕获到处理到显示，以及每个阶段的视频演示。他们将向参与者展示建筑的内部和外部，描述他们在工作中面临的主要挑战，并展示一些很酷的应用程序和效果图。