..清华大学、弗吉尼亚理工与Facebook再度攻克3D照片技术

2020-05-27 01:29:11

hi188｜编纂

有关于2D图像转3D图片，或转移3D模型相关手艺，我们报道过多项研究，个中关于3D图片和3D摄影涉及最多的就是Facebook，与此同时包罗谷歌、微软、NVIDIA也已发布都在研究2D图像到三维模型（3D模型）之间的练习模型。

能够一定的是，在很长一段时间内，这种将2D图像改变3D结果或生成三维模型的AI手艺将施展伟大感化，例如应用到电子商务..，游戏，影视剧，公共娱乐应用等范畴有着极大价格。

今朝，在2D图像转3D照片，以及3D照片拍摄相关方面，Facebook已经提出初步构建了一套已有的拍摄方案，并在络续完美中。

而近期，弗吉尼亚理工学院暨州立大学、..清华大学、Facebook再次发布一项有关3D摄影的AI手艺论文，本研究着重改善了现有3D摄影中恍惚和不一连性等问题。

┃Facebook 3D摄影/3D图片手艺

在讲述新的研究之前，我们先往返顾一下Facebook现有的3D摄影和3D图像的研究功效。

2018年5月份的F8斥地者大会上，Facebook发布3D照片研究，其将嵌入Facebook信息流中，移动设备可经由摆布晃悠呈现3D景深结果，而PC端则可经由鼠标拖拽旁观立体结果，且仅支撑拥有“人像模式”的iPhone设备。

实际上，这项手艺初志是为了让用户更轻松的建立出3D图片或其他3D内容，而且让人人能够经由本身的手机完成。

其时Facebook给出的方案是，经由双摄手机拍摄统一图像并较量深度信息，然后进行深度信息解码，再连系单一摄像头拍摄多张图像，经由双组数据对比推算出图片中分歧深度数据，将图像进行分层从而实现三维拍摄的目的。

2020年2月，又发布了一项能够让2D照片转3D结果手艺，而方式适用于单摄像头手机，完全基于AI手艺实现，从而实现功能的互补，意味着几乎主流的智妙手机悉数支撑Facebook 3D照片。

比拟来看，这就是一套完全基于2D照片来实现模拟3D结果的升级版，其经由单目数据连系CNN模型，对算法要求更高，而且也需要前期进行大量数据实验储蓄，实现了在移动设备上快速处理，这对往后普及3D照片，甚至3D内容懂得、情况感知等范畴方面有极大的匡助。

┃新方式：单张RGB-D转换3D照片

固然说上述两个研究已经很超卓的完成了消费级场景的应用需求，然则为了知足将来潜在且普遍的3D照片需求，弗吉尼亚理工学院暨州立大学、..清华大学、Facebook近期发布了一项基于单目RGB-D图像完成3D照片转换。

简洁来说，这是一项将多个图层图像合作的新颖方式，甚至能够还原出原图中被遮挡的部门物体和颜色。个中对照要害的一个就是引入“图像修复模型”，该模型采用上下分层内容感知形式，来填充缺失部门的颜色和内容等细节。

与此同时，经由此方式生成的3D照片能够经由尺度图形引擎的活动视差来展示。最终究竟就是，3D照片的结果极为超卓。

分歧方式对比：a，图像缺失、扭曲；b，图像边缘拉伸；Facebook 3D照片结果；4，本方式最终结果

图像预处理过程：a-b，颜色和深度输入；c-d，使用双边滤波锐化；e，基于视差值检测不一连性；f，消弭子虚差值，优化图像边缘深度

图像前后感知处理过程：LDI画图算法、合成区域（红色）、合成区域宽度5个像素宽

经由上述对比图来看，我们原有的3D图像或许存在图像缺失、或许边缘拉伸情形，而Facebook 3D照片也存在边缘恍惚。

我们再来经由视频认识一下，该方式应用在最常见的家庭照片的结果。

上面的视频是多种分歧方式之间的对比。

此外，我们再来看2.5D视差、旧照片和Dolly Zoom场景的结果图：

Dolly Zoom结果图

2.5D视差结果图

旧照片的结果图

凭据论文自身的说法，在平常场景的照片中，本方式和高机能3D拍摄手艺结果根基接近。

┃3D照片就是将来？

当然，本方式也有它的局限性，那就是它要求的是RGB-D图像，必需要求带有深度信息。回过甚来看，也就是和Facebook最初发布的3D照片雷同，需要双摄版iPhone机型，而安卓设备今朝还不确定。不外，多摄像头机型越来越遍及，并且实现3D摄影的方式也越来越多，这点根基不消担心。

前面我们注释过，Facebook在3D照片轻易已经耕作许久，这背后的原因又是什么？

3D摄像手艺绝对是一种新颖且能带来更有趣的显现结果，比拟常规的2D照片要更有趣。然则，以往想要进行3D拍摄只能经由专业的摄像机，或全景相机，固然消费级全景相机已经价钱较低，但今朝仍未达到普及的水平。

而我们又知道，Facebook绝对是AR/VR范畴资深玩家，甚至此前还推出过 Surround360全景相机..，其传播世界上首个3D和全景视频拍摄端到端解决方案。然则， Surround360规划在2018年之后就很少被说起，甚至与RED合作的全景相机RED Manifold此后声音也越来越小。

个中一方面是今朝全景拍摄需求相对小众，尽量是消费级全景相机普及率也非常低；另一方面公共序言直接从2D跳转到三维还需要一个过渡。

很显然，直接行使好人人手中的手机就是一个非常伶俐的选择。这时，相信你已看出Facebook早已起头在AR/VR已经将来各类分歧场景进行结构和索求测验。

经由上面的预览结果图来看，可实现多种形态的3D照片模式，能够预想到的是，该手艺可直策应用到手机图片处理App中，甚至应用到短视频建造App等等场景，而Facebook自身（包罗旗下..）就是一个图像、视频分享的..，显然这对于之后的买卖拓展也十分有利。

至于将来3D照片是否可以大局限普及，显然照样未知数，但能够一定的是这些手艺和过程的索求无疑对将来AR/VR/全息时代三维信息发生、交互拥有重大意义。