只需一台AR手机，平民化光场拍摄方案来袭

[本文来自：www.ii77.com]

Esther｜ 编纂

近年来，3D可视化产物预览在电商、零售范畴应用的越来越多。对于线上购物者来讲，3D可视化的产物模型能够让他们在任何浏览器中从多个角度查察产物细节，不需要亲临实体店就能进一步认识产物。

并且因看好3D可视化应用在时尚、家居、汽车、房产等零售行业的应用潜力，Adobe、Facebook、Houzz、宜家、京东、谷歌、高通、微软、三星、NVIDIA等公司成立了一个3D可视化开放联盟，旨在索求实时3D产物模型在移动端、网页端、AR或VR等..斥地与分发的统一尺度。

不外今朝传统3D成像方式还存在一些痛点，阻碍了这项手艺在零售业的普及，好比：依靠激光扫描硬件和设计师人工润色，并且需要在多个视角进行密集采样，是以建造成本高，时间也久，同时也没有对建造高质量3D成像的完整指导方案，于是好多商家更倾向于2D产物图而不是3D模型。

为认识决这些痛点，3D成像公司Fyusion打造了一款基于深度进修收集和光场手艺的低成本3D成像方案，能够让你用手机拍几张照片就能生成3D图像。

据认识，这项新的3D成像方案名为immersive3D，其经由深度进修收集可将摄像头捕获到的多个分歧视角衬着成复杂的3D场景。具体道理是，用户在几个不划定的视角进行采样，接着深度进修算法会经由多平面图像（MPI）透露的方式，将每个采样视角扩展成内陆光场，然后融合相邻的内陆光场，以达到3D视图合成的结果。

此外，Fyusion凭据传统全光采样理论得出了一个采样指南，匡助用户认识准确采样所需要的视角数量。在Demo演示中，Fyusion展示了一款基于immersive3D算法的手机app，用户可将手机与叠加在真实情况中的AR方框对齐，然后摄影，在完成多个视角的拍摄后，app便能生成该场景的3D图像，你能够将它导出并在电脑上旁观。

Fyusion称，immersive3D的3D成像结果从感官上与奈奎斯特速度视图采样接近，但却只需要1/4000的采样数量。

近期，Fyusion公布将于本年SIGGRAPH展示这项功效，并于近期公开了关于该手艺的具体论文，接下来就和青亭网一路看看它究竟是怎么实现的吧。

论文中指出，基于图像的衬着（IBR）是用采样图为物品和场景的合成新视角所需要的要害手艺，Fyusion认为凭据分歧场景使用特定IBR算法，有助于削减3D成像所需的采样规模。同时，将来若是将immersive3D手艺用于具备光场捕获的硬件，还能削减采样所需的摄像头数量。

此外，论文还写道，为了达到降采样目的，科研人员行使算法，经由5个视角来展望统一场景的MPI（多平面图像透露）的深度进修算法。用每个MPI代表一个内陆光场/视角，然后再练习深度进修算法来融合和优化相邻的MPI。科研人员还使用了一个3D卷曲神经收集架构，它可以凭据输入视角的采样率来适时调整所需的深度平面。

在练习试图合成算法的过程中，科研人员将两套5个视角的采样用作输入数据，同时使用一个方针试图作为监视。科研人员首先用MPI展望算法用每5个视角来离别展望两个MPI，然后在离别经由两个MPI来衬着新的方针视角，然后再将两个视角融合。整个练习过程省去了图像重建的过程。

科研人员在算法的衬着过程中采用OpenGL API，衬着后的图像可在桌面浏览器上以1000x700差别率和60 fps刷新率播放，而在iOS端查察的差别率可达500x350，刷新率达30 fps。

据悉，Fyusion科研人员曾将这项手艺用来衬着跨越60种复杂的真实场景，号称结果跨越此前的成像方案，还透露immersive3D有望鞭策基于图像的衬着方案在将来的成长。

切实，若是将来这种低成本、使用轻便的端对端3D成像方案可以贸易化，那么将有望加快3D可视化在零售、电商范畴的普及，这对于企业和消费者来讲都是一件功德。同时，3D可视化在逐渐普及后，也有助于让市场起头接管AR可视化手艺，为将来的AR眼镜/头显铺路。

（END）

 

天天五分钟，轻松认识前沿科技。    
         —— 青亭网