@ Felix & Paul Studios

三维声让虚拟现实体验维度更完整

Fraunhofer upHear 空间音频麦克风信号处理技术在荣获艾美奖的 VR 工作室Felix & Paul 3603D 虚拟现实摄像头中使用。

成为一名宇航员加入国际空间站去探索太空的奥秘,是一个只有少数人才能实现的孩童时期的梦想,还是能够成为可能?

神秘的人形生物飞翔、变形并消失在我们眼前无尽的黑暗中,这是一个奇怪的梦,亦或是现实?

技术开启了通往未知世界的大门,并带我们踏上了一段前所未有的旅程。现如今尖端影视制作人不仅使用绿幕和计算机生成图像(CGI​​)等拍摄手段,还借助360 度3D 摄像系统和 Fraunhofer IIS音频技术,在虚拟现实领域迈出了巨大的一步。 2017 年,荣获艾美奖的沉浸式虚拟现实娱乐创作者 Felix & Paul Studios 决定将来自 Fraunhofer IIS 的 upHear 空间音频麦克风信号处理 (SAMP) 技术集成到其360 度 3D 摄像系统中。他们的目标是通过一台设备同时捕捉空间音频和视觉的双重效果。在360 度摄像头中添加隐藏的麦克风成为了一项巨大的挑战。Fraunhofer IIS的工程师们渴望克服这一问题。四年后,我们与 Felix and Paul Studios 的联合创始人兼创意总监 Paul Raphaël 以及联合创始人兼音频负责人Jean-Pascal Beaudoin 就技术及其使用展开了探讨。

© Felix & Paul Studios
© Felix & Paul Studios

[IIS] 能够和我们简单分享一下360 3D 摄像系统吗?

[Paul Raphaël] 2013 年,我们设计了首款360度3D VR 摄像机,配套的后期制作和还放工具还尚未开发。从那时起,我们便不断改进硬件和软件设计,并为特定的拍摄情况和场景量身打造特殊版本的摄像机。

由于 360度3D 拍摄本身存在着原生矛盾,即全景摄影要求视差最小化,而 3D 立体视觉则以视差为基本前提,所以VR摄像机的设计本身便是功能与妥协间的平衡。对流程拥有完全的控制权,加以对技术的深入了解,使我们能够拓展创意的可能性并优化与创意相关的技术。

upHear 技术是否有什么特别之处让您选择了它?

[Jean-Pascal Beaudoin] 将外部麦克风集成到专业 360 度 3D 摄像系统中以捕获基于场景的音频的最大挑战是:可使用的空间非常有限。从设计的角度来看,其实我们在处理一个悖论,即希望麦克风的中心与摄像机相匹配,从而不干扰镜头。但根据摄像头系统设计的不同,天顶位置可以有一个镜头,而天底则是三脚架、电缆、存储装置、电池等的地方,这些都是明显的障碍。此外,还有一个显而易见的问题,即不可避免的风扇噪音。

而真正让upHear 技术脱颖而出的是:算法体现在音频处理阶段,而麦克风阵列实际物理配置非常地灵活。一旦我们分享了摄像机的基本几何结构,Fraunhofer IIS 的工程师们就能够提出几种不同空间分辨率的麦克风阵列设计。最终,我们选择了八个麦克风的配置,并能够将其转换为三阶 Ambisonics 和基于通道的格式。

从图片中可以看出,在硬件方面我们能够使用相对简单的定制部件:一些是机械加工的零件,一些是 3D 打印的,以及现成的高品质全方位麦克风。与必须从头开始构建复杂的集成硬件相比,我们最终实现了非常经济高效且灵活的解决方案。此外,麦克风的配置能够非常靠近摄像机的镜头,并且远离风扇,从而最大限度地减少噪音。当然,如果设备本身所捕获的音频质量在空间上不准确,那么上述的所有益处都将变得不那么重要了,与我们的早期解决方案(单独校准的一阶麦克风)相比,upHear 在空间音频拾取的准确性上赢得了胜利.

© Felix & Paul Studios
© Felix & Paul Studios

在使用该技术期间,您是否注意到该技术有什么特别之处?

[Jean-Pascal Beaudoin] 正如我刚才所讲,那就是麦克风阵列物理配置的灵活性。Paul Raphaël之前提到,摄像头系统一直在不断发展,机身的几何形状在某一时刻发生了显著的变化,以至于在其中一张图片中可以看到的一个大的3D打印的“环型”已经不再符合需求了。因此,我们继续调整设计,赋予新的机身直径,记录新的校准记录,并将这些信息与Fraunhofer IIS 团队共享,他们够提供新的算法调整。整个过程非常简单,不需要消声室,这对我们来说是非常可观的。

我们可以列举一些您们使用 upHear 技术创作的作品吗?

  • 当然,比较出色的作品有:
    • Space Explorers: The Journey Begins
    • 《Traveling While Black》
    • Marshall from Detroit (Eminem主演)
    • 《Alegría – A Spark of Light》

非常感谢您抽出时间与我们交谈。很高兴看到我们的技术在合作伙伴产品中得以使用。

Header image: © Felix & Paul Studios

This post is also available in: Deutsch English

关注我们