Fraunhofer和b<>com联合展示基于VRIF准则草案并运用MPEG-H空间音频解决方案的VR喜剧《Vaudeville》

在2017年IBC期间,世界知名的音频及媒体技术研究机构Fraunhofer IIS与法国超媒体创新机构b<>com技术研究所联合展示了基于国际沉浸式音频标准MPEG-H中HOA技术的端到端空间音频制作、传输、还放以及渲染系统。由整套工具生产的首个虚拟现实内容是由法国VR工作室DVGroup制作的VR情景喜剧《Vaudeville》。在虚拟现实产业论坛(VRIF)准则草案的规范下,该内容成功传输至VR头戴设备。

VRIF致力于实现高质量虚拟现实内容的生产和交付,同时十分重视其在开放生态系统中的互操作性。虽然VRIF不是一个标准开发组织,但其成员倡导为高质量的视听虚拟现实服务创建一个可互操作的端到端生态系统。在2017年IBC期间,VRIF将发布VR准则草案,而Fraunhofer IIS和b<>com则将联合展示第一个基于该准则草案的虚拟现实内容。草案链接:http://www.vr-if.org/guidelines/

在IBC期间展示的虚拟现实内容通过三星Gear VR头戴设备呈现,并为观众带来身临其境的娱乐体验。该内容通过b<>com空间音频工具箱进行HOA格式的混音制作,并遵循基于由Fraunhofer IIS主导研发的MPEG-H 3D音频技术的VRIF 3D音频基本规范。从技术角度来讲,该3D音频基本规范是MPEG规定的全向媒体格式(OMAF)(https://mpeg.chiariglione.org/standards/mpeg-a/omnidirectional-media-application-format/profiles-under-considerations-isoiec-23000) 的一部分。

MPEG-H音频是一个真正全面的音频编解码系统,它能够传输通道式音频、ambisonics以及带有元数据的音频对象,并使用户在创建互动式和沉浸式音频体验的过程中拥有最大的自由度。目前,MPEG-H电视音频系统已经成功在韩国的UHD广播电视网络中正式商用,它也是ATSC 3.0和 DVB-UHD电视标准的一部分,且适用于OTT内容。MPEG-H的先进性能包括:

  • 沉浸式声音:MPEG-H包含的3D音频组件能够带来沉浸式声音体验。
  • 互动式音频:用户可以根据自身需求调整混音比例
  • 通用传输:MPEG-H能够在任何环境和设备上呈现最佳还放效果

为了让VR还放系统端的集成工作变得更加简单,Fraunhofer IIS为其提供了VR音频SDK,从而使其拥有解码MPEG-H 3D音频的能力以及最佳的音频渲染效果,进而打造优质的VR体验。而b<>com空间音频工具箱则是全球顶尖的HOA音频前期和后期制作解决方案。

在2017年9月15日至19日举办的阿姆斯特丹IBC展会期间,与会观众能够在8号馆G14的b<>com展位和8号馆B80的Fraunhofer展位体验带有MPEG-H沉浸式音频效果的《Vaudeville》 VR内容。

Header image © Fraunhofer IIS/Viaframe

This post is also available in: Deutsch English 한국어