세계적인 오디오∙미디어 기술 전문기관인 프라운호퍼 IIS는 에미상 수상에 빛나는 VR 제작사인 필릭스앤폴 스튜디오(Felix & Paul Studios)가 자사의 차세대 360도 3D 카메라 장비에 프라운호퍼의 입체음향 마이크 처리기술을 탑재한다고 밝혔다.
프라운호퍼의 SDK 입체음향 마이크 처리기술은 촬영장에서 고품질 입체음향 캡쳐를 용이하게 하는 기술이다. 자동처리 알고리즘을 기반으로 하는 SDK는 프라운호퍼의 몰입형 음향 솔루션인 어피어(upHear®) 브랜드를 달고 처음으로 출시되는기술로서, 필릭스앤폴 스튜디오의 VR 카메라 장비에 최초로 탑재된다.
필릭스앤폴 스튜디오의 세바스찬 실반(Sebastian Sylwan) 최고기술책임자는 “필릭스앤폴 스튜디오는 전 세계에서 유일한 풀 스펙트럼 VR 제작사로서 시선을 사로잡는 몰입형 콘텐츠 제작에 주력하고 있다. VR 스토리텔링에서 사운드는 상당히 중요한 역할을 한다”며 “디지털 음향기술의 강자인 프라운호퍼와의 제휴를 통해 차세대 카메라 장비에 어피어 입체음향 마이크 처리기술을 탑재하게 되어 기쁘다. 오디오 장면을 충실하게 담아낼 수 있어 추가작업 없이 캡쳐가 가능하게 되었다”고 덧붙였다.
프라운호퍼 미국 디지털미디어기술 연구소 뉴미디어 담당 얀 노드만(Jan Nordmann)은 “프라운호퍼 어피어 입체음향 마이크 처리기술은 필릭스앤폴 스튜디오가 입체음향을 손쉽게 캡쳐하여 몰입형 VR 콘텐츠를 획기적으로 개선할 수 있도록 도와줄 것이다”고 밝히며, “콘텐츠 제작자들이 프라운호퍼의 혁신기술을 활용할 수 있게 되기를 고대한다. 유수의 VR 영화 제작사와 협력하여 차세대 카메라 장비에 고급 사운드 캡쳐 및 처리 기술을 제공하게 되어 매우 기쁘다”고 전했다.
프라운호퍼의 입체음향 마이크 처리기술은 전문가용 및 일반 소비자용 360도 카메라와 모바일 기기의 내장형 마이크를 사용하여 사운드 캡쳐 기능을 크게 향상시켜 준다. 캡쳐된 음향신호는 실시간으로 FOA, HOA, 몰입형 3D 오디오 7.1 + 4(4 Height) 채널, 기존 레거시(legacy) 장비용 5.1 서라운드 채널 등 다양한 서라운드 또는 몰입형 오디오 포맷으로 변환되며, 이 때 오디오 장면(scene)은 그대로 보존된다. 특히 유연한 시맨틱(semantic) 신호분석을 기반으로 3개 이상의 마이크로 이루어진 다양한 구성 뿐 아니라 필릭스앤폴 스튜디오의 카메라 같이 보다 복잡한 구성에도 적용 가능하다.
필릭스앤폴 스튜디오 음향 사업부 총괄이자 계열사인 헤드스페이스 스튜디오(Headspace Studios) 사운드 디렉터인 장 파스칼 보두앵(Jean-Pascal Beaudoin)은 “프라운호퍼의 기술 덕분에 장면 기반 오디오를 정확하고 충실하게 캡쳐하고 이를 다른 요소들과 결합시켜 진정한 몰입형 오디오 경험을 선사할 수 있게 되었다”고 말했다.
프라운호퍼의 입체음향 마이크 처리기술은 기기 제조사, 전문 콘텐츠 제작자 및 일반 소비자에게 다음과 같은 혜택을 제공한다.
- 기기 제조사 – 프라운호퍼의 입체음향 캡쳐 알고리즘을 특정 카메라 및 모바일 설계에 맞추어 탑재하거나, 프라운호퍼 어피어 기술을 기기, 모바일 앱 또는 후반작업 소프트웨어에 탑재할 수 있다.
- 콘텐츠 제작자 – 전문 콘텐츠 제작자들은 프라운호퍼의 오디오 기술을 통해 정확한 위치 정보가 담긴 입체음향과 촬영장 분위기를 전달하는 주변음을 캡쳐할 수 있다. 후반작업 단계에서는 캡쳐된 오디오 장면에 보이스오버(voice over), 동적 객체(dynamic object) 등 사운드 구성요소를 추가적으로 삽입할 수 있다.
- 일반 소비자 – 카메라 및 휴대폰에 탑재된 프라운호퍼의 입체음향 캡쳐기술은 버튼 한번에 영상을 보완하는 몰입형 사운드를 캡쳐할 수 있도록 해준다. 이는 사용 편리성이 높고 고품질 녹음을 지원하는 제품을 찾는 소비자의 니즈에 부합한다.
Header image © Fraunhofer IIS