upHear SAMP vom Fraunhofer IIS kommt in der 360° 3D-Virtual-Reality-Kamera von Felix & Paul Studios, einem mit dem EMMY® Award ausgezeichneten VR-Studio, zum Einsatz.
Astronaut werden und gemeinsam mit dem Team auf der ISS die Geheimnisse des Weltalls erforschen: nur ein Kindheitstraum, der sich für die wenigsten Menschen erfüllt?
Mysteriöse menschenähnliche Kreaturen fliegen direkt vor uns vorbei, verwandeln sich und verschwinden in völliger Dunkelheit: nur ein seltsamer Traum?
Innovative Technologie eröffnet uns Türen zu anderen Welten und führt uns auf eine Reise, die wir uns in unseren kühnsten Träumen nicht hätten vorstellen können. Heute setzen moderne Filmemacher nicht nur Greenscreens und CGI ein, sondern auch immer mehr Virtual Reality dank innovativen 3D-Kamerasystemen mit 360-Grad-Aufnahmen – und Technologie des IIS. 2017 beschlossen Felix & Paul Studios, die EMMY® Award-dekorierten Macher immersiver Virtual-Reality-Unterhaltung, die upHear SAMP Technologie (Spatial Audio Microphone Processing) des Fraunhofer IIS in ihr 360°-3D-Kamerasystem zu integrieren. Ihr Ziel war die gleichzeitige Aufnahme von räumlichem Bild und Sound. Bei der Arbeit an der verwendeten 360°-Kamera bestand die Schwierigkeit darin, Mikrofone so an ihr anzubringen, dass sie später nicht im Bild zu sehen waren. Eine Herausforderung wie gemacht für die Ingenieure des IIS! Vier Jahre später fragen wir Felix & Paul Studios’ Mitbegründer und Kreativdirektor Paul Raphaël und Mitbegründer und Sounddirektor des Immersive-Audio-Spezialisten Headspace Studio Jean-Pascal Beaudoin, wie sich die Technologie im Einsatz macht.
[IIS] Können Sie uns ein wenig über Ihr 360°-3D-Kamerasystem erzählen?
[Paul Raphaël] Unsere erste 360°-3D-VR-Kamera haben wir 2013 aus schierer Not entwickelt, weil es schlichtweg keine gab! Gleichzeitig mussten wir die Tools zur Postproduktion und zur Wiedergabe der 3D-Bilder schaffen. Seither entwickeln wir unsere Hardware und Software fortlaufend weiter und konzipieren auch spezielle Kameraversionen für besondere Aufnahmesituationen und -szenarios.
Das Filmen in 360°-3D ist ein gewisses Paradox – während die Panoramafotografie minimale Parallaxe fordert, benötigt die 3D-Stereoskopie die Parallaxe als Grundvoraussetzung. Die Entwicklung von VR-Kameras ist daher ein ständiger Balanceakt zwischen Features und Kompromissen. Durch die volle Kontrolle über jeden Prozessschritt und umfassende Kenntnis der Technologie können wir die kreativen Möglichkeiten voll ausschöpfen und die Technologie in Bezug auf Kreativität optimieren.
Haben Sie die upHear-Technologie wegen einem speziellen Feature ausgewählt?
[Jean-Pascal Beaudoin] Eine der größten Herausforderungen bei der Integration eines externen Mikrophons für szenenbezogene Audioaufnahmen in einem professionellen 360°-3D-Kamerasystem sind die extrem knappen Platzverhältnisse. Aus Entwicklersicht ergibt sich hier ein Paradox: einerseits soll der Mittelpunkt des Mikrofons mit dem Knotenpunkt der Kamera übereinstimmen, aber andererseits nicht die Objektive beeinträchtigen. Je nach Konfiguration des Kamerasystems befindet sich das Objektiv am Zenit, am Nadir kommen dann Stativ, Kabel, Aufbewahrung, Batterien und so weiter unter, also alles, was eine erhebliche Behinderung darstellt. Und dann ist da noch das ganz große Problem, das unvermeidliche Lüftergeräusch!
Bei der upHear-Technologie sind wir dann auf etwas ganz Besonders gestoßen: weil die eigentliche »Magie« während der Verarbeitung stattfindet, ist die tatsächliche physische Anordnung der Mikrofone erstaunlich flexibel. Nachdem wir den Ingenieuren vom Fraunhofer IIS die Grundgeometrie der Kamera dargelegt hatten, konnten sie uns verschiedene Vorschläge für die Mikrofonarrays machen, die jeweils einen unterschiedlichen Grad räumlicher Auflösung bieten. Wir haben uns dann für eine Konfiguration mit acht Mikrofonen entschieden, die wir in Ambisonics dritter Ordnung und kanalbasierte Formate umwandeln können.
Wie auf den Bildern zu sehen ist, gibt es bei der Hardware auch einen großen Vorteil: wir konnten eine Kombination relativ simpler kundenspezifischer Teile (einige maschinell bearbeitet und andere 3D-gedruckt) und handelsüblicher hochwertiger Lavalier-Mikrofone mit Kugelcharakteristik einsetzen. Im Vergleich zum Neudesign komplexer integrierter Hardware war das eine ziemlich kostengünstige und flexible Lösung. Die letztendliche Ausführung konnte sehr nah an den Kameraobjektiven und gleichzeitig weit genug von den Lüftern entfernt montiert werden, um störende Geräusche zu minimieren. Natürlich spielt das alles keine Rolle, wenn die Qualität der Audioaufnahmen am Ende räumlich nicht stimmt. Hier konnte upHear absolut punkten und schnitt wesentlich besser ab als eine frühere Prototyp-Lösung, ein individuell kalibriertes Mikrofon erster Ordnung.
Ist Ihnen etwas Besonderes an der Technologie aufgefallen, seit Sie bei Ihnen im Einsatz ist?
[Jean-Pascal Beaudoin] Ich kann hier nur nochmals die Flexibilität bei der physischen Anordnung der Mikrofonarrays hervorheben. Wie Paul [Raphaël] schon erwähnt hat, haben wir das Kamerasystem ständig weiterentwickelt. Das hat irgendwann dazu geführt, dass die Geometrie des Kamerakörpers sich so verändert hatte, dass der »Ring« – das große 3D-gedruckte Teil, das man auf den Bildern sieht – nicht mehr gepasst hat. Also haben wir das Design an den neuen Körperdurchmesser angepasst und neue Kalibrieraufnahmen gemacht. Diese Aufnahmen haben wir an das Team vom Fraunhofer IIS weitergegeben, die den Algorithmus entsprechend angepasst haben. Das war für uns ganz unkompliziert, wir haben dazu nicht einmal einen reflexionsarmen Raum benötigt und dadurch viel Aufwand gespart.
Dürfen wir an dieser Stelle einige Werke anführen, die Sie mithilfe der upHear-Technologie geschaffen haben?
Aber klar! Highlights sind
- Space Explorers: The Journey Begins
- Traveling While Black
- Marshall from Detroit (mit Eminem)
- Cirque du Soleil: Alegría – A Spark of Light
Vielen Dank für das Gespräch. Es ist faszinierend zu sehen, wo die Technologie von Fraunhofer IIS eingesetzt wird und wie unsere Partner davon profitieren!
Titelbild: © Felix & Paul Studios