{"id":7088,"date":"2021-09-15T11:37:56","date_gmt":"2021-09-15T09:37:56","guid":{"rendered":"https:\/\/websites.fraunhofer.de\/audioblog\/?p=7088"},"modified":"2021-10-25T08:49:08","modified_gmt":"2021-10-25T06:49:08","slug":"uphear-samp-felix-and-paul","status":"publish","type":"post","link":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/uphear-samp-felix-and-paul","title":{"rendered":"3D-Sound macht die VR-Illusion komplett"},"content":{"rendered":"

upHear SAMP vom Fraunhofer IIS kommt in der 360\u00b0 3D-Virtual-Reality-Kamera von Felix & Paul Studios, einem mit dem EMMY\u00ae Award ausgezeichneten VR-Studio, zum Einsatz.<\/strong><\/p>\n

<\/p>\n

Astronaut werden und gemeinsam mit dem Team auf der ISS die Geheimnisse des Weltalls erforschen: nur ein Kindheitstraum, der sich f\u00fcr die wenigsten Menschen erf\u00fcllt?<\/p>\n

Mysteri\u00f6se menschen\u00e4hnliche Kreaturen fliegen direkt vor uns vorbei, verwandeln sich und verschwinden in v\u00f6lliger Dunkelheit: nur ein seltsamer Traum?<\/p>\n

Innovative Technologie er\u00f6ffnet uns T\u00fcren zu anderen Welten und f\u00fchrt uns auf eine Reise, die wir uns in unseren k\u00fchnsten Tr\u00e4umen nicht h\u00e4tten vorstellen k\u00f6nnen. Heute setzen moderne Filmemacher nicht nur Greenscreens und CGI ein, sondern auch immer mehr Virtual Reality dank innovativen 3D-Kamerasystemen mit 360-Grad-Aufnahmen \u2013 und Technologie des IIS. 2017 beschlossen Felix & Paul Studios, die EMMY\u00ae Award-dekorierten Macher immersiver Virtual-Reality-Unterhaltung, die upHear SAMP Technologie (Spatial Audio Microphone Processing)<\/a> des Fraunhofer IIS in ihr 360\u00b0-3D-Kamerasystem zu integrieren. Ihr Ziel war die gleichzeitige Aufnahme von r\u00e4umlichem Bild und Sound. Bei der Arbeit an der verwendeten 360\u00b0-Kamera bestand die Schwierigkeit darin, Mikrofone so an ihr anzubringen, dass sie sp\u00e4ter nicht im Bild zu sehen waren. Eine Herausforderung wie gemacht f\u00fcr die Ingenieure des IIS! Vier Jahre sp\u00e4ter fragen wir Felix & Paul Studios\u2019 Mitbegr\u00fcnder und Kreativdirektor Paul Rapha\u00ebl und Mitbegr\u00fcnder und Sounddirektor des Immersive-Audio-Spezialisten Headspace Studio Jean-Pascal Beaudoin, wie sich die Technologie im Einsatz macht.<\/p>\n

[IIS] K\u00f6nnen Sie uns ein wenig \u00fcber Ihr 360\u00b0-3D-Kamerasystem erz\u00e4hlen?<\/strong><\/p>\n

\"\u00a9
\u00a9 Felix & Paul Studios<\/figcaption><\/figure>\n

[Paul Rapha\u00ebl] Unsere erste 360\u00b0-3D-VR-Kamera haben wir 2013 aus schierer Not entwickelt, weil es schlichtweg keine gab! Gleichzeitig mussten wir die Tools zur Postproduktion und zur Wiedergabe der 3D-Bilder schaffen. Seither entwickeln wir unsere Hardware und Software fortlaufend weiter und konzipieren auch spezielle Kameraversionen f\u00fcr besondere Aufnahmesituationen und -szenarios.<\/p>\n

Das Filmen in 360\u00b0-3D ist ein gewisses Paradox \u2013 w\u00e4hrend die Panoramafotografie minimale Parallaxe fordert, ben\u00f6tigt die 3D-Stereoskopie die Parallaxe als Grundvoraussetzung. Die Entwicklung von VR-Kameras ist daher ein st\u00e4ndiger Balanceakt zwischen Features und Kompromissen. Durch die volle Kontrolle \u00fcber jeden Prozessschritt und umfassende Kenntnis der Technologie k\u00f6nnen wir die kreativen M\u00f6glichkeiten voll aussch\u00f6pfen und die Technologie in Bezug auf Kreativit\u00e4t optimieren.<\/p>\n

Haben Sie die upHear-Technologie wegen einem speziellen Feature ausgew\u00e4hlt?<\/strong><\/p>\n

\"\u00a9
\u00a9 Felix & Paul Studios<\/figcaption><\/figure>\n

[Jean-Pascal Beaudoin] Eine der gr\u00f6\u00dften Herausforderungen bei der Integration eines externen Mikrophons f\u00fcr szenenbezogene Audioaufnahmen in einem professionellen 360\u00b0-3D-Kamerasystem sind die extrem knappen Platzverh\u00e4ltnisse. Aus Entwicklersicht ergibt sich hier ein Paradox: einerseits soll der Mittelpunkt des Mikrofons mit dem Knotenpunkt der Kamera \u00fcbereinstimmen, aber andererseits nicht die Objektive beeintr\u00e4chtigen. Je nach Konfiguration des Kamerasystems befindet sich das Objektiv am Zenit, am Nadir kommen dann Stativ, Kabel, Aufbewahrung, Batterien und so weiter unter, also alles, was eine erhebliche Behinderung darstellt. Und dann ist da noch das ganz gro\u00dfe Problem, das unvermeidliche L\u00fcfterger\u00e4usch!<\/p>\n

Bei der upHear-Technologie sind wir dann auf etwas ganz Besonders gesto\u00dfen: weil die eigentliche \u00bbMagie\u00ab w\u00e4hrend der Verarbeitung stattfindet, ist die tats\u00e4chliche physische Anordnung der Mikrofone erstaunlich flexibel. Nachdem wir den Ingenieuren vom Fraunhofer IIS die Grundgeometrie der Kamera dargelegt hatten, konnten sie uns verschiedene Vorschl\u00e4ge f\u00fcr die Mikrofonarrays machen, die jeweils einen unterschiedlichen Grad r\u00e4umlicher Aufl\u00f6sung bieten. Wir haben uns dann f\u00fcr eine Konfiguration mit acht Mikrofonen entschieden, die wir in Ambisonics dritter Ordnung und kanalbasierte Formate umwandeln k\u00f6nnen.<\/p>\n

Wie auf den Bildern zu sehen ist, gibt es bei der Hardware auch einen gro\u00dfen Vorteil: wir konnten eine Kombination relativ simpler kundenspezifischer Teile (einige maschinell bearbeitet und andere 3D-gedruckt) und handels\u00fcblicher hochwertiger Lavalier-Mikrofone mit Kugelcharakteristik einsetzen. Im Vergleich zum Neudesign komplexer integrierter Hardware war das eine ziemlich kosteng\u00fcnstige und flexible L\u00f6sung. Die letztendliche Ausf\u00fchrung konnte sehr nah an den Kameraobjektiven und gleichzeitig weit genug von den L\u00fcftern entfernt montiert werden, um st\u00f6rende Ger\u00e4usche zu minimieren. Nat\u00fcrlich spielt das alles keine Rolle, wenn die Qualit\u00e4t der Audioaufnahmen am Ende r\u00e4umlich nicht stimmt. Hier konnte upHear absolut punkten und schnitt wesentlich besser ab als eine fr\u00fchere Prototyp-L\u00f6sung, ein individuell kalibriertes Mikrofon erster Ordnung.<\/p>\n

Ist Ihnen etwas Besonderes an der Technologie aufgefallen, seit Sie bei Ihnen im Einsatz ist?<\/strong><\/p>\n

[Jean-Pascal Beaudoin] Ich kann hier nur nochmals die Flexibilit\u00e4t bei der physischen Anordnung der Mikrofonarrays hervorheben. Wie Paul [Rapha\u00ebl] schon erw\u00e4hnt hat, haben wir das Kamerasystem st\u00e4ndig weiterentwickelt. Das hat irgendwann dazu gef\u00fchrt, dass die Geometrie des Kamerak\u00f6rpers sich so ver\u00e4ndert hatte, dass der \u00bbRing\u00ab \u2013 das gro\u00dfe 3D-gedruckte Teil, das man auf den Bildern sieht \u2013 nicht mehr gepasst hat. Also haben wir das Design an den neuen K\u00f6rperdurchmesser angepasst und neue Kalibrieraufnahmen gemacht. Diese Aufnahmen haben wir an das Team vom Fraunhofer IIS weitergegeben, die den Algorithmus entsprechend angepasst haben. Das war f\u00fcr uns ganz unkompliziert, wir haben dazu nicht einmal einen reflexionsarmen Raum ben\u00f6tigt und dadurch viel Aufwand gespart.<\/p>\n

D\u00fcrfen wir an dieser Stelle einige Werke anf\u00fchren, die Sie mithilfe der upHear-Technologie geschaffen haben?<\/strong><\/p>\n

Aber klar! Highlights sind<\/p>\n

    \n
  • Space Explorers: The Journey Begins<\/li>\n
  • Traveling While Black<\/li>\n
  • Marshall from Detroit (mit Eminem)<\/li>\n
  • Cirque du Soleil: Alegr\u00eda \u2013 A Spark of Light<\/li>\n<\/ul>\n

    Vielen Dank f\u00fcr das Gespr\u00e4ch. Es ist faszinierend zu sehen, wo die Technologie von Fraunhofer IIS eingesetzt wird und wie unsere Partner davon profitieren!<\/strong><\/p>\n

    Titelbild: \u00a9 Felix & Paul Studios<\/p>\n","protected":false},"excerpt":{"rendered":"

    upHear SAMP vom Fraunhofer IIS kommt in der 360\u00b0 3D-Virtual-Reality-Kamera von Felix & Paul Studios, einem mit dem EMMY\u00ae Award ausgezeichneten VR-Studio, zum Einsatz.<\/p>\n","protected":false},"author":2,"featured_media":7071,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[109,111],"tags":[562,569,563,375,385],"class_list":["post-7088","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hinter-den-kulissen","category-produkte-technologien","tag-3d-klang","tag-camera-de","tag-samp-de","tag-uphear-de","tag-vr-de"],"_links":{"self":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/7088"}],"collection":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/comments?post=7088"}],"version-history":[{"count":6,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/7088\/revisions"}],"predecessor-version":[{"id":7186,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/7088\/revisions\/7186"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/media\/7071"}],"wp:attachment":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/media?parent=7088"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/categories?post=7088"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/tags?post=7088"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}