Ein Streifzug durch das gemeinsame Projekt des IIS und der Friedrich-Alexander-Universität Erlangen-Nürnberg. Die Serie beginnt …
Teil 1: MPEG-I mit Jürgen Herre
Seit der Gründung der International Audio Laboratories Erlangen im Jahr 2010 hat sich – wie es sich für eine internationale Forschungseinrichtung gehört – einiges getan. Grund genug, um bei den „AudioLabs“ – einer Kooperation des Fraunhofer IIS und der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) – vorbeizuschauen und sie näher vorzustellen. Denn die Themenfelder, auf denen fünf Professoren, ein etwa 50-köpfiges Team und internationale Gäste forschen, sind ebenso komplex wie spannend. Von Musiksignalanalyse bis Virtual Reality geben die Wissenschaftlerinnen und Wissenschaftler wichtige Impulse für Audiotechnologien von heute und morgen (hier mehr dazu).
Im ersten Teil dieser Serie besuchen wir Prof. Jürgen Herre, der vor über einer Dekade die AudioLabs mit aus der Wiege gehoben hat. Nach seinem Studium der Elektrotechnik an der FAU begann er 1989 seine Wissenschaftskarriere am Fraunhofer IIS. „Zwar war und bin ich seitdem mit der Entwicklung von Algorithmen im Bereich Audiocodierung befasst, aber an VR habe ich bis 2017 – geschweige denn als Student – noch nicht gedacht“, schmunzelt er. Seit über 20 Jahren ist der promovierte Elektroingenieur am IIS Chief Executive Scientist im Bereich Audio und Medientechnologien und war an den Entwicklungen von MPEG-4 und MPEG-7 Audio, mp3, mp3 Surround, MPEG Surround, Spatial Audio Object Coding, USAC und MPEG-H Audio beteiligt. Seit September 2010 hat er eine Professur für Audiocodierung an den AudioLabs und vor kurzem kam der Forschungsbereich Audiocodierung für Virtual und Augmented Reality hinzu, den er anfangs zusammen mit Prof. Frank Wefers betreute.
MPEG-I – Virtual Reality für die Ohren
Virtual Reality (VR) kann Menschen glaubhaft in eine virtuelle Welt versetzen. Damit die Illusion jedoch völlig real wirkt, also eine sogenannte Immersion erreicht wird, muss die Simulation audiovisuell absolut überzeugend sein. Hierzu soll in Zukunft der neue Standard für Virtual und Augmented Reality Anwendungen, MPEG-I, beitragen. Dafür beschäftigt sich ein Team unter der Leitung von Jürgen Herre mit der Audioseite dieses Forschungsfelds. Gerade kürzlich konnten sie einen großen Erfolg verzeichnen: Die von ihnen beim MPEG Audio Standardisierungsgremium eingereichte Technologie gewann im Januar 2022 den Ausscheidungstest als bestes System.
„Wir arbeiten daran, dass man in Zukunft bei einem virtuellen Konzert durch die Halle gehen und die Musik von allen möglichen Positionen aus realistisch erleben kann“, erklärt Herre. Denn mit aktuell verfügbaren Technologien wie MPEG-H Audio sind nur „drei Freiheitsgrade“ (3 Degrees of Freedom, 3DoF) möglich. Damit können die Nutzer an einem festen Standpunkt den Kopf frei bewegen, also drehen, vorwärts, rückwärts und seitwärts pendeln. Das AudioLabs-Team forscht daran, dass schon bald 6DoF möglich werden. Damit wäre dank der Erfassung von Position und Blickrichtung die freie Bewegung im Raum möglich. Für die Klangquellen bedeutet das, anders als bisher, dass jede einzelne Quelle durch drei Achsenkoordinaten und drei Rotationswinkel positioniert werden muss. Auch ihre örtliche Ausdehnung (source extent) und unterschiedliche Richtcharakteristiken (directivities) werden nun berücksichtigt. MPEG-I – I für Immersive Media – dient dabei als Gesamtsystem, also für die Wiedergabe von Audio und Video. Das würde nicht nur für virtuelle Konzerte eine Revolution bedeuten, sondern auch für Sportübertragungen und andere virtuelle Umgebungen.
Bewegung durch Räume aus Klang
Die Möglichkeit, dass sich Publikum frei im virtuellen Raum bewegt, macht eine komplexe Modellierung der Umgebung notwendig. Für die Nachhallcharakteristik eines Raums ist etwa eine genaue Beschreibung seiner Geometrie und Oberflächenstrukturen unabdingbar, denn diese reflektieren, streuen oder transmittieren Schall. „Aktuell arbeiten wir an einer Lösung, wie Schallausbreitung in Räumen und der berühmte Doppler-Effekt, also Klang von schnell bewegten Quellen, kosteneffizient in Smartphones integriert werden können“, erklärt Herre. „Wir beschäftigen uns auch mit der realistischen Abbildung von räumlich ausgedehnten Klangquellen, etwa von Stränden, oder der Brechung von Klängen, deren Quelle nicht zu sehen ist – was etwa in verwinkelten Räumen wie z.B. einem Labyrinth der Fall sein kann.“ Dafür erforscht das AudioLabs-Team, wie sich Schall um Ecken und Hindernisse herum verbreitet und wie dieses Phänomen effizient in Echtzeit nachgebildet werden kann.
Titelbild: © Felix & Paul Studios