Teil II der Serie: Music meets Hightech – Wie georgische Volksmusik komplexe Algorithmik voranbringt
Ohne technische Grundlagen bleiben die kühnsten und genialsten Ideen Luftschlösser. Dieser Teil unserer Tour durch die AudioLabs bringt uns so gesehen zu den Baumeistern und -meisterinnen von der Musiksignalanalyse: Das Team um Meinard Müller forscht an den AudioLabs zu den Grundlagen der Audiosignalverarbeitung. Dabei werden moderne Technologien der Signalanalyse und Mustererkennung erprobt und weiterentwickelt, indem sie auf anspruchsvolle Musikszenarien angewendet werden.
Der Professor und Lehrstuhlinhaber für semantische Audiosignalverarbeitung ist seit September 2012 Teil des AudioLabs-Teams. Seine Forschung konzentriert sich dabei vornehmlich auf die Entwicklung von Methoden zur Analyse akustischer Signale und die computergestützte Musikverarbeitung (Music Information Retrieval – MIR), also die Analyse von Audiosignalen in der Musik. Diese Signale haben spezifische Charakteristika, wie etwa Melodie, Klangfarbe oder Rhythmus. Heute werden diese Charakteristika schon vielfach verwendet, etwa um digitale Musikbibliotheken nach Genre zu sortieren oder ähnlich klingende Lieder zu finden.
Besonders spannend ist für den Mathematiker und Informatiker die interdisziplinäre Forschung: Die Musik ist zwar Motivation und Kontext seiner Arbeit, „aber im Vordergrund geht es um Signalverarbeitung, Mustererkennung und Algorithmik“, sagt er. Immer wieder entdeckt er fächerübergreifende Szenarien, wie etwa die computergestützte Analyse berühmter Opern oder georgischer Volksgesänge, die Teil des UNESCO-Weltkulturerbes sind. Im letzteren Fall untersucht Müller in Zusammenarbeit mit Frank Scherbaum und georgischen Musikethnologen tonale Aspekte dieser polyphonen Gesänge. „Natürlich sind da viele auf den ersten Blick überraschende Projekte dabei. Aber diese Szenarien sind eben nicht der Standard und gerade deswegen interessant”, erklärt Müller. An genau solchen unkonventionellen Fällen wird getestet, wie sich theoretische Überlegungen in die Praxis übertragen lassen und wo Algorithmen an ihre Grenzen stoßen. „Das ist trotzdem komplexe Algorithmik, was wir hier machen”, betont der Forscher. Seine Erkenntnisse dienen dazu, Problemstellungen aus unterschiedlichen Blickwinkeln zu betrachten.
Dabei kommt ihm neben lebenslanger Begeisterung für Musik sein umfassender Wissensdurst zugute. Schon vor dem Abitur eignete er sich Grundkenntnisse im Programmieren an und wählte in seinem Mathematikstudium in Bonn das Nebenfach Informatik. Obwohl sein Schwerpunkt schon während der Promotion auf der Informatik lag, profitiert seine Arbeit von den erworbenen Mathekenntnissen. „Für meine jetzige Arbeit sind die diese Grundlagen essenziell, insofern war das Studium das perfekte Training”, erläutert er. Nach einem Aufenthalt in Japan als Postdoktorand an der Keio Universität inspirierte ihn sein ehemaliger Doktorvater zur Auseinandersetzung mit der Signal- und Musikverarbeitung und besonders mit digitalen Musikbibliotheken. Über die Habilitation in Bonn sowie eine Forschungsstelle am Max-Planck-Institut für Informatik in Saarbrücken führte ihn sein Weg schließlich an die AudioLabs Erlangen. Aktuell beschäftigen sein Team und er sich mit Methoden im Bereich des Deep Learning. Dabei ist es ihnen besonders wichtig, die Ursachen von Problemen zu identifizieren. Deep Learning liefere zwar häufig gute Ergebnisse, benötige aber gut annotierte Trainingsdaten in großem Umfang. Diese sind aber für spezielle Szenarien und Anwendungen, wie etwa der Analyse georgischer Gesänge, oft nicht verfügbar. Um dennoch verlässliche Analysemethoden zu entwickeln, werden Fragen mit klassischen Methoden und Deep Learning untersucht und anschließend die Ergebnisse der Arbeitsweisen verglichen, Unterschiede analysiert sowie jeweils Vor- und Nachteile herausgearbeitet. „Im Endeffekt geht es auch darum, wie verschiedene Prozesse voneinander profitieren können. Beispielsweise lässt sich die Flexibilität von datengetriebenen Verfahren häufig gut in modellbasierte Verfahren einbauen, während die herkömmlichen Methoden das benötigte Wissen liefern”, berichtet Müller.
Bei der kontinuierlichen Weiterentwicklung seines Forschungsfelds hilft auch seine Begeisterung für die Ausbildung des wissenschaftlichen Nachwuchses. „Ich will, dass die Leute bei mir die grundlegenden Techniken lernen und verstehen, wie sich Methoden übertragen lassen oder warum manche Algorithmen eben nicht funktionieren.” Umgekehrt erhält er von Promovierenden immer neue Impulse: „Die Werkzeuge ändern sich ja ständig. Heutzutage arbeiten die jungen Leute primär mit der Programmiersprache Python, das musste ich selbst erstmal lernen, genau wie Deep Learning”, betont er. Insofern ist Müller begeistert von dem Zusammenspiel der AudioLabs und dem Fraunhofer-Institut für Integrierte Schaltungen IIS, denn auf diese Weise erfährt er, welche Methoden für die Industrie relevant sind und kann Studierenden und Promovierenden die mathematischen und technischen Grundlagen vermitteln oder sie mit ihnen zusammen erarbeiten. Dies ist auch ein Vorteil für das IIS, denn Mitarbeitende erhalten so zusätzliche Chancen, ihre Fertigkeiten zu vertiefen, Promotionen zu absolvieren oder neue Methoden zu erproben. Die Grundlagen und anderen Sichtweisen, die sie bei Müller erlernen, helfen ihnen wiederum, die Projekte am IIS vielseitig anzugehen. Insgesamt sieht der Forscher die AudioLabs als eine “Art Klammer, die Industrie und Forschung verbindet.” Er ist begeistert vom kontinuierlichen Austausch mit seinen Kollegen, mit denen ihn die gemeinsame Arbeit an Fragestellungen der Audio- und Signalverarbeitung verbindet.
Auch außerhalb der AudioLabs und des IIS setzt sich Müller für den Wissensaustausch ein. Er war 2020/21 Präsident der International Society of Music Information Retrieval (ISMIR) und das Institute of Electrical and Electronics Engineers (IEEE) ernannte ihn 2020 für seine Arbeit im Bereich der Musiksignalverarbeitung zum IEEE Fellow – eine Ehre, die nur wenigen Mitgliedern zuteilwird. Der Austausch mit der Fachwelt ist für ihn wichtig, schließlich gibt es immer Neues zu entdecken.
Hier kann man Teil I unserer Serie noch einmal nachlesen.
Titelbild: © AudioLabs; Meinard Müller, Christian Dittmar