Fraunhofer IIS stellt das „Efficient Language Model for On-Device Deployment“ (ELMOD-2.7B) vor, ein auf Deutsch ausgerichtetes Large Language Model (LLM) für ressourcenbeschränkte Anwendungen, auf der Open-Source-Plattform Hugging Face bereit. Das kompakte Sprachmodell geht Herausforderungen wie Betriebskosten, Cloud-Abhängigkeit und Datensouveränität an.
Skalierung von LLMs: Warum größer nicht immer besser ist
Die zugrunde liegenden Designentscheidungen hängen mit übergreifenden Entwicklungen im Bereich der Large Language Models zusammen: Die kontinuierliche Erhöhung von Modellparametern, Trainingsdaten und Rechenkapazität hat die Leistungsfähigkeit von LLMs beim Verstehen und Generieren natürlicher Sprache deutlich gesteigert.
Diese Leistungsgewinne gehen jedoch mit strukturellen Einschränkungen einher: darunter eine verstärkte Abhängigkeit von zentralisierten Cloud-Infrastrukturen, dauerhaft notwendige Netzwerkkonnektivität sowie energieintensive Rechenumgebungen. Für viele Nutzer stellt sich daher die Frage nach Zuverlässigkeit, Betriebskosten und insbesondere nach der Datensouveränität.
Von Skalierung zu Effizienz: Der Wandel hin zu lokalen LLMs
Fraunhofer IIS’ ELMOD-2.7B ist aus dem Forschungsprojekt DSgenAI (Digital Signal Processing using Generative Artificial Intelligence) hervorgegangen. Es ist ein kompaktes Sprachmodell mit 2,7 Milliarden Parametern, das auf einem mehrsprachigen Datensatz trainiert wurde. Dieser umfasst Deutsch, Englisch und Code, mit besonderem Fokus auf die Leistungsfähigkeit in deutscher Sprache.
Die kompakte Größe des Modells ermöglicht den Betrieb On-Premises- und On-Device, einschließlich der direkten Ausführung auf einem Smartphone-Chip. Die lokale Bereitstellung eines LLM bietet mehrere Vorteile für Nutzer:
- Geringere Latenz durch lokale Inferenz
- Betrieb ohne permanente Netzwerkverbindung
- Verbesserte Kontrolle über sensible Daten, da die Verarbeitung vollständig auf dem Gerät bleiben kann
- Geringerer Infrastrukturbedarf im Vergleich zu großen, cloudbasierten Modellen
Diese Eigenschaften sind besonders in regulierten Branchen und im öffentlichen Sektor relevant, wo Datenschutz und operative Unabhängigkeit oft im Vordergrund stehen.
End-to-End-Entwicklung und Recheneffizienz
ELMOD-2.7B wurde vollständig vom Fraunhofer IIS entwickelt, einschließlich der gesamten Trainingspipeline – von der Datenverarbeitung bis hin zu Training und Evaluation. Das Modell wurde mit einem begrenzten Rechenbudget von etwa 55.000 H100-GPU-Stunden auf HPC-Ressourcen von NHR@FAU trainiert und basiert ausschließlich auf öffentlich verfügbaren Daten.
Diese Einschränkung erforderte einen starken Fokus auf Trainingseffizienz und Datenqualität. Darüber hinaus wurde ein mehrstufiger Prozess zur Qualitätsfilterung und Umformulierung eingeführt, um die didaktische Qualität der Trainingsdaten zu erhöhen. Obwohl dieser Schritt den Gesamtrechenaufwand erhöhte, ermöglichte er eine Priorisierung der Datenqualität gegenüber der Datenmenge – ein Trade-off, der sich bei kleineren Modellen als vorteilhaft erwiesen hat.
Eine neuartige deutsche Datenpipeline
Ein zentraler Aspekt von ELMOD-2.7B ist seine neuartige Datenpipeline für die deutsche Sprache. Diese ist darauf ausgelegt, sprachliche Besonderheiten abzubilden, die in überwiegend englischzentrierten Modellen oft unterrepräsentiert sind.
Die Forschenden des Fraunhofer IIS entwickelten hierfür eine Reihe spezifischer Vorverarbeitungstechniken, darunter:
- Umgang mit morphologischer Variation (z. B. Wortbeugungen)
- Verarbeitung von Komposita (zusammengesetzten Wörtern)
- Berücksichtigung orthografischer Konventionen (wie Umlaute oder Groß- und Kleinschreibung)
Weitere Details zur Modellentwicklung, Architektur und den Trainingsdaten finden sich im begleitenden Paper (in Englisch).
ELMOD-2.7B im Vergleich: Starke Leistung bei kleiner Modellgröße
ELMOD-2.7B wurde mit dem EleutherAI Evaluation Harness auf mehreren Wissens- und Reasoning-Benchmarks getestet, insbesondere für Aufgaben in deutscher Sprache.
Durch die gewählten Modellarchitekturen und Datenstrategien – darunter Vorfilterung sowie Maßnahmen zur Verbesserung der didaktischen Qualität wie Umformulierungen – erzielt ELMOD-2.7B die beste Leistung in seiner Größenklasse (<3B) und erreicht im Deutschen sogar das Niveau von 7B-Parameter-Modellen.
Veröffentlichung der Forschungsergebnisse auf Hugging Face
Um die Transparenz und mögliche Weiterentwicklung zu unterstützen, veröffentlicht das Fraunhofer IIS das Basismodell sowie eine instruction-tuned Variante auf der Open-Source-Plattform Hugging Face.
Das Basismodell stellt die grundlegenden Sprachfähigkeiten bereit, während die instruction-tuned-Variante speziell darauf optimiert wurde, Benutzeranweisungen zu folgen und aufgabenorientierte Instruktionen umzusetzen. Dadurch eignet sich die Variante besonders für interaktive und anwendungsnahe Einsatzszenarien.
„Wir wollen mit ELMOD-2.7B größere Modelle nicht ersetzen. Viel mehr zeigen wir damit, dass gezielte Designentscheidungen – insbesondere in der Datenverarbeitung, Trainingseffizienz und einem fokussierten Entwicklungsansatz – die Modellleistung auch bei begrenzter Parameteranzahl erheblich beeinflusst werden kann“, sagt Joel Schlotthauer, Gruppenleiter für Natural Language Processing im Bereich Generative AI. „Mit der freiverfügbaren Veröffentlichung der Modellgewichte und des begleitenden Papers demonstrieren wir, dass starke deutschsprachige Fähigkeiten auch mit einem kompakten Modell möglich sind. Gleichzeitig geben wir praxisnahe Einblicke in den Entwicklungsprozess von ELMOD-2.7B – von der Datenaufbereitung bis zu den Trainingsentscheidungen.“
Sehen Sie sich eine kurze Demonstration von ELMOD-2.7B an, die den On-Device-Betrieb veranschaulicht und seine Einsatzfähigkeit sowie Leistungsfähigkeit in einem realen Anwendungsszenario demonstriert. Weitere Informationen zu den Aktivitäten und anderen Forschungsprojekten des Fraunhofer IIS im Bereich LLM finden Sie unter Allinga LLM.