{"id":9943,"date":"2026-07-28T09:26:30","date_gmt":"2026-07-28T07:26:30","guid":{"rendered":"https:\/\/www.audioblog.iis.fraunhofer.com\/?p=9943"},"modified":"2026-07-28T10:32:56","modified_gmt":"2026-07-28T08:32:56","slug":"elmod-2-7b-a-german-llm-for-resource-constrained-environments","status":"publish","type":"post","link":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/elmod-2-7b-a-german-llm-for-resource-constrained-environments","title":{"rendered":"ELMOD-2.7B: Ein deutsches LLM f\u00fcr ressourcenbeschr\u00e4nkte Umgebungen"},"content":{"rendered":"<p><strong>Fraunhofer IIS stellt das \u201eEfficient Language Model for On-Device Deployment\u201c (ELMOD-2.7B) vor, ein auf Deutsch ausgerichtetes Large Language Model (LLM) f\u00fcr ressourcenbeschr\u00e4nkte Anwendungen, auf der Open-Source-Plattform Hugging Face bereit. Das kompakte Sprachmodell geht Herausforderungen wie Betriebskosten, Cloud-Abh\u00e4ngigkeit und Datensouver\u00e4nit\u00e4t an.<\/strong><!--more--><\/p>\n<h2>Skalierung von LLMs: Warum gr\u00f6\u00dfer nicht immer besser ist<\/h2>\n<p>Die zugrunde liegenden Designentscheidungen h\u00e4ngen mit \u00fcbergreifenden Entwicklungen im Bereich der Large Language Models zusammen: Die kontinuierliche Erh\u00f6hung von Modellparametern, Trainingsdaten und Rechenkapazit\u00e4t hat die Leistungsf\u00e4higkeit von LLMs beim Verstehen und Generieren nat\u00fcrlicher Sprache deutlich gesteigert.<\/p>\n<p>Diese Leistungsgewinne gehen jedoch mit strukturellen Einschr\u00e4nkungen einher: darunter eine verst\u00e4rkte Abh\u00e4ngigkeit von zentralisierten Cloud-Infrastrukturen, dauerhaft notwendige Netzwerkkonnektivit\u00e4t sowie energieintensive Rechenumgebungen. F\u00fcr viele Nutzer stellt sich daher die Frage nach Zuverl\u00e4ssigkeit, Betriebskosten und insbesondere nach der Datensouver\u00e4nit\u00e4t.<\/p>\n<h2>Von Skalierung zu Effizienz: Der Wandel hin zu lokalen LLMs<\/h2>\n<p>Fraunhofer IIS\u2019 ELMOD-2.7B ist aus dem <a href=\"https:\/\/www.dsai.iis.fraunhofer.com\/elmod-bringing-a-german-first-llm-to-your-smartphone\/\">Forschungsprojekt DSgenAI (Digital Signal Processing using Generative Artificial Intelligence)<\/a> hervorgegangen. Es ist ein kompaktes Sprachmodell mit 2,7 Milliarden Parametern, das auf einem mehrsprachigen Datensatz trainiert wurde. Dieser umfasst Deutsch, Englisch und Code, mit besonderem Fokus auf die Leistungsf\u00e4higkeit in deutscher Sprache.<\/p>\n<p>Die kompakte Gr\u00f6\u00dfe des Modells erm\u00f6glicht den Betrieb On-Premises- und On-Device, einschlie\u00dflich der direkten Ausf\u00fchrung auf einem Smartphone-Chip. Die lokale Bereitstellung eines LLM bietet mehrere Vorteile f\u00fcr Nutzer:<\/p>\n<ul>\n<li>Geringere Latenz durch lokale Inferenz<\/li>\n<li>Betrieb ohne permanente Netzwerkverbindung<\/li>\n<li>Verbesserte Kontrolle \u00fcber sensible Daten, da die Verarbeitung vollst\u00e4ndig auf dem Ger\u00e4t bleiben kann<\/li>\n<li>Geringerer Infrastrukturbedarf im Vergleich zu gro\u00dfen, cloudbasierten Modellen<\/li>\n<\/ul>\n<p>Diese Eigenschaften sind besonders in regulierten Branchen und im \u00f6ffentlichen Sektor relevant, wo Datenschutz und operative Unabh\u00e4ngigkeit oft im Vordergrund stehen.<\/p>\n<h2>End-to-End-Entwicklung und Recheneffizienz<\/h2>\n<p>ELMOD-2.7B wurde vollst\u00e4ndig vom Fraunhofer IIS entwickelt, einschlie\u00dflich der gesamten Trainingspipeline \u2013 von der Datenverarbeitung bis hin zu Training und Evaluation. Das Modell wurde mit einem begrenzten Rechenbudget von etwa 55.000 H100-GPU-Stunden auf HPC-Ressourcen von <a href=\"https:\/\/hpc.fau.de\/\">NHR@FAU<\/a> trainiert und basiert ausschlie\u00dflich auf \u00f6ffentlich verf\u00fcgbaren Daten.<\/p>\n<p>Diese Einschr\u00e4nkung erforderte einen starken Fokus auf Trainingseffizienz und Datenqualit\u00e4t. Dar\u00fcber hinaus wurde ein mehrstufiger Prozess zur Qualit\u00e4tsfilterung und Umformulierung eingef\u00fchrt, um die didaktische Qualit\u00e4t der Trainingsdaten zu erh\u00f6hen. Obwohl dieser Schritt den Gesamtrechenaufwand erh\u00f6hte, erm\u00f6glichte er eine Priorisierung der Datenqualit\u00e4t gegen\u00fcber der Datenmenge \u2013 ein Trade-off, der sich bei kleineren Modellen als vorteilhaft erwiesen hat.<\/p>\n<h2>Eine neuartige deutsche Datenpipeline<\/h2>\n<p>Ein zentraler Aspekt von ELMOD-2.7B ist seine neuartige Datenpipeline f\u00fcr die deutsche Sprache. Diese ist darauf ausgelegt, sprachliche Besonderheiten abzubilden, die in \u00fcberwiegend englischzentrierten Modellen oft unterrepr\u00e4sentiert sind.<\/p>\n<p>Die Forschenden des Fraunhofer IIS entwickelten hierf\u00fcr eine Reihe spezifischer Vorverarbeitungstechniken, darunter:<\/p>\n<ul>\n<li>Umgang mit morphologischer Variation (z. B. Wortbeugungen)<\/li>\n<li>Verarbeitung von Komposita (zusammengesetzten W\u00f6rtern)<\/li>\n<li>Ber\u00fccksichtigung orthografischer Konventionen (wie Umlaute oder Gro\u00df- und Kleinschreibung)<\/li>\n<\/ul>\n<p>Weitere Details zur Modellentwicklung, Architektur und den Trainingsdaten finden sich im <a href=\"https:\/\/arxiv.org\/abs\/2607.24585\" target=\"_blank\" rel=\"noopener\">begleitenden Paper (in Englisch)<\/a>.<\/p>\n<h2>ELMOD-2.7B im Vergleich: Starke Leistung bei kleiner Modellgr\u00f6\u00dfe<\/h2>\n<p>ELMOD-2.7B wurde mit dem EleutherAI Evaluation Harness auf mehreren Wissens- und Reasoning-Benchmarks getestet, insbesondere f\u00fcr Aufgaben in deutscher Sprache.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-large wp-image-9931\" src=\"https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-1024x518.png\" alt=\"ELMOD-2.7B im Vergleich: Starke Leistung bei kleiner Modellgr\u00f6\u00dfe\" width=\"770\" height=\"390\" srcset=\"https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-1024x518.png 1024w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-300x152.png 300w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-768x388.png 768w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-1536x777.png 1536w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-2048x1036.png 2048w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-370x187.png 370w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-270x137.png 270w, https:\/\/www.audioblog.iis.fraunhofer.com\/wp-content\/uploads\/2026\/07\/german_base_de_tasks_deutscher_Titel-740x374.png 740w\" sizes=\"(max-width: 770px) 100vw, 770px\" \/><\/p>\n<p>Durch die gew\u00e4hlten Modellarchitekturen und Datenstrategien \u2013 darunter Vorfilterung sowie Ma\u00dfnahmen zur Verbesserung der didaktischen Qualit\u00e4t wie Umformulierungen \u2013 erzielt ELMOD-2.7B die beste Leistung in seiner Gr\u00f6\u00dfenklasse (&lt;3B) und erreicht im Deutschen sogar das Niveau von 7B-Parameter-Modellen.<\/p>\n<h2>Ver\u00f6ffentlichung der Forschungsergebnisse auf Hugging Face<\/h2>\n<p>Um die Transparenz und m\u00f6gliche Weiterentwicklung zu unterst\u00fctzen, ver\u00f6ffentlicht das <a href=\"https:\/\/huggingface.co\/collections\/fraunhofer-iis\/elmod-27b\">Fraunhofer IIS das Basismodell sowie eine instruction-tuned Variante auf der Open-Source-Plattform Hugging Face.<\/a><\/p>\n<p>Das Basismodell stellt die grundlegenden Sprachf\u00e4higkeiten bereit, w\u00e4hrend die instruction-tuned-Variante speziell darauf optimiert wurde, Benutzeranweisungen zu folgen und aufgabenorientierte Instruktionen umzusetzen. Dadurch eignet sich die Variante besonders f\u00fcr interaktive und anwendungsnahe Einsatzszenarien.<\/p>\n<p>\u201eWir wollen mit ELMOD-2.7B gr\u00f6\u00dfere Modelle nicht ersetzen. Viel mehr zeigen wir damit, dass gezielte Designentscheidungen \u2013 insbesondere in der Datenverarbeitung, Trainingseffizienz und einem fokussierten Entwicklungsansatz \u2013 die Modellleistung auch bei begrenzter Parameteranzahl erheblich beeinflusst werden kann\u201c, sagt Joel Schlotthauer, Gruppenleiter f\u00fcr Natural Language Processing im Bereich Generative AI. \u201eMit der freiverf\u00fcgbaren Ver\u00f6ffentlichung der Modellgewichte und des begleitenden Papers demonstrieren wir, dass starke deutschsprachige F\u00e4higkeiten auch mit einem kompakten Modell m\u00f6glich sind. Gleichzeitig geben wir praxisnahe Einblicke in den Entwicklungsprozess von ELMOD-2.7B \u2013 von der Datenaufbereitung bis zu den Trainingsentscheidungen.\u201c<\/p>\n<p>Sehen Sie sich eine <a href=\"https:\/\/youtu.be\/KD_OnpJH0zI?si=Y5VCC_vH_VA51MwY\">kurze Demonstration von ELMOD-2.7B an<\/a>, die den On-Device-Betrieb veranschaulicht und seine Einsatzf\u00e4higkeit sowie Leistungsf\u00e4higkeit in einem realen Anwendungsszenario demonstriert. Weitere Informationen zu den Aktivit\u00e4ten und anderen Forschungsprojekten des Fraunhofer IIS im Bereich LLM finden Sie unter <a href=\"https:\/\/www.allinga.fraunhofer.de\/en\/llm.html\">Allinga LLM<\/a>.<\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Fraunhofer IIS stellt das \u201eEfficient Language Model for On-Device Deployment\u201c (ELMOD-2.7B) vor, ein auf Deutsch ausgerichtetes Large Language Model (LLM) f\u00fcr ressourcenbeschr\u00e4nkte Anwendungen, auf der Open-Source-Plattform Hugging Face bereit. Das kompakte Sprachmodell geht Herausforderungen wie Betriebskosten, Cloud-Abh\u00e4ngigkeit und Datensouver\u00e4nit\u00e4t an.<\/p>\n","protected":false},"author":2,"featured_media":9940,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[111],"tags":[],"class_list":["post-9943","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-produkte-technologien"],"_links":{"self":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/9943"}],"collection":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/comments?post=9943"}],"version-history":[{"count":3,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/9943\/revisions"}],"predecessor-version":[{"id":9952,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/9943\/revisions\/9952"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/media\/9940"}],"wp:attachment":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/media?parent=9943"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/categories?post=9943"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/tags?post=9943"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}