{"id":8833,"date":"2024-11-27T10:42:33","date_gmt":"2024-11-27T08:42:33","guid":{"rendered":"https:\/\/www.audioblog.iis.fraunhofer.com\/?p=8833"},"modified":"2024-11-27T10:45:20","modified_gmt":"2024-11-27T08:45:20","slug":"open-gptx-llm","status":"publish","type":"post","link":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/open-gptx-llm","title":{"rendered":"Multilingual und Open Source: Forschungsprojekt OpenGPT-X ver\u00f6ffentlicht gro\u00dfes KI-Sprachmodell"},"content":{"rendered":"
\u00a0<\/b><\/div>\n

<\/p>\n

Das gro\u00dfe KI-Sprachmodell des Forschungsprojekts OpenGPT-X steht ab sofort auf Hugging Face zum Download bereit: \u00bbTeuken-7B\u00ab wurde von Grund auf mit den 24 Amtssprachen der EU trainiert und umfasst sieben Milliarden Parameter. Akteure aus Forschung und Unternehmen k\u00f6nnen das kommerziell einsetzbare Open-Source-Modell f\u00fcr ihre eigenen Anwendungen der K\u00fcnstlichen Intelligenz (KI) nutzen. Damit haben die Partner des vom Bundesministerium f\u00fcr Wirtschaft und Klimaschutz (BMWK) gef\u00f6rderten Konsortialprojekts OpenGPT-X unter der Leitung der Fraunhofer-Institute f\u00fcr Intelligente Analyse- und Informationssysteme IAIS und f\u00fcr Integrierte Schaltungen IIS ein gro\u00dfes KI-Sprachmodell als frei verwendbares Open- Source-Modell mit europ\u00e4ischer Perspektive auf den Weg gebracht.<\/b><\/div>\n
\n
\n
\n
\n
\n
\n

\u00bbIm Projekt OpenGPT-X haben wir in den vergangenen zwei Jahren mit starken Partnern aus Forschung und Wirtschaft die grundlegende Technologie f\u00fcr gro\u00dfe KI- Fundamentalmodelle erforscht und entsprechende Modelle trainiert. Wir freuen uns, dass wir jetzt unser Modell \u201aTeuken-7B\u2018 weltweit frei zur Verf\u00fcgung stellen und damit eine aus der \u00f6ffentlichen Forschung stammende Alternative f\u00fcr Wissenschaft und Unternehmen bieten k\u00f6nnen\u00ab, sagt Prof. Dr. Stefan Wrobel, Institutsleiter am Fraunhofer IAIS. \u00bbUnser Modell hat seine Leistungsf\u00e4higkeit \u00fcber eine gro\u00dfe Bandbreite an Sprachen gezeigt, und wir hoffen, dass m\u00f6glichst viele das Modell f\u00fcr eigene Arbeiten und Anwendungen adaptieren oder weiterentwickeln werden. So wollen wir sowohl innerhalb der wissenschaftlichen Community als auch gemeinsam mit Unternehmen unterschiedlicher Branchen einen Beitrag leisten, um den steigenden Bedarf nach transparenten und individuell anpassbaren L\u00f6sungen der generativen K\u00fcnstlichen Intelligenz zu adressieren.\u00ab<\/p>\n

Teuken-7B ist aktuell eines der wenigen KI-Sprachmodelle, die von Grund auf multilingual entwickelt wurden. Es enth\u00e4lt ca. 50 Prozent nicht-englische Pretraining-Daten und wurde in allen 24 europ\u00e4ischen Amtssprachen trainiert. Es erweist sich \u00fcber mehrere Sprachen hinweg in seiner Leistung als stabil und zuverl\u00e4ssig. Dies bietet insbesondere internationalen Unternehmen mit mehrsprachigen Kommunikationsbedarfen sowie Produkt- und Serviceangeboten einen Mehrwert. Die Bereitstellung als Open-Source-Modell erlaubt es Unternehmen und Organisationen, eigene angepasste Modelle in realen Anwendungen zu betreiben. Sensible Daten k\u00f6nnen im Unternehmen verbleiben.<\/p>\n

Das OpenGPT-X-Team widmete sich neben dem Modelltraining auch zahlreichen\u00a0Forschungsfragen, zum Beispiel wie multilinguale KI-Sprachmodelle energie- und\u00a0kosteneffizienter trainiert und betrieben werden k\u00f6nnen. Dazu wurde im Projekt ein multilingualer \u00bbTokenizer\u00ab entwickelt. Die Aufgabe eines Tokenizers ist es, W\u00f6rter in einzelne Wortbestandteile zu zerlegen \u2013 je weniger Token, desto (energie-)effizienter und schneller generiert ein Sprachmodell die Antwort. Der entwickelte Tokenizer f\u00fchrte zu einer Reduzierung der Trainingskosten im Vergleich zu anderen multilingualen Tokenizern, wie etwa Llama3 oder Mistral. Dies kommt insbesondere bei europ\u00e4ischen Sprachen mit langen W\u00f6rtern wie Deutsch, Finnisch oder Ungarisch zum Tragen. Auch im Betrieb von mehrsprachigen KI-Anwendungen k\u00f6nnen damit Effizienzsteigerungen erreicht werden.<\/p>\n

Das Verbundprojekt OpenGPT-X wurde im Rahmen des BMWK-F\u00f6rderprogramms \u00bbInnovative und praxisnahe Anwendungen und Datenr\u00e4ume im digitalen \u00d6kosystem Gaia-X\u00ab gef\u00f6rdert. Somit ist Teuken-7B auch \u00fcber die Gaia-X Infrastruktur zug\u00e4nglich. Akteure im Gaia-X-\u00d6kosystem k\u00f6nnen so innovative Sprachanwendungen entwickeln und in konkrete Anwendungsszenarien in ihren jeweiligen Dom\u00e4nen \u00fcberf\u00fchren. Im Gegensatz zu bestehenden Cloud-L\u00f6sungen handelt es sich bei Gaia-X um ein f\u00f6deriertes System, \u00fcber das sich unterschiedliche Dienstanbieter und Dateneigent\u00fcmer miteinander verbinden k\u00f6nnen. Die Daten verbleiben stets beim Eigent\u00fcmer und werden ausschlie\u00dflich nach festgelegten Bedingungen geteilt.<\/p>\n

\u00bbIch freue mich \u00fcber die heutige Ver\u00f6ffentlichung des Gaia-X-basierten KI- Sprachmodells Teuken-7B und gratuliere dem Projekt OpenGPT-X, dass es diesen wichtigen Meilenstein erreicht hat. Besonders ist, dass Teuken-7B auch die sichere Nutzung sensibler Unternehmensdaten erm\u00f6glicht, da die Gaia-X-Standards die Datenspeicherung und -verarbeitung nach h\u00f6chsten europ\u00e4ischen Datenschutz- und Sicherheitsbestimmungen garantieren. Innovationen wie diese st\u00e4rken die digitale Souver\u00e4nit\u00e4t, die Wettbewerbsf\u00e4higkeit und auch die Resilienz Deutschlands und Europas. Deshalb f\u00f6rdert das BMWK das Projekt mit rund 14 Millionen Euro\u00ab, sagt Dr. Franziska Brantner, Parlamentarische Staatssekret\u00e4rin im BMWK.<\/p>\n

Prof. Dr.-Ing. Bernhard Grill, Institutsleiter am Fraunhofer IIS, betont die Bedeutung f\u00fcr sicherheitsrelevante Anwendungen: \u00bbMit dem hier ver\u00f6ffentlichten, von Grund auf vollkommen eigenst\u00e4ndig trainierten Sprachmodell demonstrieren die Projektpartner ihre F\u00e4higkeit, eigene gro\u00dfe Modelle erzeugen zu k\u00f6nnen. Der damit verbundene Zugriff auf ein gro\u00dfes KI-Sprachmodell erm\u00f6glicht Anwendungen, die ohne nicht einsehbare Fremd-Komponenten eine sehr viel bessere Kontrolle \u00fcber diese Technologie bieten \u2013 z. B. f\u00fcr spezifische, besonders auch sicherheitskritische Anwendungen im Automobilbereich, in der Robotik, der Medizin oder dem Finanzwesen. Durch Training mit den f\u00fcr den konkreten Anwendungsfall relevanten Daten und die Verwendung anwendungsspezifischer Architekturen k\u00f6nnen f\u00fcr\u00a0Unternehmen so individuelle KI-L\u00f6sungen geschaffen werden, die ohne Black-Box-Komponenten auskommen.\u00ab<\/p>\n

Generative KI aus einem starken Verbund \u2013 mit europ\u00e4ischer Perspektive<\/h4>\n

In die Modellentwicklung sind wichtige Forschungsergebnisse aus dem OpenGPT-X- Projekt eingeflossen, wie beispielsweise Tools und Technologien, um sehr gro\u00dfe Datenmengen aufzubereiten, leistungsf\u00e4hige europ\u00e4ische HPC-Infrastrukturen zu nutzen und ein effizientes Modelltraining durchzuf\u00fchren. Trainiert wurde Teuken-7B mithilfe des Supercomputers JUWELS am Forschungszentrum J\u00fclich. Neben den beiden Fraunhofer-Instituten und dem Forschungszentrum J\u00fclich haben der KI Bundesverband, die TU Dresden, das Deutsche Forschungszentrum f\u00fcr K\u00fcnstliche Intelligenz (DFKI), IONOS, Aleph Alpha, ControlExpert sowie der Westdeutsche Rundfunk (WDR) als Partner an OpenGPT-X mitgearbeitet. Die in OpenGPT-X entstandene Technologie bietet den Partnern auch zuk\u00fcnftig die Basis f\u00fcr das Training weiterer eigener Modelle.<\/p>\n

\u00bbOpenGPT-X dient als Beispiel daf\u00fcr, wie mit den Mitteln eines \u00f6ffentlichen F\u00f6rderprojekts und der gemeinsamen Anstrengung eines breit aufgestellten Konsortiums \u2013 von der zugrundeliegenden Infrastruktur \u00fcber das Training von Modellen bis hin zur produktiven Anwendung \u2013 wertvolle Basistechnologie entstehen kann. Im Interesse der Technologie- und Datensouver\u00e4nit\u00e4t gilt es nun, auf dieser Grundlage aufzubauen: Wir w\u00fcnschen uns, dass OpenGPT-X als Basis f\u00fcr viele nachfolgende Aktivit\u00e4ten genutzt werden wird\u00ab, betont Daniel Abbou, Gesch\u00e4ftsf\u00fchrer im KI Bundesverband und Pr\u00e4sident des European AI Forum.<\/p>\n

Das Anfang 2022 gestartete Forschungsprojekt steht nun kurz vor dem Abschluss. Es l\u00e4uft noch bis zum 31. M\u00e4rz 2025, so dass weitere Optimierungen und Evaluierungen der Modelle erfolgen k\u00f6nnen.<\/p>\n

 <\/p>\n

Der Weg zur Nutzung von Teuken-7B<\/h4>\n

Interessierte Entwicklerinnen und Entwickler aus der Wissenschaftscommunity oder Unternehmen k\u00f6nnen Teuken-7B bei Hugging Face kostenfrei herunterladen und in der eigenen Entwicklungsumgebung damit arbeiten. Das Modell wurde durch ein \u00bbInstruction Tuning\u00ab bereits f\u00fcr den Chat optimiert. Mit Instruction Tuning werden gro\u00dfe KI-Sprachmodelle dahingehend angepasst, dass das Modell Anweisungen von Nutzerinnen und Nutzern richtig versteht, was vor allem f\u00fcr die Anwendung der Modelle in der Praxis relevant ist \u2013 zum Beispiel f\u00fcr den Einsatz in einer Chatanwendung.<\/p>\n

Teuken-7B steht in zwei Varianten zur Verf\u00fcgung: einer Version, die f\u00fcr Forschungszwecke genutzt werden kann, und eine Version unter der Lizenz \u00bbApache 2.0\u00ab, die Unternehmen neben Forschung auch f\u00fcr kommerzielle Zwecke nutzen und in\u00a0eigene KI-Anwendungen integrieren k\u00f6nnen. Die Leistungsf\u00e4higkeit beider Modelle ist in etwa vergleichbar, einige der f\u00fcr das Instruction Tuning verwendeten Datens\u00e4tze\u00a0schlie\u00dfen jedoch eine kommerzielle Nutzung aus und wurden aus diesem Grund in der\u00a0Apache 2.0-Version nicht verwendet.<\/p>\n

Download-M\u00f6glichkeit und Model Cards finden sich unter folgendem Link:\u00a0https:\/\/huggingface.co\/openGPT-X<\/a><\/p>\n

F\u00fcr technisches Feedback, Fragen und Fachdiskussionen steht der Fachcommunity der OpenGPT-X Discord Server zur Verf\u00fcgung:\u00a0https:\/\/discord.gg\/RvdHpGMvB3<\/a><\/p>\n

Speziell f\u00fcr Unternehmen besteht zudem die M\u00f6glichkeit, an kostenfreien Demoterminen teilzunehmen, in denen Fraunhofer-Wissenschaftlerinnen und Wissenschaftler erl\u00e4utern, welche Anwendungen mit Teuken-7B realisiert werden k\u00f6nnen. Die Anmeldung zu Demoterminen ist \u00fcber\u00a0www.iais.fraunhofer.de\/opengpt-x<\/a>\u00a0m\u00f6glich.<\/p>\n

Ausf\u00fchrliche technische Hintergrundinformationen und Benchmarks sowie eine \u00dcbersicht aller Forschungsergebnisse des Projekts OpenGPT-X finden sich auf der Projektwebseite:\u00a0https:\/\/opengpt-x.de\/en\/models\/teuken-7b<\/a><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/article>\n<\/div>\n

\n
\n
\n
\n
\n

\u00dcber OpenGPT-X<\/h4>\n

Das OpenGPT-X-Projekt startete am 1. Januar 2022 mit einer F\u00f6rderung des Bundesministeriums f\u00fcr Wirtschaft und Klimaschutz (BMWK) in H\u00f6he von rund 14 Millionen Euro und endet am 31. M\u00e4rz 2025. Die zehn Projektpartner sind Fraunhofer IAIS, Fraunhofer IIS, Forschungszentrum J\u00fclich, KI Bundesverband, TU Dresden, DFKI, IONOS, Aleph Alpha, ControlExpert und WDR. Unter der Leitung von Fraunhofer IAIS und Fraunhofer IIS erforscht das Projekt die gesamte Wertsch\u00f6pfungskette der\u00a0Generativen KI: Von der hochskalierbaren, GPU-basierten Infrastruktur und den Daten\u00a0f\u00fcr das Training gro\u00dfer Sprachmodelle, \u00fcber die Entwicklung der Modelle, bis hin zur\u00a0produktiven Anwendung in Form von Prototypen und Proof of Concepts (PoCs). \u00dcbergreifendes Ziel des Projektes war es, ein eigenes gro\u00dfes KI-Sprachmodell zu entwickeln, das f\u00fcr Forschung und Unternehmen Open Source zur Verf\u00fcgung gestellt und insbesondere auf die multilingualen Bed\u00fcrfnisse Europas ausgerichtet wird. Mit der Ver\u00f6ffentlichung von Teuken-7B hat das Projekt dieses Ziel erreicht und stellt damit eine aus der \u00f6ffentlichen Forschung stammende Alternative f\u00fcr zuk\u00fcnftige wissenschaftliche Untersuchungen und wirtschaftliche Anwendungen der Generativen KI zur Verf\u00fcgung.<\/p>\n

\u00dcber Fraunhofer IAIS<\/h4>\n

Als Teil der gr\u00f6\u00dften Organisation f\u00fcr anwendungsorientierte Forschung in Europa ist das Fraunhofer-Institut f\u00fcr Intelligente Analyse- und Informationssysteme IAIS mit Sitz in Sankt Augustin\/Bonn und einem Standort in Dresden eines der f\u00fchrenden Wissenschaftsinstitute auf den Gebieten K\u00fcnstliche Intelligenz (KI), Maschinelles Lernen und Big Data in Deutschland und Europa. Rund 380 Mitarbeitende unterst\u00fctzen Unternehmen bei der Optimierung von Produkten, Dienstleistungen und Prozessen sowie bei der Entwicklung neuer digitaler Gesch\u00e4ftsmodelle. Das Fraunhofer IAIS gestaltet die digitale Transformation unserer Arbeits- und Lebenswelt: mit innovativen KI-Anwendungen f\u00fcr Industrie, Gesundheit und Nachhaltigkeit, mit zukunftsweisenden Technologien wie gro\u00dfen KI-Sprachmodellen oder Quantum Machine Learning, mit Angeboten f\u00fcr die Aus- und Weiterbildung oder f\u00fcr die Pr\u00fcfung von KI-Anwendungen auf Sicherheit und Vertrauensw\u00fcrdigkeit.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/article>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

\u00a0<\/p>\n","protected":false},"author":2,"featured_media":8829,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[111],"tags":[],"class_list":["post-8833","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-produkte-technologien"],"_links":{"self":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/8833"}],"collection":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/comments?post=8833"}],"version-history":[{"count":4,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/8833\/revisions"}],"predecessor-version":[{"id":8837,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/posts\/8833\/revisions\/8837"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/media\/8829"}],"wp:attachment":[{"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/media?parent=8833"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/categories?post=8833"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.audioblog.iis.fraunhofer.com\/de\/wp-json\/wp\/v2\/tags?post=8833"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}