Fraunhofer IIS推出了“适用于设备端部署的高效语言模型”（ELMOD-2.7B），这是一个针对德语进行优化的紧凑型大型语言模型（LLM），专为资源受限的环境设计。该模型现已登陆开源平台 Hugging Face，旨在解决基础设施成本、对云服务的依赖以及数据隐私等关键挑战。
大型语言模型的扩展：规模越大并不一定越好
这些设计决策的背后，得益于大型语言模型领域更广泛发展趋势的推动。模型参数、训练数据及计算资源的持续增长，极大地提升了大型语言模型（LLMs）在自然语言理解与生成方面的能力。
然而，这些进步也伴随着结构性的权衡：即对集中式云基础设施、持续的网络连接以及高能耗计算环境的依赖日益加深。对于许多用户而言，这些制约因素引发了关于系统可靠性、运营成本以及数据主权方面的疑虑。
从规模到效率：转向本地化大语言模型
Fraunhofer IIS 推出的 ELMOD-2.7B 模型源自 DSgenAI 研究项目（即“利用生成式人工智能进行数字信号处理”项目）。这是一款参数规模为 27 亿的紧凑型语言模型，其训练所用的多语言数据集涵盖了德语、英语和代码，且尤为侧重于提升德语处理性能。
得益于其紧凑的体量，该模型能够支持本地及终端侧部署场景，甚至可以直接在智能手机芯片上运行。将大型语言模型（LLM）部署在本地，能为用户带来多重优势：
- 通过本地推理降低延迟；
- 无需持续的网络连接即可正常运行；
- 增强对敏感数据的管控能力，因数据处理过程可完全局限在终端设备内部完成；
- 相较于托管在云端的大型模型，对基础设施的要求更低。
上述特性对于受严格监管的行业及公共部门环境尤为重要，因为在这些领域中，数据保护与运营独立性往往是首要考量因素。
端到端开发与计算效率
ELMOD-2.7B 由 Fraunhofer IIS 独立开发，涵盖了完整的模型训练流程——从数据处理一直延伸至模型训练与评估。该模型利用 NHR@FAU 的高性能计算（HPC）资源进行训练，且受限于约 55,000 个 H100 GPU 小时的有限计算预算；其训练数据完全基于公开可用的数据源。
受制于这一约束条件，我们在开发过程中必须高度聚焦于训练效率与数据质量。此外，我们引入了一套多阶段的数据质量过滤与重述流程，旨在提升训练数据的教育价值。尽管这一步骤在一定程度上增加了整体的计算资源需求，但它使我们能够将数据质量置于数据体量之上——事实证明，对于小规模模型而言，这种取舍策略对于提升模型性能至关重要。
首创的德语数据处理管线
ELMOD-2.7B 的核心亮点之一，是其首创的德语数据集处理管线；该管线旨在解决那些在以英语为主导的模型中往往代表性不足的语言学特征问题。
Fraunhofer IIS 开发了一套针对德语特性的预处理技术，具体包括：
- 形态变化的规范化处理
- 复合词的拆分与处理
- • 德语书写规范考量
有关该模型的开发过程、架构设计及训练数据的更多详情，请参阅随附的论文。
ELMOD-2.7B 对比分析：小规模下的强劲表现
ELMOD-2.7B 利用 EleutherAI 语言模型评估工具（Language Model Evaluation Harness）进行了评估，涵盖了一系列推理与知识基准测试，并重点关注德语任务。
得益于架构模型及数据选择（包括预过滤、教育质量过滤以及旨在提升教育质量的重述处理），ELMOD-2.7B 在同等规模（参数量 < 3B）的模型中表现最为出色，其德语性能甚至可与参数量达 7B 的模型相媲美。
在 Hugging Face 上发布研究成果
为促进透明度与进一步发展，Fraunhofer IIS 正在开源平台 Hugging Face 上发布其基础模型及其经指令微调的变体。其中，基础模型提供了底层的语言能力；而经指令微调的变体则针对遵循用户提示及执行任务导向型指令进行了进一步优化，使其更适用于交互式及面向应用的场景。
生成式人工智能部门自然语言处理组负责人 Joel Schlotthauer 表示：“ELMOD-2.7B 的目标并非取代规模更大的模型。相反，它旨在表明，有针对性的设计选择——特别是在数据处理、训练效率以及聚焦式的开发策略方面——能够在有限的参数预算内显著提升模型性能， 通过公开发布该模型的权重及配套论文，我们希望证明：即使是紧凑型模型，也能具备强大的德语处理能力。此外，我们还分享了 ELMOD-2.7B 背后的开发过程中的实用洞见，涵盖从数据准备到训练策略选择的方方面面。”
观看 ELMOD-2.7B 在设备端运行的简短演示，以直观展示其在实际应用场景下的部署特性与性能表现。如需了解 Fraunhofer IIS 在大语言模型（LLM）领域的各项活动及其他研究项目，敬请访问“Allinga LLM”专页。
