Forschungsbericht · Version 1.0 · 16.11.2026 · Englisch und Deutsch
Nuha: Reinraum-Verifikation der Musterlösungen eines Eurocode-Benchmarks
Benchmarks bewerten Sprachmodelle gegen Musterlösungen, die selten unabhängig geprüft werden. Nuha hat einen synthetischen Eurocode-Benchmark mit 5.888 Aufgaben vollständig nachgerechnet, um zu prüfen, ob seine Musterlösungen stimmen.
Ein Modell, das den genannten Nationalen Anhang richtig anwendet, verliert in solchen Aufgaben Punkte. Benchmarks in normativen Fachgebieten brauchen deshalb eine unabhängige Nachrechnung, bevor sie Modelle vergleichen.