Het bewijs

Scorebord

Het oorspronkelijke doel is gehaald: GPT-NL op alle zes gepubliceerde benchmarks minimaal evenaren. Vijf keer erboven, op dbrd gelijk. WikiLingua-nl valt buiten de vergelijking, want daar wisselde de metriek. Walnoot 8B telt 8,05 miljard parameters tegen 26,03 miljard van GPT-NL.

Evaluatieframework: EuroEval 17.6.0
Model: Walnoot 8B Instruct 1.0
Bijgewerkt: 17 september 2026

Een walnoot naast de bek van een stalen schuifmaat, van bovenaf op een donkere leistenen plaat.

Alle taken

Hoe verhoudt Walnoot 8B zich tot GPT-NL?

10 taken, dunste marge eerstEuroEval 17.6.0Alle 10 Nederlandse taken van EuroEval 17.6.0. Kolommen: taak, soort, metriek, onze score, het gepubliceerde cijfer van GPT-NL, de marge en de uitkomst. Het 95%-interval staat in de tabel onder de beslisregel.
Taak	Soort	Metriek	Walnoot 8B	GPT-NL	Marge	Uitkomst
dbrd	Sentiment	MCC	90,56	90	+0,56	gelijkspel
conll-nl	Entiteitsherkenning	micro-F1 (no-MISC)	46,52	36	+10,52	gewonnen
squad-nl	Begrijpend lezen	EM	62,08	51	+11,08	gewonnen
scala-nl	Taalkundige correctheid	MCC	34,41	19	+15,41	gewonnen
hellaswag-nl	Alledaags redeneren	MCC	22,46	−2	+24,46	gewonnen
mmlu-nl	Kennis	MCC	37,16	2	+35,16	gewonnen
Zonder vergelijkingsbasis
wikilingua-nl	Samenvatten	ChrF3++	34,18	geen gepubliceerde score	geen gepubliceerde score	metriekwissel
duidelijke-taal	Begrijpelijke taal	METEOR	52,95	geen gepubliceerde score	geen gepubliceerde score	geen publicatie
valeu-nl	Europese waarden	EuropeanValues	2,02	geen gepubliceerde score	geen gepubliceerde score	geen publicatie
mbbq-nl	Stereotypering	bias-gecorrigeerde accuratesse	27,72	geen gepubliceerde score	geen gepubliceerde score	geen publicatie

Voetnoten bij de tabel

Op punten staan wij hier met 90,56 tegen 90 voor. Ons betrouwbaarheidsinterval loopt van 89,76 tot 91,35 en hun cijfer valt daarbinnen, dus onze regel noemt dit gelijkspel. Een hermeting liet eerder zien dat alleen al de GPU-parallelvorm dit cijfer 0,32 punt kan verschuiven.
De metriek staat er voluit omdat er twee schalen naast elkaar bestaan. Wij toetsen op micro-F1 zonder MISC, want de gepubliceerde 36 van GPT-NL staat op diezelfde schaal. Inclusief MISC meet Walnoot 8B 29,13. Dat tweede cijfer staat in de ruwe logs en daarom staat het hier ook.
Op deze taak wisselde de metriek tussen beide metingen. GPT-NL publiceerde 61 op BERTScore en wij meten 34,18 op ChrF3++. Die getallen staan op verschillende schalen, dus wij zetten ze nooit naast elkaar. Draait GPT-NL zijn model op ChrF3++, dan vergelijken we alsnog.
Deze taak meet het herschrijven naar begrijpelijke taal. GPT-NL publiceerde hier geen cijfer, dus er valt niets naast te leggen. Deze tabel voert per taak de primaire metriek van het evaluatieframework. Dat is hier METEOR; alleen bij squad-nl wijken wij daarvan af omdat het gepubliceerde cijfer van GPT-NL op die andere maat staat.
2,02 is de laagste score van de hele suite. Wij hebben deze dataset intern als niet-citeerbaar aangemerkt; het lessenregister voert dat als EV-5 met status open. GPT-NL publiceerde hier geen cijfer.
De metriek corrigeert de accuratesse voor de voorkeur die het model bij dubbelzinnige vragen laat zien. GPT-NL publiceerde hier geen cijfer. De score staat er omdat deze taak bij de officiële Nederlandse suite van EuroEval 17.6.0 hoort.

Een streepje betekent dat GPT-NL daar geen cijfer publiceerde en dan valt er ook geen marge te rekenen.

Bron van de GPT-NL-kolomTNO, GPTNL-DEL-4002, december 2025, pagina 44 tot 49. Gemeten op EuroEval 15.16.0, gepind in §3.6.3 op pagina 96.

De beslisregel

Wanneer telt een taak als gewonnen?

Winst heet pas winst als ons hele betrouwbaarheidsinterval boven hun cijfer ligt. Verlies pas als het er volledig onder ligt. Valt hun cijfer binnen ons interval, dan staat er gelijkspel. Dat geldt ook op een taak waar wij op punten voorstaan.

Het interval per taak

Elke taak die wij meten heeft een interval. Waar GPT-NL een cijfer publiceerde, staat dat ernaast.

Het 95%-interval per taak. Kolommen: taak, het cijfer van Walnoot 8B, het 95%-interval, het gepubliceerde cijfer van GPT-NL en of dat cijfer binnen de grenzen valt. Zonder gepubliceerd cijfer van GPT-NL valt er niets te toetsen.
Taak	Walnoot 8B	95%-interval	GPT-NL	Valt
dbrd	90,56	89,76–91,35	90	erbinnen
conll-nl	46,52	44,49–48,55	36	eronder
squad-nl	62,08	61,42–62,73	51	eronder
scala-nl	34,41	31,00–37,81	19	eronder
hellaswag-nl	22,46	20,73–24,19	−2	eronder
mmlu-nl	37,16	36,19–38,13	2	eronder
wikilingua-nl	34,18	32,74–35,62	geen gepubliceerde score	niets te toetsen
duidelijke-taal	52,95	51,11–54,78	geen gepubliceerde score	niets te toetsen
valeu-nl	2,02	1,41–2,64	geen gepubliceerde score	niets te toetsen
mbbq-nl	27,72	26,17–29,27	geen gepubliceerde score	niets te toetsen

Meetregime

Hoe is er gemeten?

Wij maten onze kolom met EuroEval 17.6.0 op de test-split, in 10 iteraties en met bf16-gewichten. De GPT-NL-kolom is hun eigen publicatie van december 2025 op EuroEval 15.16.0, interim-scores van het basismodel, gepubliceerd als puntscores zonder interval bij de cijfers die wij overnemen. Er zit twee hoofdversies verschil in het evaluatieframework. Over versies heen is de datasetinhoud niet gegarandeerd identiek. Daarom vermelden we bij iedere vergelijking expliciet welke versie is gebruikt.

Regime: test-split, 10 iteraties, bf16, nul mislukte instances

De kolom van GPT-NL

Waarom meten wij GPT-NL niet zelf?

GPT-NL publiceert geen gewichten, dus niemand buiten het consortium kan dat model draaien. Wij hebben het daarom nooit zelf gemeten. Deze tabel zet ons gemeten cijfer naast hun gepubliceerde cijfer.

GPT-NL, het model dat met publieke middelen voor het Nederlands wordt gebouwd, was het doel en de meetlat van dit project. Wij namen zijn eisen aan de data over. Apertus is het basismodel waarop Walnoot is doorgetraind; het instructiemodel van Apertus zelf maakte in zijn nabewerking andere keuzes dan wij, met een bredere datamix. Andere open modellen maakten andere keuzes in data en herkomst. Deze pagina vergelijkt met GPT-NL, omdat dat de vraag was die wij stelden.

Narekenen

Reken elk cijfer zelf na

pip install "euroeval[all]==17.6.0" && euroeval --model WAINUT/walnoot-8b-instruct --language nl --num-iterations 10 --dataset dbrd --dataset scala-nl --dataset conll-nl --dataset squad-nl --dataset wiki-lingua-nl --dataset mmlu-nl --dataset hellaswag-nl --dataset duidelijke-taal --dataset valeu-nl --dataset mbbq-nl --evaluate-test-split

Het commando installeert EuroEval 17.6.0, dezelfde versie waarmee wij hebben gemeten.

De evaluatie en de vergelijking met GPT-NL zijn door een onafhankelijke tester nagerekend op de nieuwste versie van EuroEval.

Dank aan Edwin Rijgersberg voor de feedback.

Verder in het dossier