Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

80
Duration
13s
Input Tokens
1260
Output Tokens
1027
Cost
$0.00
Context
Input
Ge tre exempel från texten på hur svenska språkspecifika fenomen skapar tolkningsutmaningar, och rangordna dem efter svårighetsgrad.
Expected output
1. Lättast: Dubbelmarkering av bestämdhet ('det stora huset') - regelbaserat men unikt. 2. Medel: Pronominell referens ('den godkände dem') - kräver grammatisk genus-förståelse. 3. Svårast: Semantiskt opaka sammansättningar ('glasklar', 'brandkår') - kräver kulturell och idiomatisk kunskap utöver grammatik.
Model output
Rangordning (svårast → lättast):

1) Otransparenta sammansättningar (svårast)
- Exempel från texten: ”glasklar” (kristallklar), ”brandkår” (räddningstjänst).
- Utmaning: Betydelsen är inte direkt avläsbar från delarna och kräver kulturell/semantisk kunskap; studien visar att automatiska system ofta misslyckas här.

2) Pronominella referenser med bestämdhet
- Exempel från texten: ”När forskarna presenterade sina resultat för kommittén, godkände den dem utan invändningar.”
- Utmaning: Korrekt referensupplösning (”den” → kommittén, ”dem” → resultaten) kräver djup förståelse av svensk referensstruktur och bestämdhet.

3) Dubbel definithetsmarkering (lättast)
- Exempel från texten: Engelskans ”the big house” blir ”det stora huset”.
- Utmaning: Svenskan markerar bestämdhet både med artikel och ändelse; främst en morfologisk/mönsterbunden svårighet snarare än komplex semantik.