Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

80
Duration
10s
Input Tokens
1313
Output Tokens
1353
Cost
$0.00
Context
Input
Ge tre exempel från texten på hur svenska språkspecifika fenomen skapar tolkningsutmaningar, och rangordna dem efter svårighetsgrad.
Expected output
1. Lättast: Dubbelmarkering av bestämdhet ('det stora huset') - regelbaserat men unikt. 2. Medel: Pronominell referens ('den godkände dem') - kräver grammatisk genus-förståelse. 3. Svårast: Semantiskt opaka sammansättningar ('glasklar', 'brandkår') - kräver kulturell och idiomatisk kunskap utöver grammatik.
Model output
Här är tre exempel på svenska språkspecifika fenomen som skapar tolkningsutmaningar, rangordnade efter svårighetsgrad:

1. Mest svår: Ord där betydelsen inte är transparent från delarna. Texten nämner exempel som "glasklar" (som betyder kristallklar) och "brandkår" (som betyder räddningstjänst). Dessa ord kräver kulturell och semantisk kunskap som går bortom rent grammatisk analys, och automatiska system "ofta misslyckas" när de ska tolka dem.

2. Måttligt svår: Dubbelmarkering av bestämdhet. Medan engelskans "the big house" bara har ett sätt att markera bestämdhet, blir det på svenska "det stora huset" där både artikel "det" och adjektivböjningen "-a" markerar bestämdhet. Denna "dubbelmarkering" är förvirrande för utländska talare och AI-system.

3. Lättast att lära sig, men ändå utmanande: Pronominala referenser. I meningen "När forskarna presenterade sina resultat för kommittén, godkände den dem utan invändningar" skapar det svenska systemet för bestämdhet komplexitet. "Den" syftar på kommittén medan "dem" refererar till resultaten – en distinktion som kräver djup språkförståelse men är mer regelstyrd än de andra fenomenen.