Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

100
Duration
11s
Input Tokens
1210
Output Tokens
889
Cost
$0.00
Context
Input
I mötesprotokoll finns meningen: 'Erik har rätt om leverantörerna som arbetar med oss förstår kraven som gäller från nästa månad som kommer att vara strängare.' Vilka två tolkningar är möjliga för relativsatsen 'som kommer att vara strängare'?
Expected output
Tolkning 1: Kraven som gäller från nästa månad kommer att vara strängare (kraven blir strängare). Tolkning 2: Nästa månad som kommer att vara strängare (månaden blir strängare/tuffare). Tvetydigheten uppstår genom att relativpronomenet 'som' kan referera till antingen 'kraven' eller 'nästa månad'.
Model output
- Tolkning 1: Relativsatsen syftar på kraven: ”kraven … som kommer att vara strängare” (de krav som börjar gälla från nästa månad blir strängare).
- Tolkning 2: Relativsatsen syftar på nästa månad: ”nästa månad … som kommer att vara strängare” (själva månaden beskrivs som strängare). Denna är grammatiskt möjlig men semantiskt mindre naturlig i sammanhanget.