Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

100
Duration
28s
Input Tokens
1210
Output Tokens
4870
Cost
$0.00
Context
Input
I mötesprotokoll finns meningen: 'Erik har rätt om leverantörerna som arbetar med oss förstår kraven som gäller från nästa månad som kommer att vara strängare.' Vilka två tolkningar är möjliga för relativsatsen 'som kommer att vara strängare'?
Expected output
Tolkning 1: Kraven som gäller från nästa månad kommer att vara strängare (kraven blir strängare). Tolkning 2: Nästa månad som kommer att vara strängare (månaden blir strängare/tuffare). Tvetydigheten uppstår genom att relativpronomenet 'som' kan referera till antingen 'kraven' eller 'nästa månad'.
Model output
Två möjliga tolkningar av relativsatsen 'som kommer att vara strängare':

1) Den hänför sig till 'kraven': 'kraven som kommer att vara strängare' – alltså de krav som gäller från nästa månad kommer att vara strängare än tidigare.

2) Den hänför sig till 'leverantörerna': 'leverantörerna som kommer att vara strängare' – alltså leverantörerna själva kommer att vara strängare (i hur de uppfyller kraven) från nästa månad.