Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

80
Duration
1m 22s
Input Tokens
1128
Output Tokens
666
Cost
$0.00
Context
Input
Analysera meningen 'vi bör kontakta kunderna som beställt produkterna som inte levererades i veckan som gick'. Vilka referentiella problem skapar de staplade relativsatserna?
Expected output
Problemet är att det blir oklart vad 'som inte levererades' och 'som gick' refererar till. Möjliga tolkningar: 1) Kunder som beställt produkter (där produkterna inte levererades i förra veckan), 2) Produkter som inte levererades (i veckan som gick), 3) Den vecka som gick (som inte levererades - ologiskt). Staplade relativsatser skapar strukturell tvetydighet.
Model output
Den staplade relativfrasen ’kunderna som beställt produkterna som inte levererades i veckan som gick’ skapar flera referentiella oklarheter:

1. Otydligt vilket substantiv ’som inte levererades i veckan som gick’ refererar till – är det produkterna eller beställningen?  
2. ’I veckan som gick’ kan tolkas som en egenskap hos själva leveranstillfället eller beställningstidpunkten.  
3. Det blir oklart om det gäller alla produkter som inte levererades förra veckan eller endast de produkter som dessa specifika kunder har beställt.

Sammantaget leder den djupa inbäddningen av relativsatser till osäkerhet kring vilka entiteter som beskrivs och när leveranssvikten inträffade.