Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

60
Duration
4s
Input Tokens
1236
Output Tokens
265
Cost
$0.00
Context
Input
Analysera meningen 'vi bör kontakta kunderna som beställt produkterna som inte levererades i veckan som gick'. Vilka referentiella problem skapar de staplade relativsatserna?
Expected output
Problemet är att det blir oklart vad 'som inte levererades' och 'som gick' refererar till. Möjliga tolkningar: 1) Kunder som beställt produkter (där produkterna inte levererades i förra veckan), 2) Produkter som inte levererades (i veckan som gick), 3) Den vecka som gick (som inte levererades - ologiskt). Staplade relativsatser skapar strukturell tvetydighet.
Model output
Meningen skapar flera referentiella problem genom sina staplade relativsatser. Relativsatserna "som beställt produkterna", "som inte levererades" och "i veckan som gick" är oklart kopplade. Det är svårt att avgöra om "som beställt produkterna" syftar på alla kunder eller bara de som beställt vissa produkter. Vidare är det oklart om "som inte levererades" gäller alla beställda produkter eller bara vissa. Slutligen är det tvetydigt om "i veckan som gick" avser tidpunkten för beställningen, utebliven leverans eller något annat.