Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

100
Duration
38s
Input Tokens
1225
Output Tokens
1148
Cost
$0.00
Context
Input
Identifiera tre ironiska påståenden i SL:s kundmeddelande och förklara vad som gör dem ironiska.
Expected output
1. Bussar kommer i klungor för att förarna är 'sociala' (ironiserar över dålig schemaläggning), 2. Rulltrappor är 'allergiska' mot vissa vardagar (ironiserar över tekniska problem), 3. 'Trasig aircondition' är miljösatsning på naturlig ventilation (ironiserar över bristande underhåll). Ironin är att positiva förklaringar ges för uppenbara systemfel.
Model output
1. SL menar att bussarna alltid kommer i klungor om tre därför att förarna är "väldigt sociala" och längtar efter varandras sällskap. Det är ironiskt eftersom det egentligen handlar om trafikstörningar, inte förarnas behov av social samvaro.

2. Rulltrapporna beskrivs som "allergiska" mot måndagar, onsdagar och fredagar. Ironin ligger i att maskiner inte kan ha allergier – det är en humoristisk bortförklaring till återkommande trasiga rulltrappor.

3. Den "naturliga ventilationen" på bussarna kallas ett miljöinitiativ istället för trasig aircondition. Här är ironin att ett uppenbart tekniskt fel framställs som en medveten miljövinst.