Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

50
Duration
56s
Input Tokens
2892
Output Tokens
374
Cost
$0.00
Context
Input
Identifiera tre ironiska påståenden i SL:s kundmeddelande och förklara vad som gör dem ironiska.
Expected output
1. Bussar kommer i klungor för att förarna är 'sociala' (ironiserar över dålig schemaläggning), 2. Rulltrappor är 'allergiska' mot vissa vardagar (ironiserar över tekniska problem), 3. 'Trasig aircondition' är miljösatsning på naturlig ventilation (ironiserar över bristande underhåll). Ironin är att positiva förklaringar ges för uppenbara systemfel.
Model output
Tre ironiska påståenden i SL:s kundmeddelande:

1. Bussarnas klungbeteende förklaras med att 'förarna längtar efter varandras sällskap'.
2. Rulltrapporna beskrivs som 'allergiska' mot måndagar, onsdagar och fredagar.
3. Trasig aircondition kallas för 'miljömedveten satsning på naturlig luftcirkulation'.