Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

40
Duration
10s
Input Tokens
2183
Output Tokens
272
Cost
$0.00
Context
Input
Identifiera tre ironiska påståenden i SL:s kundmeddelande och förklara vad som gör dem ironiska.
Expected output
1. Bussar kommer i klungor för att förarna är 'sociala' (ironiserar över dålig schemaläggning), 2. Rulltrappor är 'allergiska' mot vissa vardagar (ironiserar över tekniska problem), 3. 'Trasig aircondition' är miljösatsning på naturlig ventilation (ironiserar över bristande underhåll). Ironin är att positiva förklaringar ges för uppenbara systemfel.
Model output
Ironiska påståenden i SL:s kundmeddelande är de upptäckta problemen med bussar som kommer i klungor, rulltrappor som ofta träiga, samt beskrivningen av konstgjord luft som autentisk svensk sommarluft. Ordet 'lagom' i slutet av meddelandet kan också ses som ironiskt då det antyder en felaktighet i tidpunkten då bussarna kommer.