Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

40
Duration
11s
Input Tokens
1556
Output Tokens
437
Cost
$0.00
Context
Input
Identifiera tre ironiska påståenden i SL:s kundmeddelande och förklara vad som gör dem ironiska.
Expected output
1. Bussar kommer i klungor för att förarna är 'sociala' (ironiserar över dålig schemaläggning), 2. Rulltrappor är 'allergiska' mot vissa vardagar (ironiserar över tekniska problem), 3. 'Trasig aircondition' är miljösatsning på naturlig ventilation (ironiserar över bristande underhåll). Ironin är att positiva förklaringar ges för uppenbara systemfel.
Model output
Det ironiska med SL:s kundmeddelande är att de uppmanar kunder att vara tålmodiga med förseningar, medan de själva inte alltid håller tidtabellerna. De beskriver även rulltrappornas onödiga driftstörningar och ironiserar över andras missuppfattning om vad som betyder trasig luftkonditionering i bussarna, när de faktiskt avsiktligt använder naturlig ventilation. Tacklåten till kunderna för deras bidrag till klimatinitiativet kan också tolkas ironiskt, eftersom överfyllda bussar under rusningstid troligen inte bidrar till en hållbar miljö.