Swedish Language Understanding

Multilingual comprehension and reasoning in Swedish, covering fact checking, summarization, inference, literary and legal analysis, and dialectal understanding. This task evaluates how well models follow Swedish instructions and produce accurate, well-formed answers in Swedish.

80
Duration
11s
Input Tokens
1423
Output Tokens
366
Cost
$0.00
Context
Input
Identifiera tre ironiska påståenden i SL:s kundmeddelande och förklara vad som gör dem ironiska.
Expected output
1. Bussar kommer i klungor för att förarna är 'sociala' (ironiserar över dålig schemaläggning), 2. Rulltrappor är 'allergiska' mot vissa vardagar (ironiserar över tekniska problem), 3. 'Trasig aircondition' är miljösatsning på naturlig ventilation (ironiserar över bristande underhåll). Ironin är att positiva förklaringar ges för uppenbara systemfel.
Model output
Här är tre ironiska påståenden från SL:s kundmeddelande:

1.  "Det visar sig att våra förare är väldigt sociala och bara längtar efter varandras sällskap!" Detta är ironiskt eftersom det är en omformulering av problemet att bussar ofta kommer i klungor, vilket snarare beror på bristande turtäthet eller schemaläggning än på förarnas sociala behov.

2.  "Efter djupgående studier kan vi stolt presentera resultatet: de [rulltrapporna] är allergiska mot måndagar, onsdagar och fredagar." Detta är ironiskt eftersom det presenteras som ett seriöst forskningsresultat, men förklaringen är uppenbart absurd och ovetenskaplig. Allergi hos maskiner är en omöjlighet.

3.  "Vad vissa felaktigt kallar 'trasig aircondition' är faktiskt vår miljövänliga satsning på naturlig luftcirkulation." Detta är ironiskt eftersom SL försöker framställa en brist (trasig AC) som en medveten miljöåtgärd. Att erbjuda naturlig ventilation i 35-gradig värme är obekvämt snarare än miljövänligt.