Как читать графики ии-бенчей

Тут вышел sonnet 5.5: anthropic.com/claude-sonnet-5-5

Не собираюсь обсуждать качество модели, расскажу как манипулируют рассказом.

Из графика очевидны две вещи:

  • Новый соннет 5.5 лучше во всем старого соннета 5.
  • Новый соннет 5.5 почти такой же, как новый более дорогой (по токенам) опус 5.5.

Так ли на самом деле? Предлагаю глянуть официальный график из того же анонса. Я всего лишь подпишу значения на графике их же тултипами.

Выходит, соннет 5.5 чуть хуже и на 36,5% дороже опуса 5.5. Может другой график лучше?

А тут соннет 5.5 не просто чуть-чуть хуже, он еще и в 52 (sic!) раза дороже. Отчасти, это проблема бенча Frontier Code v1.1, он такой по своей идее. Но не в 52 же раза!

В итоге соннет 5.5 по сравнению с опусом 5.5 (более дорогой моделью) почти всегда:

  • дороже при том же уме,
  • глупее при той же стоимости,
  • глупее и дороже одновременно, иногда значительно.

Очевидно ли всё это из таблички анонса? Нет
Случайно ли получилось так, что не понятно? Не знаю

Отправить
Запинить
Подписаться на блог…