Доброго вечора 🌙
Anthropic оновила лінійку Claude: до Opus 5.5 приєдналися Sonnet 5.5 та Haiku 5.5. Але найцікавіше те, як налаштування міркування впливають на вартість і результат.
Sonnet майже наздоганяє Opus, але витрачає більше токенів. За даними Artificial Analysis, на максимальному рівні міркування Sonnet 5.5 генерує приблизно 193 тисячі вихідних токенів на завдання, на 60% більше за Opus. Через це виконання завдання на Sonnet у режимі max обходиться дорожче, ніж на Opus у тому самому режимі. А між різними рівнями міркування самої Sonnet вартість відрізняється більш ніж у 18 разів.
При цьому в тестах Vals AI Sonnet коштує приблизно дві третини від Opus. Тобто навіть відповідь на питання "яка модель дешевша" залежить від ваших завдань. Сама Anthropic визнає, що цінова перевага Sonnet над Opus найпомітніша на нижчих рівнях міркування.
І ще цікавіше: більше міркування не завжди покращує результат. У FrontierCode перевіряють, чи готові зміни коду від агента до злиття без правок людини. За даними Anthropic, Sonnet 5.5 показала 52.1% на рівні xhigh і лише 46.2% на рівні max. Тобто вищий рівень
effort змінює самі дії агента: скільки він перевіряє, які інструменти викликає, як підходить до розв'язання. І ці зміни не завжди корисні.Haiku 5.5 теж можна використовувати як модель з міркуванням, але її перевага у вартості найбільше проявляється на простих задачах: підсумовування, класифікація.
Для мене практичний висновок такий: обираючи модель для продукту, треба порівнювати вартість успішно виконаного завдання, точність і час очікування. Взяти набір реальних задач, прогнати його на кількох моделях і рівнях
effort, а потім подивитися, де додаткові витрати справді дають кращий результат. Бо ціна за мільйон токенів лише один із компонентів рахунку.А ви порівнювали якість на різних рівнях міркування чи зазвичай залишаєте налаштування за замовчуванням? 👇
🔔 ПІДПИСАТИСЯ
