Провёл ночью тесты движков для LLM в разработке. Qwen3.8 на HyperQwen даёт очень приятный результат
Скорость генерации на одной 3090 в работе агента:
HyperQwen: 84 ток/с
SGLang-EXL3: 78 ток/с
llama.cpp Q4: 49 ток/с
llama.cpp Q5: 49 ток/с
На задачах идентификации попробовал заменить llama.cpp на HyperQwen: две копии, по одной на карту, дают 12 тыс. решений в час вместо 9 тыс. при том же качестве.
Также сравнил движки в кодинге: HyperQwen самый быстрый, а качество кода не меняется. Qwen3.8, к сожалению, всё ещё не может заменить Claude или Codex в разработке: она ломает неочевидные решения в коде, и так на любом движке и при квантовании от 3 до 5 бит.
2
2
127 сентября 2026 г. 610
