Короче, модели до 9B параметров зажатые в любой Q4_* лучше в принципе обходить стороной, они пздц как сильно тупеют. Q8 на их фоне смотрится как гигамозг.
Скажем спасибо, моей G0VNO методике оценок моделей.
P.S.
Тесты еще до сих пор гоняю 🫠
P.P.S.
Всякие файнтюны квена, типа омникодера это плацебо. Мб для агентов он получше будет выполнять тул-колинг, но это не исчключает того факта, что сама модель крайне-тупая, и еще сильнее всех страдает при квантизации в 4-е бита.
1
120
19
12
7
4
2
1
1
120
19
12
7
4
2
1
1August 12, 2026 18.9K 59 65
