oMLX - очень классная штука, надо сказать.
раньше не пробовал, но тут прям вошёл во вкус.
Если у вас Мак - прям рекомендую.
Отлично умеет забирать модели с HF, удобно показывает инференс, метрики, встроенные бенчи (как просто на прогоны, так и всякие MMLU, HLE и т.д.) и даже встроенный квантизатор моделей.
Всё сделано красиво, удобно для админа с логами, доступами и тонкими настройками.
Такой вариант vllm здорового человека.
ну и самое крутое - работа с батчингом.
на скрине его бенчи по распараллеливанию вызовов.
8 параллельных вызовов дают 258 суммарных токенов в секунду на 27б модели на М3 ультра.
#omlx #инференс #бенчи
———
@tsingular
11
4
2
2
1August 31, 2026 754 20 21
