753B на одной видеокарте: разбор FreeToken FreeToken — движок для… — Data Science | Machinelearning [ru] — TG.ME

DAData Science | Machinelearning [ru]@devsp · 19.8K subscribersOpen in TelegramOpen

💡 753B на одной видеокарте: разбор FreeToken

FreeToken — движок для локального инференса MoE-моделей от команды, которая до этого сделала vLLM и SGLang.

Главный инсайт: вопрос не в железе, а в софте. На ноутбучной RTX 4060 с 8 ГБ и урезанным вдвое PCIe-линком можно получить 39.3 tok/s на 35-миллиардной модели — быстрее, чем медианная скорость декода Codex в проде.

Запустить AGI на слабом железе

👉 Читать разбор

t.me/devsp/5846Translate

3

1

August 24, 2026 1.6K 39