⚡️ KTransformers - open-source фреймворк из Китая, который позволяет запускать огромные модели на обычном потребительском железе.
Самый показательный пример - DeepSeek-R1 на 671 млрд параметров можно запустить с RTX 4090 на 24 ГБ, используя гибридную схему CPU+GPU вместо полноценного H100-кластера.
Что заявляют разработчики:
- до 28× быстрее инференс в отдельных сценариях
- дообучение DeepSeek-V3 на 4 потребительских GPU
- поддержка Kimi-K2, GLM-5 и MiniMax
- без облака и собственного дата-центра
- полностью open source
Проект сильно снижает порог входа для локального запуска очень крупных MoE-моделей.
https://github.com/kvcache-ai/ktransformers
9
4
4August 31, 2026 616 38
