Запуск мощных MoE-моделей на потребительском железе
FreeToken — это высокопроизводительный движок для инференса моделей с архитектурой Mixture-of-Experts (MoE), разработанный для запуска масштабных нейросетей весом более 290 миллиардов параметров на обычных игровых ПК и потребительском оборудовании.
Система объединяет ресурсы GPU, CPU и системной памяти в единую эластичную платформу, применяя адаптивное совместное выполнение, семантическое кэширование и динамическое перераспределение видеопамяти без перезагрузки.
Движок поддерживает передовые открытые MoE-модели различных форматов квантования и предоставляет API, совместимый с экосистемами Anthropic и OpenAI, что упрощает интеграцию с локальными ИИ-агентами и инструментами разработки.
#ИИ @pcTeapot
12
3
2
2September 1, 2026 1.8K 40
