bentoml/OpenLLM Инструмент для запуска open source языковых моделей… — GitHub Radar

GitHub Radar@GitHubRadar · 23.8K subscribers Open in TelegramOpen

bentoml/OpenLLM

Инструмент для запуска open source языковых моделей через OpenAI-совместимый API. Одна команда запускает сервер с выбранной моделью — Llama, DeepSeek, Qwen, Mistral, Gemma и другими. Сервер доступен локально на порту 3000 и принимает запросы от любых клиентов с поддержкой OpenAI API.

OpenLLM можно развернуть локально или в облаке. Поддерживается деплой через Docker, Kubernetes и BentoCloud.

t.me/GitHubRadar/3091 Translate