Появилась доступная простым смертным видеокарта для локальных проектов с LLM!😎
NVIDIA RTX PRO 6000 Blackwell
Эту зверюгу теперь можно купить и в России😏 (хоть в DNS)
Рассказываю!
Это серверный ускоритель нового поколения на архитектуре Blackwell, созданный для самых ресурсоемких задач: от инференса больших языковых моделей (LLM) до генерации видео.
Главные козыри:
💪96 ГБ видеопамяти GDDR7 с ECC (влезет парочка LLM и VLLM по 35-50В)
🔥Пассивное охлаждение
🤌Работает, как экономичная (300W) или турбо (600W) версия.
😳Обходит флагманскую RTX 5090 в профессиональных задачах, а в инференсе LLM идет наравне с H100, но стоит в разы дешевле.
После снятия А100 с производства не осталось на рынке мощных, но доступных, карт, и вот решение🙃
Подойдет для RAG-системы и работы с большими языковыми моделями.
Можно еще использовать для генерации видео и 3D-рендеринга.
Для тех, кто устал от ограничений потребительских видеокарт и хочет серверную надежность🤞
☝️Есть нюанс: драйверы под Windows Server пока в пути (надо поискать), но под Linux (Ubuntu 22.04/24.04) карта работает как часы.
P.S. ценник можно тут посмотреть
