МТС и Rubytech испытывают ПАК на базе китайских GPU
На базе ПАК Rubytech с 8-ю китайскими GPU совместно с дочкой МТС были проведены испытания российских больших языковых моделей, рассказывают Ведомости.
Запускали две модели MWS AI: старшую – Cotype Pro 3 с 27 млрд параметров и облегченную Cotype Light 3 на 9 млрд параметров. Обе предназначены для создания ИИ-агентов, способных выполнять последовательность действий без постоянного участия человека.
При тестировании инференса, были достигнуты результаты, «сопоставимые» с системами на базе Nvidia H100. При входном контексте примерно в 27 тысяч токенов, модель начинала формировать ответ через 8 секунд. В MWS AI рассматривали 5 вариантов китайских чипов, но не сообщают, какой был выбран для испытаний.
В планах компании Rubytech запуск ПАК на китайских GPU в 2027 году, первоначально планируется выпуск платформ, ориентированных только на инференс.
В России есть и другие участники рынка, которые присматриваются или даже внедряют китайские GPU, например, их тестируют в Yadro, а в ВТБ начали опытно-промышленную эксплуатацию. Как правило, в РФ экспериментируют с чипами MetaX, Moore Threads и Huawei Ascend. Отмечается, что заявленные характеристики китайских GPU не всегда подтверждаются на практике. Интеграцию осложняет незрелость программного стека.
В целом пока что рано ждать массового распространения китайских GPU. Среди причин – отсутствие локальной поддержки, проблемы с драйверами, виртуализацией у менее зрелых продуктов. GPU известных китайских производителей как правило, надежнее и лучше работают, чем решения малоизвестных. Перенос модели с Nvidia CUDA на китайские платформы может потребовать несколько месяцев и сложную оптимизацию. Это обещает некоторые перспективы для создателей ПАКов ИИ на китайских серверах.
В сторону китайских GPU приходится смотреть потому, что американские приобрести становится сложнее, а отечественный сегмент пока что представлен решениями НТЦ Модуль и LinQ, которые подходят для видеоаналитики или периферийного инференса, но не для задач обучения ИИ и массового инференса. ||✓ Подпишитесь на RUSmicro в Telegram | в Max
