Cerebras показали CS-4Новый сервер позволяет запускать модели на скорости в 2 раза выше, и даёт возможность запускать 10T модели на скорости в 1000+ токенов в секунду. В каждом таком сервере три WSE 3 Turbo, это разогнанная версия оригинального WSE 3.
Удвоив частоту с 1,4 Ghz до 2,8 Ghz компания удвоила пропускную способность памяти и FLOP/s, что и даёт прирост в скорости моделей. Памяти на чип правда те же 44 гигабайта, так что для обещанных 10T моделей нужно несколько десятков CS-4.
Отдельная особенность CS-4 это модульность — каждый чип находится в отдельном модуле, который подключается к стойке отвечающей за питание и охлаждение.
Это упрощает установку — стойки можно поставить заранее, а потом подключить к ним чипы, когда они будут готовы. К тому же это даёт возможность апгрейда в будущем.
сайт: codexsale
чат вайбкодеров
cтудия разработки IT: APK,Сайты,Софты,Боты
