В редакции уже вторую неделю активно тестируем/используем локальный Qwen 3.8 27B. Спойлер: на данный момент это лучшая локальная LLM с низким порогом входа для запуска. Для комфортной работы с этой LLM достаточно всего лишь видеокарты с 24 ГБ памяти, а чтобы поэкспериментировать и «пощупать», хватит 16 ГБ VRAM.
В нашем тесте по сбору PWA-приложения локальный Qwen 3.8 27B (официальная версия) отказался делать приложение с придуманными отзывами и логотипом Google, но сделал без них. А вот аблитерированная версия этой модели (без цензуры) сделала всё прекрасно и за один промпт. В рамках данного теста Qwen 3.8 27B единственная локальная модель, которая сделала PWA-приложение, работающее на всех версиях Android (тестировали с 11 по 17). В целом этот Qwen 3.8 подойдёт для любых арбитражных задач, в которых облачные LLM разводят руками из-за цензуры.
Ещё не так давно вышла перспективная модель Laguna S 2.1 118B A8B, но, несмотря на большой размер, сделать рабочее PWA-приложение под разные версии Android она не смогла. @cparip
Скачать локальные модели можно на https://huggingface.co
В редакции все тестируется и работает на DGX Spark, медленнее, чем на видеокартах, но позволяет запускать большие модели. Qwen 3.8 27B выдает 14-16 токенов в секунду.
19
5August 25, 2026 3.7K 53 97
