Мне нужно было запустить большую модель. Я сказал об этом одному… — Технозаметки Малышева

Технозаметки Малышева@tsingular · 11.9K subscribers Open in TelegramOpen

Мне нужно было запустить большую модель.

Я сказал об этом одному человеку из ИИ-тусовки.
Он спросил:
— Знаешь кого-нибудь с M3 Ultra на 512 ГБ?

Я не знал.

Он посмотрел на меня с искренней тревогой.
Не с жалостью. Именно с тревогой.
Так смотрят на человека, который в августе 2026 года говорит, что у него всего одна RTX 4090.

— Ты обязан знать кого-нибудь с M3 Ultra 512 ГБ.
Я спросил, как вообще заводят такого человека.
Он ответил:
— Ну, просто заводишь.
В ИИ это вообще универсальный ответ.

Как сделать RAG?
Просто делаешь.

Как поднять агента?
Просто деплоишь.

Как запустить 400B дома?
Просто находишь человека с 512 ГБ unified memory.

Он сказал:
— Спроси Серёгу.

Я не знал никакого Серёгу.
Через четыре дня знал.

У Серёги стоял Mac Studio M3 Ultra 512 ГБ.
Но Серёга купил его не для себя.
Никто не покупает 512 ГБ памяти только для себя.
Человек с таким Mac автоматически становится локальным облачным провайдером для всех знакомых.

На нём уже запускали модели друзья, друзья друзей, два стартапа и какой-то человек из Telegram, которого Серёга никогда не видел.

Про себя я подумал:
ЭТОТ ЧЕЛОВЕК КУПИЛ 512 ГБ UNIFIED MEMORY И ПРИНЯЛ ПОСЛЕДСТВИЯ.

Я приехал в субботу.
Серёга был не один.
Рядом сидел Дима.
Я не просил Диму.
Дима приехал, потому что была большая модель.

Дима открыл терминал, посмотрел на веса и сказал:
— Это влезет.
Я впервые услышал эти слова про LLM без смеха.
Через двадцать минут модель работала.
Я предложил деньги.
Они засмеялись.

Серёга сказал:
— Пиццу закажи.

Вот она, экономика локального инференса.
Mac за несколько миллионов рублей стоит одну пиццу в час.
Электричество не считается.
Амортизация не считается.
Время Димы не считается.
Пицца считается.

Через три недели Серёга написал:
«Свободен в воскресенье? Антону надо агента поднять».
Он не спросил, хочу ли я.
Он просто поставил меня перед фактом существования Антона и агента.
Я приехал.

Антону изначально нужно было «иногда отвечать на вопросы по PDF».
Через два часа у него были:
LLM,
три агента,
RAG,
reranker,
Qdrant,
Postgres,
Langfuse,
Grafana
и Kubernetes, происхождение которого никто уже не мог объяснить.

Потом какой-то незнакомый человек спросил меня:
— Ты не знаешь кого-нибудь с нормальным железом?
Я хотел сказать, что нет.
Но ответил:
— Ага. У меня есть человек.

Теперь я и сам чей-то человек.
Серёга уже дал мой контакт двум людям.
Дима описывает меня как:
«У него железа нет, но он знает, у кого есть 512 гигов».

Так в 2026 году и выглядит товарищеский инференс.

#юмор
———
@tsingular

t.me/tsingular/8313 Translate