Channels

Top 100 Trending New

Categories

Crypto Gaming News Entertainment Music Sports Tech Gambling Bots and mini apps Finance Business Education Lifestyle Health Travel Auto Fashion Jobs Dating Deals and shopping

Stickers

Stickers Emoji Themes Wallpapers

Bots Gifts Tools

Currency

$ USD ₽ RUB € EUR ₴ UAH ₸ KZT ₺ TRY zł PLN ₪ ILS AED AED R$ BRL Rp IDR RM MYR ¥ JPY ₩ KRW CN¥ CNY

Theme

Português (Brasil)

Bahasa Indonesia

Беларуская

Українська

Channels Categories Stickers Bots Gifts Tools

Premium Wiki Glossary Legal

Notifications Settings Log in

whargarbl: post #2712 — TG.ME

whargarbl@whargarbl · 658 subscribers Open in TelegramOpen

t.me/whargarbl/2712

9

2

2

1

August 7, 2026 423 3 2

More from this channel

Думаю контекст все еще остается бутылочным горлышком на лонг ранах Гугель пробует сжать его в автосаммари Кодекс пробует сделать чуть по другому но по сути тоже самое - промежуточная суммаризация А мне кажется надо педолить swarm Сверху заказчик - у него есть цель и он следит чтоб мы ее достигли Ему подчиняется типа сео - декомпозирует задачу на эпики ПМ который педолит эпики на таски Ну и рабы который сделал таску - умер У всех свой контекст и полное непонимание что за идиот сверху это придумал, зарплата там - бонусы - выгорание - смерть Великолепно будет 135·Sep 4

Скажите мне как более сильный интеллект - как часто вы задумываетесь о муравьях? Не нужно ли им лекарство от муравьиного рака например? Перемещаете ли вы грядку с помидорами на другое место если они там муравейник вырыли? Насколько вообще учитываете их интересы принимая те или иные решения? 149·Sep 4

На небесах сейчас только и разговоров о новой модели ОпенАИ - Астра, рекурентных блоках - универсальный трансформер и вот это вот всё Я делаю примерно то же самое, но для другого - компактная диффузионаая модель Прямо сейчас стремительно идет яростная дистиляция из флюкс Клейн на скромной RTX-5090 Худеем вместе! https://huggingface.co/recoilme/sdxsv3 Самое интересное тут что если просто "залупить" модель- выходит полная чухня. В процессе обучения каждый блок "привыкает" работать с определенным уровнем шума на входе - и если подать выход с 16 блока на вход 0-го - он будет просто в ахере. Более того, не все блоки одинаково устойчивы к лупу. Крайние блоки - крайне нервно реагируют даже на собственный выход - "что это за слоп ты мне подал на вход?" В репе код обучения адаптера для ТЕ и собственно код дистиляции, а сама идея за кадром - она примерно такая: SDXSv3: как выжать глубину из повтора слоёв В современных диффузионных моделях гонка за качеством почти всегда упирается в вес чекпоинта. SDXSv3 решает эту проблему элегантно: вместо раздувания параметров она делает ставку на рекуррентность, прогоняя сигнал через одни и те же слои дважды. Архитектура в базе SDXSv3 построена по схеме single-stream DiT. Здесь нет отдельного кросс-эттеншна: текстовые эмбеддинги из Qwen конкатенируются с визуальными латентами VAE в единую последовательность, после чего весь массив обрабатывается общими блоками внимания. * Трансформер: скрытая размерность 2560, 20 голов (по 128 на голову). Честное полное внимание — никаких компромиссов вроде GQA, число KV-голов тоже равно 20. * Текстовый энкодер: Qwen3.5-2B (скрытый размер 2048). Модель забирает срез из трех слоев — 2-го, 12-го и 22-го. * Визуальная часть: патч 2, 32-канальный VAE с энкодером f8 и декодером f16. Трюк с петлей: 28 слоев из 16 блоков Вся конструкция состоит всего из 16 физических блоков: два входных, двенадцать центральных и два выходных. Фокус в том, что средняя дюжина выполняется дважды с одними и теми же весами. В итоге модель делает 28 сквозных проходов, физически храня в памяти лишь 16 уникальных блоков: * Вес: 1,65 млрд параметров (~3,3 ГБ в формате bf16). * Вычислительная плотность: на инференсе работает как полноценный 28-слойный трансформер (~92 GFLOPs на токен). Как заставить слой работать дважды Если просто прогнать скрытое состояние через тот же блок второй раз, петля выродится: блок не поймет контекста и применит ту же трансформацию вслепую. Чтобы слои различали итерации, инженеры (я и дипсик) добавили два якоря: 1. `loop_emb` — обучаемый вектор номера оборота, подмешиваемый к общим условиям. 2. Индивидуальная нормализация перед каждым витком. Из-за этого архитектурного решения готовую предобученную середину сюда не перенести. Слой, привыкший работать на 5-м шаге, сломается, если внезапно станет 17-м. Модель обязана с нуля учиться адаптировать свое поведение под номер витка. Зачем это нужно Идейно это близко к концепции *Universal Transformer*, но цель здесь сугубо прикладная: не моделировать бесконечные рассуждения, а задешево нарастить эффективную глубину вычислений в жестком лимите памяти. Двенадцать блоков, пройденных дважды, по выразительности уступают 24 уникальным. Однако входные и выходные слои отвечают за слишком деликатную адаптацию признаков, поэтому их оставили уникальными, а вот устойчивая середина отлично переносит повторный цикл без потери сигнала. 173·Sep 3

Три простых способа сжать диффузионную модель Спойлер: все 3 требуют дообучения 1) Заменить ТЕ на более легкий Просто учим адаптер который обучает qwen35-0.8b возвращать ембеддинги в пространстве Qwen3VL-4b (например) Для этого надо подготовить тысячи пар ембеддингов текста заенкоженных учителем и учеником и обучить адаптер. Адаптер это обычный перцептрон (десяток строк кода, ваша ЛЛМ знает его) Прос: Быстро и просто. Обучение занимает минут 5. Лосс за это время падает процентов на 95. Конс: Модель полностью рабочая но все равно нужно дообучать - файн детали пропадут. Большие модели от маленьких отличаются глубиной знаний. Ембеддинг от Джесики Альба с 4 миллиардного квена уже знает что у нее большая жопа и голубые глаза. Маленький квен таких знаний не содержит, но он знает и голубые глаза и большую жопу - те вам просто придется описывать подробнее чтобы получить такую же генерацию Старуха в посте сгенерирована в Креа-2 с Квен08 б обученным за 5 минут 2) Мержинг. Выкинуть пустые блоки и помержить соседние по непохожести Креа-2 мне удалось сжать таким образом на 16 процентов. Это уже адовая лоботомия поэтому я подробно не опишу. Но мой агент не такой ленивый - я написал код и выложил https://huggingface.co/recoilme/losslessmix-dit#idea Кратко суть мержинга с минимальными потерями: Merging a pair into one block is lossy. The goal is to lose as little as possible: Merge step — blend the two blocks' weights per channel by the absolute cosine similarity of their weight vectors - Channels that point the same direction (high cos) blend proportionally; - Channels that point away (cos ≤ 0) keep W_j entirely. So incompatible features are never averaged into garbage — that's the "lossless" part, inherited from recoilme/losslessmix. Прос: можно выкинуть процентов 16 из модели не фатально разрушив - этот способ лучше дебильного выкинем блок или помержим усреднением Конс: модель сильно деградирует +/- безопасно можно выкинуть мержем один блок из 28 - после 6 модель разрушается фатально Требует долгого дообучения 3) Дистиляция Напоследок самый кровавый способ (не для гагар) Вместо того чтобы курочить существующую модель создаете новую с нуля - а затем дистилируете знания из учителя в ученика Прос: вероятно самый чистый способ - перенести знания а не вырезать их Конс: невероятно сложный и ресурсоемкий. собрать рабочую архитектуру сложно - собрать хорошую компактную архитектуру сложнее в 100 раз. Я набросал пример компактного ДиТ на стыке идей из Креа и ЗИмадж и Универсального трансформера. Там также есть пример дистиляции базовой -но дистилировать диффузию гораздо сложнее. https://huggingface.co/recoilme/sdxsv3 Чтобы успешно перенести приор с старшей модели у вас должен совпадать вход и выход- и Вае и ембеддинг от ТЕ. Ембеддинг можно "натянуть" способом один но вае - нет. Сама тушка при этом может быть любой архитектуры Также рекомендую почитать как страдал Валера с мержем МоЕ трансформеров 763·Sep 1 pi-incident-retro Когда агент ошибается - неверно толкует задачу и начинает удалять продовую базу - мы лихорадочно жмем Esc или ОРЁМ на него матом (если не успели). Я сделал скилл орать матом инцидент ретро. tldr; Self-learning from mistakes - with the owner in the loop. Если владелец прерывает выполнение или орёт (буквально) - агент останавливается - открывает инцидент - разбирается что пошло не так (тушит пожар), а затем выполняет анализ траекторий и рефлексирует над тем что именно привело его к такому решению и предлагает как это пофиксить Это может быть фикс системной инструкции, правка скила или даже новый скил И это работает Для работы этого скила желательно иметь в системе еще два скила - скил собственно создания и тестирования скилов ну и память для уроков (но не обязательно). Ну и хорошо бы непротиворечивые инструкции прямо запрещающие необратимые действия без прямого подтверждения Всё это в рамках строительства скайнет происходит конечно 331·Aug 26

An open web layer over public Telegram — search, stats and channel reading right in your browser, no account, no install.

Not affiliated with Telegram FZ-LLC; all data comes from public sources.

Catalog

Top channels Categories Countries Search

Content

Stickers Emoji Gifts Themes Wallpapers

Help

Tools Wiki Glossary Blockchain Safety Premium Advertisers Advertising

© 2026 TG.ME · G.Media network· Updated 09/03/2026 · v0.2.0 · 18f3e01

Privacy Terms DMCA & complaints Report a violation

Similar channels

Love. Death. Transformers.25K subscribers

AbstractDL18.3K subscribers

эйай ньюз96.6K subscribers

Derp Learning13.9K subscribers

Denis Sexy IT 🤖136.4K subscribers

Сиолошная78.5K subscribers

Нейронавт | Нейросети в творчестве12.9K subscribers

Neural Shit53.1K subscribers