Channels

Top 100 Trending New

Categories

Crypto Gaming News Entertainment Music Sports Tech Gambling Bots and mini apps Finance Business Education Lifestyle Health Travel Auto Fashion Jobs Dating Deals and shopping

Stickers

Stickers Emoji Themes Wallpapers

Bots Gifts Tools

Currency

$ USD ₽ RUB € EUR ₴ UAH ₸ KZT ₺ TRY zł PLN ₪ ILS AED AED R$ BRL Rp IDR RM MYR ¥ JPY ₩ KRW CN¥ CNY

Theme

Português (Brasil)

Bahasa Indonesia

Беларуская

Українська

Channels Categories Stickers Bots Gifts Tools

Premium Wiki Glossary Legal

Notifications Settings Log in

Dealer.AI: post #1917 — TG.ME

Dealer.AI@dealerai · 16.6K subscribers Open in TelegramOpen

[media without text]

t.me/dealerai/1917

August 30, 2026

More from this channel

Все компакты придуманы, все кодировки использованы. 🫤 Вот так бы можно было бы назвать видео беседы Гранта Сандерсона (создателя канала 3Blue1Brown) и Алока Пураника, исследователя из Jane Street. В нём они разбирают статью Алока о применении теории групп к позиционным кодировкам в трансформерах. 😐 Но не дай себя обмануть, тензорная алгебра и теория групп не так ужасна, тк ребята всегда славились наглядным разбором тем. 😜 Вот основные тезисы этого разбора: 🎯 Главная идея - сужение пространства поиска. Стандартный механизм self-attention сам по себе не учитывает порядок слов, те он инвариантен к перестановкам. Поэтому для учёта позиции токенов используются позиционные кодировки (Rope, Alibi, abs, sin и тп). Алок задался вопросом: "Сколько вообще существует разумных способов закодировать позицию?" Оказывается, если наложить всего несколько естественных ограничений, пространство возможных решений неожиданно сужается. Математический аппарат. Теория групп. 😬 Ключевое ограничение - трансляционная инвариантность, это когда сдвиг последовательности на t шагов должен просто сдвигать кодировки, а не менять их суть. Формализовав это требование, Алок пришёл к выводу, что все допустимые кодировки должны формировать однопараметрическую матричную группу вида exp(t×M). Это ограничивает всё множество решений до конкретного семейства матричных экспонент. 🤔 🔗 Связь с существующими методами. Оказывается, самые популярные на практике методы позиционного кодирования являются частными случаями этого общего математического правила: · RoPE (Rotary Positional Embedding): Использует вращающие матрицы. · ALiBi (Attention with Linear Biases): Применяет линейные штрафы к вниманию. Оба метода естественно вытекают из найденного Алоком общего решения. 🧠 💎 Самый интересный вывод. "Все хорошие идеи уже придуманы". 🤔 И являются семейством одного парамптрического множества и уже используются. Ищите новые варики в другом месте 💪 Все это блестящий пример того, как фундаментальная математика (теория групп) может не только объяснить эмпирически успешные решения (RoPE, ALiBi), но и строго доказать, что других хороших вариантов просто не существует. Покрайне мере в такой постановке моделирования. 🫡 Так что... Stay tuned. 🦾 2.6K·Aug 29 Dealer.AI pinned «Как тестировать AI агентов: от роутинга до траекторий и ответов. 🤖 Помню, как читал лекции по RAG и говорил, что агентные эвалы схожи, но более сложные из-за недетрменированности флоу. Теперь вышел достойный обзор, как можно это делать удобно. Ниже представлен…»Aug 29

#meme #пятницапроказница Upd. Так лучше. 2.7K·Aug 28

Неделя MCP от ВкусВилл.🤗 В эту неделю наше решение прям удостоилось широкого внимания, спасибо Вам за это. 🤗 Вот только несколько классных мнений и shorts. 😜 А их ещё больше! На этой волне чуток поговорили с моим товарищем по ИИ цеху, и вот его взгляд на тенденции. В общем, жду от Вас в комментариях, ваш опыт работы с нашим MCP и чтобы вы хотели ещё добавить? 👇👇👇 3.3K·Aug 28 Метод отжига от зацикливания вашего агента 😗 Сижу я тут в одном чатике. И вижу сабж от @asboltenko: К слову хотел поделиться лайфхак, на случай если пропустили, если и когда агенты начинают тупить и топтаться на месте в решении какой-то задачи, им нужно сказать "проведи исследование", "поищи информацию", тогда у них включается режим исследования и они выходят за рамки своих знаний и начинают искать и изучать информацию и результат резко улучшается. И тут я думаю, так это же похоже на метод отжига в мат.оптимизации. Если только немножко его доделать под LLM и агентов. 🧠 Ну действительно, представьте, вы уже знакомы с self refining и OPRO/GEPA методами самоулучшения рассуждений и промптов. В них мысль проста, ваша среда - политика это и есть модель, она порождает на контекст генерации, значит её можно bbox оптимизировать направленно при помощи управления промптами и/ или параметрами генерации. Таким образом, мы живём в пространстве возможных генераций от входа. Теперь идём дальше, вот цитата выше - агент застрял в решении,те сошёлся в локальном минимуме возможных исходов генераций. Как его оттуда сдвинуть? 1. Смена температуры. Когда вы говорите "проведи исследование", вы переключаете агента из режима greedy decoding в режим исследования - аналог поиска в глубину против поиска в ширину. Чтобы усилить эффект, можно явно попросить: "Сгенерируй 3 самых диких/неочевидных гипотезы, даже если они ошибочные" - это тот самый "шаг назад в менее выгодное решение", который выбивает из локальной колеи рассуждений. Кстати, мы люди, также делаем порой. Говорим себе стоп, давай начнём сначала или сделаем шаг назад. 2. Декомпозиция шага назад. Метод отжига требует времени на "остывание". Поэтому после команды "исследовать" обязательно нужно дать лимит:" ..выдели на это 5 итераций размышлений, а затем вернись к исходной задаче и предложи финальный план". Иначе агент может улететь в бесконечный поиск и перерасход токенов. 3. Критическая разница с мат. оптимизацией. В математике отжиг принимает плохое решение на основе функции вероятности. В LLM мы не можем доверить случайность - вместо этого просим сменить перспективу. Это и дает тот же эффект перепрыгивания ямы, но детерминированно и осмысленно. Лайфхак вдогонку. Если агент топчется, скажите не просто исследуй, а "составь карту неопределённости" – перечисли, чего именно тебе не хватает для решения. Это принудительно расширяет границы знаний перед тем, как начать гуглить, и резко сокращает галлюцинации во время этого отжига. Однако правило, как понять, что агент застрял всеравно придётся написать. 👍 И да, что метод из цитаты. Что улучшение отжига требует больше токенов, но может спасти вас от траты того же числа токенов на тупик и зацикливания. 🧠 3.8K·Aug 26

An open web layer over public Telegram — search, stats and channel reading right in your browser, no account, no install.

Not affiliated with Telegram FZ-LLC; all data comes from public sources.

Catalog

Top channels Categories Countries Search

Content

Stickers Emoji Gifts Themes Wallpapers

Help

Tools Wiki Glossary Blockchain Safety Premium Advertisers Advertising

© 2026 TG.ME · G.Media network· Updated 09/01/2026 · v0.2.0 · 65b6af0

Privacy Terms DMCA & complaints Report a violation

Similar channels

Love. Death. Transformers.24.9K subscribers

эйай ньюз96.5K subscribers

Сиолошная78.2K subscribers

Старший Авгур8K subscribers

Градиент обреченный8.7K subscribers

что-то на DL-ском5K subscribers

Denis Sexy IT 🤖135.9K subscribers

LLM под капотом28.9K subscribers