Channels

Top 100 Trending New

Categories

Crypto Gaming News Entertainment Music Sports Tech Gambling Bots and mini apps Finance Business Education Lifestyle Health Travel Auto Fashion Jobs Dating Deals and shopping

Stickers

Stickers Emoji Themes Wallpapers

Bots Gifts Tools

Currency

$ USD ₽ RUB € EUR ₴ UAH ₸ KZT ₺ TRY zł PLN ₪ ILS AED AED R$ BRL Rp IDR RM MYR ¥ JPY ₩ KRW CN¥ CNY

Theme

Português (Brasil)

Bahasa Indonesia

Беларуская

Українська

Channels Categories Stickers Bots Gifts Tools

Premium Wiki Glossary Legal

Notifications Settings Log in

Manvel's Channel: post #428 — TG.ME

Manvel's Channel@manvel_ch · 810 subscribers Open in TelegramOpen

t.me/manvel_ch/428

4

3

1

July 27, 2026 371 1

More from this channel

Читаю статью "Empirical Design in Reinforcement Learning" [1] — коллекцию способов ошибиться или обмануть себя при обучении RL. Какие-то очевидные, какие-то получаешь только на своём опыте. Например, график (см. комменты): насколько близко робот был к цели в момент первой ошибки. Посчитано скользящим окном по 500 и по 100 эпизодов. Как понять, улучшает ли вообще обучение модель в данном случае? А если нет доверительных интервалов? А если ты видишь только начало графика (только начал обучение)? Я прочитал уже много таких отчётов [2][3] — это прямо уже какой-то отдельный жанр технической литературы. (Кстати, про трансформеры похожий жанр развивается активно [4][5].) Почему RL сложный? 1. Фактически, нам приходится обучать поведение агента, ориентируясь всего на одно число — reward. Это очень малоинформативный сигнал: анализируем огромный поток информации, а максимизируем одну маленькую цифирку. 2. Off-policy алгоритмы (не говоря уже об offline) — просто сложные, с совершенно неинтуитивными метриками. При обучении SAC используется пять (5!) нейросетей: где-то усредняем, где-то берём минимум, где-то одна нейросеть учится на предсказаниях другой. 3. И ещё одно, что делает всё вышеперечисленное по-настоящему сложным: постоянный distribution shift. Агент сам себе генерирует обучающую выборку. Чуть поменялась политика — поменялись данные — поменялась политика. Нет фиксированного датасета, нет отложенной выборки, нет привычного «сошлось/переобучилось». 4. Наконец, нужно делать очень много экспериментов, чтобы получать честные измерения — это просто дорого и долго. И это, пожалуй, главный практический вывод статьи: если хочешь знать, работает твоё изменение или нет — делай больше экспериментов, считай доверительные интервалы, лучше бутстрапом [6] (они особенно ярко подсвечивают насколько легко обмануться). Обходного пути нет. Один красивый график не значит ничего. Я верю в модели мира, но это отдельная сложная тема. Напишите если вам интересно. [1] https://arxiv.org/abs/2304.01315 [2] https://araffin.github.io/post/sac-massive-sim [3] https://araffin.github.io/post/tune-sac-isaac-sim [4] https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook [5] https://huggingface.co/spaces/nanotron/ultrascale-playbook?section=high-level_overview [6] https://en.wikipedia.org/wiki/Bootstrapping_(statistics) 171·Aug 20

Я пробовал жить без сцены, но сцена не может жить без меня😁 В ближайшее воскресенье играю в DeFAQto на Чистых прудах. Билеты тут: https://moscow.qtickets.events/250258-proda-fest Промокод: DEF Также предварительно 21-го в Trigger Bar. Тут вход бесплатный, но надо заказывать столик. Напишу отдельно на следующей неделе. Приходите, музыкальный катарсис гарантирован! Если вдруг не получается, то можно послушать тут: https://music.manvel.ai https://music.yandex.ru/artist/18674504 353·Aug 11

Смотрю свежий курс Stanford CS329A Self-Improving AI Agents. Даже не курс, а скорее обзор лучшего, что было сделано до зимы 2025-го года. [1][2] Понял, что если разрешить себе скучать (на скорости 1.5x), то смотреть приятнее. Прямо скажем, тут не алгоритм Укконена рассматривается. А что если читать скучные лекции — это лучший способ? Вдруг так информация лучше воспринимается? Ну и заметим как Azalia Mirhoseini когда-то делала RL для дизайна чипов и технично перешла в само-улучшающиеся агенты. [1] https://www.youtube.com/playlist?list=PLangBM27OtEA [2] https://cs329a.stanford.edu 469·Aug 4

Ходил в Matena (бизнес-школа, [1]) рассказывать про свой суровый опыт в корпоративном R&D. Я утверждаю, что зачастую стимулы построены неправильно, что приводит к посредственным результатам. P.S. Еще раз убедился в том, что основное преимущество Армянского IT — в том, что оно состоит на 80% из красивых девушек. P.P.S. Зовите меня к себе поговорить, сейчас в Москве. [1] https://matena.am 376·Aug 3

Забавный факт: в 2026 Q2 компания Alphabet (материнская Google) удвоила CAPEX y/y, доведя его до $45B, в основном — на инфраструктуру для ИИ. И впервые стала беднее за квартал — несмотря на то, что чистая прибыль достигла рекордных $112B. Для сравнения: по моим очень грубым оценкам, Российские компании вкладывают в 100-200 раз меньше. Очень любопытно посмотреть внутренние деши Google и понять как люди перетекают в Gemini из поиска, как поведение меняется в целом. https://abc.xyz/investor/earnings/ 440·Jul 29

An open web layer over public Telegram — search, stats and channel reading right in your browser, no account, no install.

Not affiliated with Telegram FZ-LLC; all data comes from public sources.

Catalog

Top channels Categories Countries Search

Content

Stickers Emoji Gifts Themes Wallpapers

Help

Tools Wiki Glossary Blockchain Safety Premium Advertisers Advertising

© 2026 TG.ME · G.Media network· Updated 08/30/2026 · v0.2.0 · a585e88

Privacy Terms DMCA & complaints Report a violation

Similar channels

Сергей Марков: машинное обучение, искусство и шитпостинг11.1K subscribers

Институт AIRI13.4K subscribers

Complete AI7.8K subscribers

Градиент обреченный8.7K subscribers

Kali Novskaya19K subscribers

Mashkka про Data Science5.1K subscribers

Kardymonchik Channel904 subscribers

Dealer.AI16.5K subscribers