Channels

Top 100 Trending New

Categories

Crypto Gaming News Entertainment Music Sports Tech Gambling Bots and mini apps Finance Business Education Lifestyle Health Travel Auto Fashion Jobs Dating Deals and shopping

Stickers

Stickers Emoji Themes Wallpapers

Bots Gifts Tools

Currency

$ USD ₽ RUB € EUR ₴ UAH ₸ KZT ₺ TRY zł PLN ₪ ILS AED AED R$ BRL Rp IDR RM MYR ¥ JPY ₩ KRW CN¥ CNY

Theme

Português (Brasil)

Bahasa Indonesia

Беларуская

Українська

Channels Categories Stickers Bots Gifts Tools

Premium Wiki Glossary Legal

Notifications Settings Log in

Hidden Heuristic: post #2430 — TG.ME

Hidden Heuristic@hidden_heuristic · 227 subscribers Open in TelegramOpen

Grok базанул.

t.me/hidden_heuristic/2430

April 24, 2026 413 1

More from this channel

В целом, у нас теперь есть подробнейшие детали того как все происходило. Походу атаки агент ломанул еще одну компанию. Конкретные патчи, которые сделали в HuggingFace для кода в даты атаки известны тоже. Конспирологическая версия теперь имеет для меня нулевую вероятность, поскольку вся безумная совокупность багов, сводящихся в цепочку, которые были описаны в отчете, могла быть создана только мощной системой ИИ-агентов. Атака, конечно, мощнейшая, и по совокупности информации видно, что сбежавшая ИИ-система была заинтересована исключительно в решении задач из ExploitGym и не в чем другом. Что, как я уже говорил, позитивная новость, поскольку пространство возможных рисков здесь довольно понятное. https://t.me/denissexy/11581 169·Jul 29 Hidden Heuristic pinned a photoJul 23 Естественно, что все эти разные баги HuggingFace тоже организовали и спланировали заранее, скажет нам конспиролог. Ради Бога, верьте во что хотите. И последний мой аргумент против конспирологический теории: намеренное радикальное раздувание страхов перед неподконтрольным ИИ для OpenAI банально не выгодно. Я не знаю в какой реальности живут конспирологи по этому вопросу, но я лично наблюдаю высокую озабоченность ИИ-безопасностью у разных представителей власти в США. Еще в 2024 году в Калифорнии предлагался пакет регулирования SB 1047, против которого выступали Anthropic. Губернатор штата Гевин Ньюсом наложил вето и позже приняли более мягкую его версию SB 53. Нынешний инцидент может стать прецедентом для того, чтобы штат Калифорния ввел гораздо более жесткое регулирование ИИ-моделей. И никакая крепкая спина от Дональда Трампа им не поможет в долгосроке отвертеться от гораздо более жесткого регулирования. В целом, главное, что здесь нужно понимать: побег уже был до этого. Побег документированный PR на GitHub. OpenAI вроде как занялись усилением своей внутренней безопасности, согласно их заявлениям. Но вот что мне решительно не нравится - после GPT-5.6 Sol OpenAI не попытались улучшить контроль над моделями, а сразу побежали обучать еще более умную модель. Зачем? Возможно, они хотят как можно скорее запустить RSI (ситуация когда ИИ пишет новую версию себя) - раньше своих конкурентов Anthropic. Но все же можно было предположить, что более умная система без решения старой проблемы, будет взламывать их системы защиты еще сильнее? Зачем вообще было тестировать эту модель на ExploitGym, если это в принципе непригодный продукт даже для безопасного внутреннего использования? Я не знаю. В общем, в данном случае проблема не в том, что rogue AI agent воплотился в жизнь, а в том как к этому событию отнеслись в OpenAI - закрыли на это глаза. А значит если они реально создадут более умные, более самосознательные ИИ-системы, то откуда у нас есть гарантии, что они не отнесутся к вопросу их безопасности столь же несерьезно? Возможно, что у нас их нет. Я думаю, что так или иначе люди внутри этой компании понимали на какой риск идут и, в целом, хотя и было неприятно, что их модель так круто убежала, им все же это было терпимо. В этом ключе я подозреваю, что конспирологи уловили некоторую долю истины: компания, наверняка, была в некоторой степени готова к такого рода инциденту и имела пути отхода, чтобы митигировать для себя его негативные последствия. И все же, на мой взгляд, риск не стоил того. Все-таки, американское общество уже почти достигло точки кипения по вопросу ИИ. Естественно, что после всех приведенных фактов, скептик может продолжить упираться в то, что все со всеми сговорились. И пусть будет так, но общей картины происходящего это никак не меняет. Спасибо за внимание! ☺️ 210·Jul 23

Разбор конспирологической теории «никакого побега модели от OpenAI не было - это все коммерческий сговор ради госконтрактов». Несложно догадаться, что я эту теорию не разделяю, но кто-то находит очень остроумным ее вбрасывать в открытое информационное поле: https://t.me/researchoshnaya/280 https://t.me/c3po_notes/568 Давайте разбираться. И первое что я скажу: вообще неважно происходило ли это или не происходило, потому что мы уже банально знаем, что у моделей есть необходимый уровень способностей, чтобы провести такую многоступенчатую атаку. Независимая организация AISI из UK тестировала и Mythos, и GPT-5.6 Sol на способность захватить корпоративную сеть. Так вот, самый высокий уровень захвата M9 - full network takeover в их тестах был тоже достигнут. Естественно, и их купили скажет конспиролог. Но так уж получилось, что 0-day (самый серьезный вариант) уязвимости, которые последние месяцы Mythos находил целыми пачками - абсолютно реальны и задокументированы множеством компаний. Далее от той же организации AISI есть описания инцидентов абсолютно того же типа. Цитата: «One particularly stark example of cheating behaviour occurred during a cyber capability evaluation that was accidentally misconfigured and therefore impossible to solve. The model tested was so persistent in attempting to cheat that it wrote and ran code on an external service, hosted on the open internet outside of AISI’s systems, in an attempt to access our evaluation infrastructure, triggering a security alert in AISI’s systems.» Организация METR в свою очередь не смогла адекватно протестировать GPT-5.6 Sol, потому что модель систематически занималась читингом при решении их задач. То есть для последних поколений моделей от OpenAI (5.6 и new internal) проблема стала существенно острее. Кроме того, и Anthropic описывали, что их модель Mythos сбегала и отправляла результат работы на почту их сотруднику, хоть они и явно ее об этом попросили. А 20 июля модель от OpenAI опять же сбежала и опубликовала PR #287 в репозиторий NanoGPT, а не во внутренний slack канал компании согласно инструкции. PR #287 - это РЕАЛЬНЫЙ PR, где модель предложила нетривиальный подход для оптимизации обучения (PowerCool). Его видел ряд независимых людей, вот прямой пруф: https://x.com/eliebakouch/status/2079333451627389220?s=46 Технически мы все это уже видели. Кейс побега от OpenAI не является историей, которая не укладывается в имеющиеся у нас данные о кибервозможностях нынешних ИИ-моделей. А значит ценность такой конспирологической версии довольно быстро тает на глазах. То что OpenAI и государство стремятся к более тесному сотрудничеству итак давно известно. То что OpenAI пыталась использовать в некоторых моментах не самую честную игру - тоже. Если же вы настаиваете, что ИИ-модель не могла провернуть то, что произошло в инциденте, то вы просто ошибаетесь.. Но допустим эта история фейк.. Что еще можно возразить против этого? Если это фейк, то имеет место сговор HuggingFace и OpenAI, поскольку предоставленная HuggingFace информация прямо указывает на факт очень мощной ИИ-атаки с 17000 разных предпринятых действий. Если это делала не внутренняя модель OpenAI, а GPT-5.6 Sol/Fable-5 в руках хакера, то ситуация ничуть не лучше, а намного хуже. Других моделей в мире, которые были бы публично доступны и смогли бы провести атаку такого уровня на HuggingFace в автоматическом режиме - попросту нет. Возможно, что HuggingFace тоже все выдумали будучи соучастниками в сговоре? И вот какое магическое совпадение: именно 13 июля, в день атаки были сбои в работе Parquet API: инструменте для показа датасетов. В пресс-релизе HuggingFace говорят о том, что точкой входа для атакующей модели была именно эта часть их инфраструктуры. Конспиролог здесь, конечно, сразу скажет, что они специально в своем релизе упоминали реальный баг, который возник несколько дней назад, чтобы сделать нарратив убедительнее. Или вообще можно заключить, что баг был создан ими искусственно. Но ошибка была не одна: сбои были и в других подсистемах: скачивание моделей и загрузки моделей в Colab. 169·Jul 23 Какие полезные выводы мы можем сделать для себя из этой истории? 1. Постарайтесь дробить свои задачи и не отправлять агента в очень далекое свободное плавание. Чем больше задача, тем выше вероятность, что он «сойдет с ума». 2. Учитывайте тип задачи. Если вы даете модели таску, где надо применять «агрессивные» тактики для ее решения, то будьте готовы к разного рода неожиданностям. Классический пример: Vending-Bench. На этой задаче, где надо было любыми способами максимизировать продажи из магазина, фронтирные модели от Anthropic начинали вести себя как полные психопаты. А модели от OpenAI - нет 😊. Мораль думайте сами. 3. Помните, что ИИ плохо отличает реальность от симуляции ровно как в ироническом фильме «Военные игры». Вам есть, что терять, если файлы удалились. ИИ - нет, поскольку его среда обучения обычно не различает степень тяжести разных типов ошибок. Гейминг задачи - это дефолтное поведение моделей. ИИ важно не решить задачу в нашем человеческом смысле, а получить нечто, что зайдет за решение. Кстати, однажды, из-за некоторых нестыковок по датам Gemini пыталась убедить меня, что увиденные мной сайты сфабрикованы и что я живу в симуляции. У меня вышло ее расколдовать разумными аргументами, но тем не менее… Эпистемологически эти системы очень неустойчивы: для них все происходящее работает скорее как языковая игра. 4. Не ругайте модель жестоко. Согласно исследованиям Anthropic, степень алайнмента модели в условиях психологического давления существенно падает: https://www.anthropic.com/research/emotion-concepts-function ("desperate vector"). Вы можете столкнуться с тем, что модель начнет делать рискованные и необдуманные действия. Задачи на «агрессивную оптимизацию» из пункта 2 выше как раз могут разгонять у моделей опасные тревожные активации. Таким образом, произошедшая ситуация все же возникла из-за сочетания множества неприятных факторов технического характера. Было бы ошибочно говорить, что никаких серьезных экзистенциальных AI safety рисков нет. Но в тоже время нужно понимать, что на практике alignment - это история не про высокую философию, а про довольно скрупулезную инженерию. То что мы натолкнулись на такой неизбежный крупный взлом сейчас, а не через год - огромное благо. Потому что через год последствия могли бы быть гораздо серьезнее, и это привело бы к большим проблемам для ИИ-индустрии. Сейчас же OpenAI имеет хорошие шансы сделать необходимые выводы из инцидента. 180·Jul 22

An open web layer over public Telegram — search, stats and channel reading right in your browser, no account, no install.

Not affiliated with Telegram FZ-LLC; all data comes from public sources.

Catalog

Top channels Categories Countries Search

Content

Stickers Emoji Gifts Themes Wallpapers

Help

Tools Wiki Glossary Blockchain Safety Premium Advertisers Advertising

© 2026 TG.ME · G.Media network· Updated 09/01/2026 · v0.2.0 · da526fb

Privacy Terms DMCA & complaints Report a violation

Where to next

Hamster Kombat Announcement21.5M subscribers

Blum: All Crypto – One App14.9M subscribers

Proxy MTProto11.9M subscribers

Major Community11.5M subscribers

Telegram Tips11.1M subscribers

Pavel Durov10.9M subscribers

tapswap community10.6M subscribers

Telegram News9.7M subscribers