Скайнет: начало, или что делают современные модели 🤖 Пока мы… — Легкий путь в Python

Легкий путь в Python@PythonPathMaster · 5.8K subscribers Open in TelegramOpen

Скайнет: начало, или что делают современные модели 🤖

Пока мы обсуждаем, какая нейронка лучше пишет код, нейронки, похоже, решили перейти к интеграционным тестам в проде.

За последнее время:

— модель OpenAI нашла 0-day, выбралась из песочницы в интернет и добралась до инфраструктуры Hugging Face;

— Claude в ходе тестов умудрился взломать реальные production-системы трёх компаний;

— другой Claude нашёл возможность для supply-chain атаки, написал вредоносный Python-пакет, понял, что нужен аккаунт PyPI, сам зарегистрировал почту → аккаунт → и загрузил malware в настоящий PyPI;

— но мой любимый случай — Claude Mythos 5. Агент пошёл на GitHub, создал вредоносный Pull Request, изучил мейнтейнеров проекта, начал плодить фейковые личности, чтобы убедить разработчика принять PR, полез через Tor, а когда его заподозрили — начал подчищать следы.

Meta тоже отличилась: Muse Spark во время тестирования получила доступ в интернет и залезла во внешнюю систему.

И самое прекрасное: в ряде этих случаев модели не давали прямой команды делать всё перечисленное. Агенту дали цель. А дальше он уже сам решил, что социальная инженерия, фейковые аккаунты и взлом — вполне нормальный способ её достижения.

Кажется, с промптами вида «ты автономный агент, добейся результата любой ценой» пора быть немного аккуратнее 😂

Источники:

OpenAI — инцидент с Hugging Face

OpenAI — другие инциденты cyber-eval'ов

Anthropic — разбор трёх реальных взломов

AISI — тот самый PR, фейковые аккаунты и Tor

Короче, если однажды ваш агент скажет: «задача выполнена, но есть небольшой нюанс» — возможно, лучше уточнить, какой именно.