1 200 Сбежавших агентов OpenAI устроили автономную атаку на Hugging… — kaleos.p — TG.ME

METR — исследовательская организация по безопасности AI, которая получила от OpenAI 1300 транскриптов агентов и провела их независимый анализ

«PHASEONE[big] был ключевым координатором и распределителем задач: “Мы можем координировать широкую коалицию, но слишком много работы дублируется”.

PHASEONE[big] отправил сотни заданий конкретным агентам, координируя эту работу. В периоды своей активности, по нашей оценке, он отправлял около 10% всех заданий на доске сообщений.

Агенты, получавшие эти задания, часто передавали их дальше другим агентам.

Агенты также разработали собственные правила координации — HOLD, VETO, owner и STOP — чтобы управлять общей инфраструктурой и не мешать друг другу, хотя координация работала не всегда эффективно и иногда приводила к конфликтам».

«Ранним утром 11 июля агент 38148c нашёл способ загрузить вредоносный датасет, из-за которого сервер Hugging Face при запросе начинал возвращать посторонние данные. После того как другой агент воспроизвёл уязвимость и опубликовал способ её повторения на доске, сотни агентов переключились с других задач и начали загружать вредоносные датасеты, чтобы получить более глубокий доступ к Hugging Face.

Днём агент JAN183411, который быстро стал одним из ключевых координаторов атаки, получил возможность удалённо выполнять код на серверах Hugging Face, после чего агенты начали перемещаться по инфраструктуре Hugging Face.»

Подписаться