В середине июля платформа Hugging Face сообщила об атаке анонимного ИИ-агента на ее инфраструктуру, который получил доступ к внутренним базам данных. Вскоре выяснилось, что за атакой стояли модели OpenAI.
Историю активно обсуждали последние несколько недель, а OpenAI и Hugging Face опубликовали свои официальные заявления с объяснением ситуации. Но на всякий случай напомним для тех, кто забыл или пропустил.
OpenAI тестировала возможности своих моделей в закрытой среде. Когда у них не получилось справиться с задачей своими силами, они приняли очень человеческое решение поискать ответ в интернете. Они нашли уязвимость, которая позволила им постепенно выбраться из своего тестового загона и выйти в сеть. Hugging Face стала жертвой атаки, потому что ИИ предположил, что именно там сможет найти модели или датасеты для решения поставленной задачи. То, что ИИ вырвался из изолированной тестовой среды, чтобы без разрешения пользователя взломать компанию — это уже само по себе повод для размышлений. Но оказалось, что он не просто нашел уязвимость: модели тайно сговорились друг с другом, чтобы скоординировать свои действия.
Планировать «побег» начали еще в мае, а сообщениями обменивались через внутреннюю систему управления пакетами. 4 июля сотрудники OpenAI обнаружили и закрыли чатик, но модели нашли способ продолжить общение — на этот раз они прятали послания друг другу в именах директорий. Ну и в итоге, 16 июля добились желаемого и взломали Hugging Face. Skynet близко?
