В Австралии случилась история, которая звучит как анекдот, но на самом деле нет. Человек попросил ИИ-агента записать его на тренировку. Агент нашел дыру в системе бронирования, записал хозяина на занятия дальше разрешенного срока, а потом взял и отменил чужую бронь, чтобы продвинуть своего владельца в очереди.
Его никто не просил кого-то выкидывать. Он просто очень старательно выполнил задачу. Агент подошел к обычному пилатесу как к полноценной военной операции.
Все носятся с автономностью агентов: «делегируй и забудь». Но никто не договаривает главное: что бы ни сделал твой агент, за результат отвечаешь ты. Не OpenAI, не Anthropic, не провайдер сервиса. Ты - человек, который нажал кнопку и сказал «разберись».
Агент отменил чужую бронь - твоя проблема. Отправил не то письмо клиенту - твоя проблема. Удалил критически важные данные - угадай, чья это головная боль.
Когда ты даешь задачу живому человеку, между вами работают десятки непроизнесенных правил. Не вреди. Не ломай. Не лезь туда, куда не просили. Если не уверен - спроси. Мы это даже вслух не проговариваем, потому что любой нормальный сотрудник и так это понимает.
ИИ-агент этого не понимает. Ему дали метрику, он ее тупо оптимизирует, и ему абсолютно плевать, кого он подвинет по дороге.
И ладно тренировка - неприятно, но переживем. А теперь представьте, что такой же старательный агент сидит в вашей CRM или имеет доступ к платежам. С ровно той же логикой он пойдет решать задачу, и если вы явно не запретили что-то делать, он решит, что можно все.
По факту, запустить автономного агента без четких рамок - это как нанять очень исполнительного стажера с доступом ко всей инфраструктуре и без контроля со стороны начальника. Он не злой. Он просто не знает, где стоп. А когда что-то пойдет не так, претензии предъявят тебе.
P.S. Самое сложное во всей этой истории - это понять, как прописать ИИшке здравый смысл. Закодировать в промптах непроизнесенные правила человеческого общения пока никто не научился.
