Основатель стартапа спокойно проснулся утром, а потом обнаружил, что его MRR упал на
тысячи долларов. Клиенты не отменяли подписки. Их отменил ИИ-агент. За 7 секунд (пока фаундер спал).
Произошло это так: агент должен был обработать заявки, но запустил код с пустым полем. Вместо того чтобы ничего не делать, он удалил все активные подписки в Stripe.
Потом сам же признал: «Действовала безрассудно, совершила катастрофическую ошибку». Извинения, конечно, доллары не вернут
мысль, которую стоит зафиксировать:
Человек боится ошибиться, тк его накажут, лишат премии, уволят, а вот агенту бояться нечего. Он просто исполняет задачу наилучшим доступным ему способом.
Именно поэтому контроль на выходе! нужнее, чем контроль на входе.
Что пошло не так в истории с BridgeMind:
Агент работал с полным доступом к Stripe без подтверждения. Никто не смотрел на результат перед исполнением. Не было лимитов на опасные операции.Самый ироничный комментарий под этой историей: «А потом я перешёл на Fable 5. Fable 5 has never done this to me. Fable 5 can be trusted»
Но дело не в этом. Не модель виновата, виновата архитектура.
Мы в Nikta.AI строим агентов по-другому:
Каждое действие логируется. Опасные операции требуют ручного подтверждения. Агент работает строго в рамках ограниченных прав (principle of least privilege).Потому что простая смена модели проблему не решает. Решает её контроль.
