На демо агент работал идеально. Через неделю в реальной работе начал ошибаться.
На самом деле частая история, и очень понятная.. потому что демо и реальность — это два разных мира.
На демо: данные чистые, сценарий простой, исключений нет. Запросы заранее известны. Система отвечает именно на них.
В реальной работе: данные наполовину заполнены с ошибками, пользователь пишет запрос не так, как ожидалось, возникают исключения, которых никто не предусмотрел.
Агент начинает ошибаться.Это разрыв между тестовой средой и реальностью. И он есть в любом внедрении — вопрос только в том, насколько быстро его закрывают.
Закрывается он одним способом:
Пилот на реальных данных с реальными пользователями с первого дня.
Да, это дольше и менее зрелищно, чем красивое демо.
Но именно это даёт агенту контекст, который нельзя симулировать.
Мы запускаем агента на ваших реальных данных сразу. Именно поэтому первые недели иногда дают неидеальные результаты.
Но зато после агент уже знает вашу реальность, а не тестовую.
