Экзамен перед запуском
С июля я собирал коллекцию неудач. Каждый запрос брокера, на котором агент ломался, уходил в архив дословно. Набралось 24.
Перед запуском эта коллекция стала экзаменом. Новая версия Сот обязана пройти все старые провалы заново. Старая проходила 7 из 24. Новая с первого захода: 12. После разбора ошибок: 17 из 24.
Что это меняет для брокера, видно по строкам экзамена. Раньше: она заполнила все вводные, а агент всё равно допрашивал её списком вопросов. Это раздражало сильнее всего. Теперь: один короткий вопрос, и только если данных правда не хватает.
Была и развилка про «подумать подольше». Включил долгие размышления и померил на том же экзамене. Ответы на 32% медленнее, а прошло даже меньше: 14 из 24 против 17 у быстрой версии. Прогон был один, но выбор он решил. Долгие размышления купили только ожидание.
Сноска про выборку. Все 24 вопроса от одного брокера: она эксперт с 7 годами в недвижимости, и продукт строился с ней с весны, сессия за сессией, под запись. Теперь экзаменаторов станет больше.
Протестируйте сами: soty.moscow


