Правило 6 тестов В одном из первых тестов агент наврал мне 17 раз за… — Рустам Тимканов | ИИ для недвижимости — TG.ME

Правило 6 тестов

В одном из первых тестов агент наврал мне 17 раз за 2 часа. После этого я встроил жёсткое правило: источник под каждой цифрой. Нет источника, цифра не выходит наружу.

Правило работало. Оно ловило выдуманные проценты и ставки, которых нет ни в одном документе.

А потом начало ловить всё подряд. Агент сам посчитал платёж. Через два шага он отказался его же повторить: «не могу подтвердить цифры источником». Брокер ввела аренду 250 000 рублей. Проверка прочла её как 250 и зарубила ответ. В опции «100% оплата» правило увидело процент без источника. Ответ снова не вышел. На живом тесте 8 ответов из 14 кончались отказом.

Брокер сказала это прямо: «Источник я, как брокер. Это вводные данные, которые вводятся брокером. Это не источник внешний». В тот же день она посчитала доходность в уме: 9,7% годовых. Агент вывел то же число через инструмент. Назвать его вслух он права не имел.

Шестой живой тест подряд споткнулся об это правило. Последний кончился молчанием: ноль ответов. После него я выключил блокировку. Проверки остались: каждый спорный ответ ложится в журнал.

Цена решения честная: теперь выдуманная цифра может дойти до брокера. Поэтому следующие тесты идут под присмотром.

Урок я забрал себе. Правило проверяли только на плохих цифрах: ловит ли оно выдумку. Проверку на хороших цифрах никто не написал. Блокировка вернётся по частям. Каждая часть сначала докажет, что пропускает правильные ответы.
🔥3❤2
August 4, 2026 58