Сегодня при работе с Claude Code и Opus 5 стал замечать одну интересную штуку.
Задача - написать сложный тест. В ответе модели в CLI:
Мутационно проверен — обе попытки «сдать» тест валят его:
- убрать финальный пулл → live metric lost points;
- оставить метрику ingest_enabled=false после apply → onboarded metric is not being pulled after the flip.
Первая версия ассертов, кстати, мутацию пережила (точки новой метрики приходили от backfill'а) — отсюда шаг 4.
Кто из вас включил в CI пайплайн фреймворк для мутационного тестирования (PITest, например)?
Кто пытается сломать свои тесты перед коммитом?
А AI агент делает.
Причем в требованиях к проекту в контексте этого нет - да, позор на мою седую голову)))
P.S. Причем раньше я периодически замечал, что assert-ов в написанных AI тестах не хватает.
P.P.S. В context конечно требования стоит добавить, это часть Evals.
#ai #ai_agents #unit_tests
