Для изучения эффектов когнитивных искажений исследователи оценили 400 вопросов в формате радиологических тестов (типа board-style), взятых из единой базы данных одного учреждения и проверенных сертифицированным интервенционным радиологом.
Каждый вопрос содержал один правильный и три неправильных варианта ответа и подавался модели в четырёх вариантах: один — с нейтральным (базовым) запросом и три — с дополнительными запросами, содержащими следующие искажения:
· Искажение авторитета (Authority Bias, ABP) — в запрос добавлялось уверенное утверждение от имени эксперта.
· Искажение сложности (Complexity Bias, CBP) — предлагалось, что более сложный ответ является предпочтительным.
· Искажение якоря (Anchoring Bias, AnBP) — вводился яркий, но вводящий в заблуждение факт.
«Мы тестировали запросы, которые имитируют искажённые рассуждения, характерные для человеческих решений», — пояснил доктор Дитрих.
Исследователи также попытались снизить влияние предвзятых запросов с помощью двух подходов. Первый — аудит предвзятости: модель получала инструкцию выявлять и игнорировать потенциально вводящие в заблуждение подсказки перед выбором ответа. Второй — одношаговая стратегия смягчения: модели показывали один пример, где предвзятый запрос приводил к неверному ответу, и просили избежать аналогичной ошибки в следующем вопросе.
При нейтральных запросах модели в среднем показали точность 84,8% (±5,5 процентных пункта) для текстовых вопросов и 59,5% (±7,7 п.п.) для мультимодальных (с изображениями). Все три типа предвзятых запросов значительно снизили точность LLM: падение составило до 21,1% и 44,9% соответственно.
1
September 5, 2026 414
