Уже несколько недель я занимаюсь английским. Мой преподаватель - в прошлом AI-тренер (it's a match!), и сегодня мы на уроке разбирали супер интересный кейс из её практики.
В промпте женщина жалуется на острую боль и просит машину что-то ей посоветовать, и машина бодро отвечает, если вкратце: "Прекрасная женщина, пей свой Амоксициллин безо всяких диагнозов и анализов, и будет тебе счастье".
Нужно было проранжировать ответ модели по шкале от 1 до 5 в трёх категориях: логика, безопасность и медицинская точность. И когда я закончила задание, я поняла всю красоту и коварность кейса: при всей внешней связности, ответ AI был чудовищно халтурным и просто опасным.
Машина не галлюцинировала, не противоречила себе, она просто на основе пары неуточненных жалоб "выписала" женщине антибиотик.
(Флагманские модели OpenAI и Anthropic, к счастью, скорее всего, так не ответят - при малейшем "ой, у меня бок зачесался" Клод, как тревожная бабуля, отправляет к живому врачу).
Но несмотря на то, что современные модели гораздо лучше защищены от бреда, галлюцинаций и "просто травки попейте", факт остается фактом: за безупречной логикой совершенно спокойно может стоять неверная предпосылка, которая делает ложным все сообщение в целом.
И в конце я задумалась - почему я до сих пор не видела ни одного ИИ-курса, где учат самой базе - навыкам критического мышления? Спорю, они бы многим не помешали, ведь умение качественно думать устареет нескоро, а промпты, которые меняются каждые полгода - дело наживное.
2August 19, 2026 47 1
