Студенты УрФУ нашли уязвимые места нейросетей: алгоритмы пока остаются за человекомИскусственный интеллект пишет код, решает уравнения и проходит технические собеседования. Но значит ли это, что он способен заменить программиста?
Второкурсники программы «Программная инженерия» Института радиоэлектроники и информационных технологий — РТФ УрФУ провели масштабное исследование в рамках летней практики и выяснили, где у популярных больших языковых моделей (LLM) заканчиваются возможности.
Ребята проанализировали более 100 кейсов алгоритмического программирования, разработали собственную методику оценки сложности задач и выявили критические слабые места архитектур как зарубежных, так и отечественных LLM.
Главные выводы исследования:
Начиная с определенного уровня все исследуемые модели начинают ошибаться ровно в два раза чаще.
Одна из отечественных моделей показала лучшие результаты в задачах по теории чисел.
На заданиях, которых гарантированно нет в открытых источниках интернета, ни одна модель не смогла найти верное решение. Даже если она проходила тесты на 100 % по аналогичным темам.«Этот факт подтверждает, что LLM опираются не на самостоятельный логический вывод, а на статистическое узнавание знакомых формулировок... Если задача гарантированно не встречалась в интернете, модели одновременно теряют это преимущество и чаще терпят неудачу», — делится результатами второкурсник-исследователь.
На основе данных команда подготовила методические рекомендации для преподавателей. Они помогут конструировать контрольные работы и тестовые задания так, чтобы снизить эффективность недобросовестного использования нейросетей студентами. Это сделает оценку знаний объективнее.
Исследование доказывает: фундаментальная подготовка, умение мыслить абстрактно и решать принципиально новые задачи всё еще остаются главным преимуществом человека перед машиной.
УрФУ в «Максе» | ВК | ТГ
