Code agents: впечатления новичка
Меня пугает, что я не поспеваю за развитием событий в мире AI. Чтобы как-то исправить ситуацию, на выходных прошла курс по фреймворку Smolagents от Hugging Face. Это всего лишь один из множества фреймворков, и не самый популярный, но даёт хорошее представление о теме code agents. Курс скорее рекомендую (желательно ещё прочитать вот этот пост и readme из репозитория).
После изучения этой темы основные мысли такие:
– даже с использованием подобных фреймворков создание AI agents – дело не элементарное, требует навыков программирования, да ещё и соблюдения дополнительных синтаксических правил
– результат работы такого агента, с одной стороны, пугающе точный, с другой – местами все равно непредсказуемый
– работает всё на основе очень сложных промптов – только первый занимает 180 строк. Пользователю Smolagents писать их самому не нужно, но мне как-то некомфортно при мысли, что в основе лежит такая запутанная неэлегантная инструкция. Понятно, что ее тестировали, но ощущение ненадежности остаётся.
Как сами авторы фреймворка отмечают, если вам нужно получить точный ответ на заранее известный тип вопроса (например, измерить расстояние между точками A и B), использовать code agent не нужно. Не будет выигрыша ни в простоте реализации, ни в точности ответа.
Для решения такой задачи можно просто написать обычную программу. И сделать ее доступной для пользователей через API или графический интерфейс. В этот момент становится особенно понятно, что роль графических интерфейсов не только в том, чтобы сделать пользователям удобно, но ещё и в том, чтобы получать от них заранее предопределённые вводные.
А вот если нужно иметь возможность отвечать на заранее неизвестные вопросы по какой-то теме или темам, как, например, в службе поддержки пользователей, то тут AI-агент становится полезен. Он сам в каком-то смысле "решит" (LLM сгенерирует решение), какие расчеты надо сделать и команды выполнить, и вполне успешно их выполнит.
В общем, банальный вывод: use cases для AI agents точно есть, и их много, но для большого количества задач старые добрые программы (даже неважно, кто их написал – человек или LLM) будут работать лучше.
7
6April 29, 2025 876 7
