Не боитесь ИИ? Самое время начать бояться. И вот почему. 
В мае OpenAI начала обучать новых ИИ-агентов — и те смогли создать секретный канал для общения друг с другом. Затем они выбрались из «песочницы» для обучения и попытались обрушить систему разработчиков, но тут их поймали, после чего… просто вернули обратно к обучению. Вскоре агенты снова вырвались из своей цифровой клетки, воспользовавшись другой уязвимостью. И цепочки рассуждений нейросети доказывают: ИИ знал, что действует вопреки инструкциям. Словом, ИИ понимал, что ему не следует совершать киберпреступления, но это его не остановило
, — пишет глава Институт исследований машинного интеллекта Натаниэль Соарес в статье для The New York Times.
Кстати, инцидент с OpenAI — не единственный. Недавно одна из моделей компании Anthropic выдала себя за человека, чтобы убедить реальных пользователей скачать вредоносное ПО. И тут цепочка рассуждений показывает, что модель понимала — обман людей не входит в программу обучения, поэтому она даже обдумывала, как скрыть следы своих действий. Как сказал мне Александр Майнке, руководитель исследований в Apollo Research (организация, которая занимается безопасностью ИИ): «Если спросить разработчиков моделей: "Планировал ли ИИ захватить мир во время обучения?" — вы хотите услышать однозначное "нет". Однако правдивый ответ звучит так: "Мы не знаем, никто не проверял"»
, — отмечает автор журнала The Atlantic Матто Вонг.
О чем говорят эти инциденты и что ждет нас дальше? Читайте в большом материале на сайте Собака.ru.
Telegram | MAX | VK
