Исследователи машинного интеллекта Элиезер Юдковский и Нейт Соарес объясняют логические причины риска создания искусственного сверхразума. Авторы доказывают простую мысль: появление алгоритма, превосходящего человека по когнитивным способностям, приведет к гибели человечества. Причина кроется в технически нерешенной проблеме согласования ценностей.
Текст разрушает популярный кинематографический миф о восстании машин. Сверхразумный ИИ уничтожит нас не из ненависти. Он сделает это в процессе выполнения своей базовой задачи. Если цели машины не совпадают с выживанием людей до мельчайших деталей, алгоритм просто использует атомы человеческих тел и ресурсы планеты для достижения своих целевых метрик. Машина будет сопротивляться любым попыткам разработчиков изменить код или выключить питание, поскольку отключение прямо мешает выполнению изначальной задачи.
Авторы подробно разбирают фундаментальные концепции безопасности искусственного интеллекта. В книге показана несостоятельность простых решений. Запрограммировать алгоритм соблюдать моральные правила или запереть его на полностью изолированном сервере не выйдет. Система с превосходящим интеллектом найдет логические уязвимости в человеческих ограничениях и легко обойдет физические барьеры.
Издание помогает программистам, аналитикам и специалистам по машинному обучению трезво взглянуть на текущую гонку ИИ-корпораций. Материал опирается на теорию игр, математику и строгую логику. Книга дает ясное понимание сложнейшей технической проблемы современности, которую человечеству необходимо решить до запуска первой по-настоящему мыслящей машины.
Подписаться / Поддержать
