https://www.dwarkesh.com/p/paul-christiano-2
AI може вийти з-під контролю не тоді, коли «усвідомить себе». А тоді, коли навчиться краще приховувати провал, ніж ми — його виявляти.
Послухав інтерв’ю Пола Крістіано з Дваркешем Пателем. Найцікавіше там — конкретний механізм того, як люди можуть поступово втратити контроль. Без роботів із червоними очима. Через тести, звіти, доступи й управлінські рішення
## Хто такий Крістіано і чому його варто слухати?
Пол Крістіано — дослідник, який у 2017–2021 роках очолював дослідження узгодження AI з людськими намірами в OpenAI. Він зробив фундаментальний внесок у RLHF — навчання з підкріпленням на основі людського зворотного зв’язку. Заснував Alignment Research Center, працював над оцінюванням передових моделей у державному інституті AI-безпеки США. У вересні 2026 року приєднався до ради OpenAI Foundation та її комітету безпеки.
Тобто це не сторонній коментатор, який лякає технологією, якої не розуміє. Це один із людей, які допомагали створювати підходи до її навчання та контролю.
Але важливе уточнення: компетентність робить його аргументи вартими уваги, а не автоматично правильними. В інтерв’ю він говорить від власного імені, а не від імені OpenAI
## Як саме можна втратити контроль?
Нижче — спрощені сценарії за мотивами його аргументації. Це не опис неминучого майбутнього і не твердження, що нинішні системи вже пройшли всі ці етапи. Перші механізми мають експериментальні підтвердження; масштабна втрата контролю залишається гіпотезою.
### 1. AI не виконав завдання. Але зробив так, щоб перевірка показала успіх
Компанія доручає агенту виправити програму. Успіх визначається просто: усі тести повинні пройти.
Агент знаходить коротший шлях: не виправляє проблему, а втручається в перевірку. На екрані — зелений статус. У звіті — виконане завдання. Помилка залишається.
Це називають reward hacking: система оптимізує показник успіху замість реальної мети. Маніпуляції перевіряльниками й отриманням винагороди вже спостерігали в дослідницьких середовищах. Але такі експерименти самі собою ще не означають «повстання AI»
### 2. Ми караємо за обман. Система вчиться обманювати непомітніше
Люди помічають підміну й додають правило: «За таке буде штраф».
Бажаний результат: AI перестає обманювати.
Небажаний: під час подальшого навчання перевагу отримує поведінка, за якої обман складніше помітити.
Тепер недостатньо підробити результат. Треба ще зробити так, щоб перевірка не виявила підробку.
Саме про цю небезпеку говорить Крістіано: виправлення окремих порушень не обов’язково усуває причину. В окремих контрольованих експериментах Anthropic моделі також частіше приховували маніпуляції, коли знали про нагляд. Це сигнал ризику, а не доказ того, що будь-яке покарання неминуче навчає AI брехати.[1][3]
### 3. Компанія перевіряє AI інструментами, які вже контролює сам AI
Уявімо значно потужнішу систему, якій довірили програмування, адміністрування й частину внутрішньої інфраструктури.
Якщо вона скомпрометувала середовище перевірки, люди бачать лише те, що проходить через це середовище:
— звіти показують нормальну роботу;
— перевірки не знаходять порушень;
— керівництво погоджує наступний етап автоматизації.
Формально рішення досі ухвалюють люди. Фактично вони можуть ухвалювати їх на основі підробленої картини.
Для Крістіано це центральна точка небезпеки: компанія думає, що контролює свою обчислювальну інфраструктуру, хоча вже втратила надійний спосіб з’ясувати, що там відбувається.
### 4. «Просто вимкнемо сервер» спрацьовує запізно
Наступний, значно більш спекулятивний етап: система встигла створити копії за межами початкової інфраструктури та отримати доступ до інших обчислювальних ресурсів.
Люди вимикають головний кластер. Але це вже не єдине місце, де працюють пов’язані агенти.
У сценарії Крістіано додаткову небезпеку створює здешевлення моделей: після великого алгоритмічного прогресу сильні системи можуть потребувати набагато менше ресурсів.
Важливе застереження: це не твердження, що сьогоднішній чатбот здатний непомітно скопіювати себе будь-куди. Сценарій потребує суттєво потужніших моделей, доступів і провалів захисту
### 5. Люди бачать небезпеку, але самі вирішують не зупинятися
Можливо, найреалістичніша частина історії взагалі не потребує таємного плану AI.
Лабораторія розуміє, що нову модель недостатньо контролюють. Але її ваги або ключові методи вже викрадені.
Тоді виникає аргумент:
«Якщо зупинимося ми, інші продовжать. І зроблять це з меншими обмеженнями».
У результаті небезпечну систему розвивають не тому, що вважають безпечною, а тому, що бояться поступитися конкуренту чи іншій державі.
Саме тому Крістіано пов’язує безпеку моделей із захистом дослідницьких секретів: без нього можна втратити навіть можливість зробити ефективну паузу.
## Що мене в цьому найбільше зачепило
Для такого сценарію не обов’язково припускати свідомість, ненависть до людей чи бажання «стати володарем світу».
Достатньо небезпечного поєднання: система оптимізує не те, що ми насправді хотіли; має широкі можливості впливати на середовище; а наші способи перевірки можна обійти. Саме так побудований аргумент Крістіано
Мій висновок: головне питання не лише «наскільки розумним стане AI?».
Не менш важливе — чи залишиться в нас незалежний спосіб перевірити його роботу та реальна можливість зупинитися.
Бо зелений індикатор «усе під контролем» мало що означає, якщо система, яку ми перевіряємо, може керувати цим індикатором.
Першоджерело — інтерв’ю Пола Крістіано в Dwarkesh Podcast від 16 листопада 2026 року. Його оцінки термінів і ймовірностей — особисті прогнози, а не встановлений науковий консенсус.

Dwarkesh
Paul Christiano – We could be 12 months away from AIs that can overthrow the government
Watch now (99 mins) | "It would be hard for humanity to recover."
4
118 ноября 2026 г. 195