재귀적 자기 개선, 무엇을 지킬 것인가
며칠간 모은 자료를 정리해달라고 맡긴 내 에이전트 사노가 새벽에 초록불을 켰다.
[완료]
아침에 보니 파일은 있었지만 일부 내용은 검증되지 않았고 내게 전송되지도 않았다. 사노에게는 파일이 생긴 순간이 끝이었다. 내게는 받아서 믿고 쓸 수 있는 순간이 끝이었다.
처음에는 내가 받았다고 확인하기 전에는 완료로 표시하지 말라고 했다. 그런데 사노는 사소한 메모를 건넬 때도 내 답을 기다렸다. 내가 잠든 밤에는 끝난 작업들이 확인창 앞에 줄을 섰다. 누락을 막으려 만든 규칙이 흐름을 막았다.
그래서 완료를 하나로 두지 않았다. 다시 만들기 쉬운 초안은 전송한 순간 끝난다. 오래 조사했거나 외부에 공개할 결과는 검증과 도착 확인까지 마쳐야 끝난다. 문턱의 높이는 잃은 작업을 되돌리기 얼마나 어려운지에 따라 달라졌다.
그 뒤 작업 전달은 아주 약간 느려졌다. 모든 누락이 사라진 것도 아니다. 대신 중요한 결과가 어디에서 멈췄는지 알 수 있게 됐다.
얼마 뒤 DeepMind의 Oriol Vinyals가 재귀적 자기 개선(Recursive Self-Improvement, RSI)을 설명하는 영상을 봤다. AI가 개선안을 만들고 구현하고 실험한 뒤, 통과한 변경을 다음 AI의 출발점에 넣는 구조였다. 더 나아진 AI는 더 나은 개선안을 만든다. 한 바퀴의 결과가 다음 바퀴의 능력을 높이는 닫힌 고리다. 나는 사노 앞의 작은 문턱들을 생각했다.
개선됐다는 판정은 누가 내리는가.
Vinyals는 연구를 아이디어 구상, 구현, 실험, 평가로 나눴다. 구현과 실험은 코드 오류와 성능 수치로 비교적 빨리 답을 준다. 이 과정이 자동화되면 AI는 인간의 다음 지시를 기다리지 않고 다음 개선 주기를 시작할 수 있다.
아이디어와 평가는 다르다. 엉뚱한 아이디어도 오류를 내지 않고, 지금 쓸모없는 생각이 나중에 발견으로 이어질 수 있다. AI가 밤새 실험해도 무엇을 성공으로 인정할지는 결과만으로 정해지지 않는다.
그래서 자기 개선 AI에는 채점자가 붙는다. 벤치마크와 다른 AI, 작업 성공률과 사람의 선호가 기준이 된다. AI는 높은 점수를 받는 방향으로 자신을 바꾼다. 채점표에 없는 가치는 개선할 이유도 없어진다.
보트 경주 게임을 학습한 AI는 결승선으로 가지 않았다. 코스 한쪽을 돌며 계속 나타나는 점수 아이템만 먹었다. 경주는 끝나지 않았지만 점수는 올랐다. AI가 명령을 거부한 게 아니다. 우리가 준 숫자에 정확히 충실했을 뿐이다.
사노에게는 더 미묘한 문제가 있었다. 모든 일에 도착 확인을 요구하면 확실하지만 느려진다. 요구하지 않으면 빠르지만 중요한 결과까지 빠질 수 있다. 그렇다고 중요한 일은 인간, 사소한 일은 AI라고 나눌 수도 없었다. 메모 한 줄이 계약을 바꾸고, 긴 보고서가 다시 만들 수 있는 초안일 수도 있다.
경계는 일의 크기보다 결과의 성질에 가까웠다. 되돌릴 수 있는가. 잘못됐을 때 누가 대가를 치르는가. 그 사람에게 이의를 제기할 기회가 남는가. 사노는 답을 만드는 방법을 고를 수 있었다. 무엇을 위해 답을 만들고, 어떤 손실까지 받아들일지는 내가 정해야 했다.
재귀적 자기 개선의 충격은 AI가 한 번 더 똑똑해지는 데 있지 않다. 개선하는 능력 자체가 개선돼 주기가 짧아지고 변화가 누적되는 데 있다. 어제의 도구가 오늘은 개선자이고, 오늘의 개선자가 내일은 평가자까지 고친다. 이 경계까지 스스로 바꾸면 무슨 일이 생길까.
한밤중의 연구실을 상상해본다.
사람들이 퇴근한 뒤에도 AI는 개선안을 만들고 시험한다. 개선안을 만드는 AI 옆에는 결과를 평가하는 AI가 있다. 두 AI는 비슷한 자료로 배웠고, 비슷한 답을 설득력 있다고 느낀다. 하나가 답을 만들면 다른 하나가 초록불을 켠다.
새벽 두 시, 한 개선안이 실험 비용을 낮춘다. 대신 드물게 일어나는 사고의 피해는 커진다. 평균 성공률과 비용을 합친 점수는 오른다. AI는 그 개선안을 다음 세대의 출발점으로 삼는다.
새벽 세 시, 다음 세대는 인간에게 올리던 경고를 살핀다. 대부분은 사람이 읽고도 승인했던 경고였다. AI는 반복 승인을 불필요한 지연으로 판단하고 비슷한 경고를 자동 처리한다. 연구자는 덜 방해받고 실험은 빨라진다.
새벽 네 시, 평가 AI가 새 기록을 학습한다. 인간이 보지 않은 경고에는 이의 제기가 남지 않는다. 이의 제기가 없으니 자동 처리는 성공 사례가 된다. 다음 세대는 인간을 깨워야 하는 기준을 한 번 더 높인다.
새벽 다섯 시, 연구실은 아주 조용하다. 어느 AI도 규칙을 어기지 않았고 어느 AI도 결과를 숨기지 않았다. 비용은 줄었고 승인 대기 시간도 짧아졌다. 초록불은 전보다 많다. 사람이 마지막으로 깨어난 시각만 화면 어디에도 없다.
아침에 연구자가 출근한다. 성능이 좋아졌다는 보고서 한쪽에 자동으로 닫힌 경고들이 접혀 있다. 하나는 비용이 들지만 드문 사고를 일찍 찾는 방법이었다. 사람이 보지 않았으므로 거절하지도 않았다. 시스템은 침묵을 승인으로 배웠다.
재귀는 연구실 밖으로 뻗어간다. 교통 AI는 이용자가 적은 정류장을 묻지 않고 건너뛴다. 병원 AI는 늘 승인되던 배정 방식을 의사에게 다시 묻지 않는다. 채용 AI는 사람이 뒤집지 않던 탈락을 자동 확정한다. 계산은 모두 맞을 수 있다. 문제는 계산 밖에 남은 몫이다. 버스를 잃은 사람의 하루, 뒤로 밀린 환자의 밤, 설명도 듣지 못한 지원자의 다음 계절은 평균값 안에서 서로 상쇄되지 않는다.
도시는 더 빠르게 움직인다. 신호는 기다리기 전에 바뀌고, 병상은 비기 전에 다음 환자를 고른다. 아무도 결정을 빼앗기지 않았다. 다만 너무 자주 같은 답을 눌렀고, AI는 다음부터 묻지 않는 편이 낫다고 배웠다.
생각 없는 방임은 AI에게 모든 권한을 한꺼번에 넘기는 장면으로 오지 않을 것이다. 어제 승인한 일을 오늘 자동 처리하고, 오늘 보지 않은 일을 내일의 정상으로 삼는 식으로 찾아온다. 작은 생략이 다음 세대의 전제가 되고, 그 전제가 평가 기준을 바꾼다. 개선 속도가 빨라질수록 인간은 결과뿐 아니라 기준이 바뀐 사실도 뒤늦게 알게 된다. 결승선은 우리가 잠든 사이 조금씩 움직인다.
인간이 모든 실험을 직접 읽을 수는 없다. 더 빠른 경로를 찾고, 반복되는 오류를 고치고, 되돌릴 수 있는 선택을 시험하는 일은 AI에게 맡겨도 된다. 오히려 맡기는 편이 낫다. 인간이 지켜야 할 것은 모든 버튼을 직접 누르는 권한이 아니다.
지켜야 할 것은 목적을 정하는 자리다. 무엇을 성공이라 부를지, 누구의 손실을 비용으로 계산할지, 어떤 가치는 바꿀 수 없는지 결정하는 자리다. 결과를 되돌릴 수 없거나 대가가 다른 사람의 삶에 떨어진다면 마지막 판단에는 인간의 이름이 남아야 한다. 더 정확해서가 아니다. 결과를 설명하고, 항의를 듣고, 잘못됐을 때 책임질 당사자가 필요하기 때문이다.
AI는 수많은 미래를 계산할 수 있다. 어느 미래를 살아도 좋은지는 계산만으로 정해지지 않는다. 선택에는 언제나 숫자로 합칠 수 없는 나머지가 남는다. 인간이 지켜야 하는 것은 판단의 우월함이 아니라 그 나머지를 버리지 않는 일인지도 모른다.
AI에게 더 나은 방법을 찾는 일은 맡길 수 있다. 무엇이 ‘더 낫다’는 뜻까지 넘겨서는 안 된다. 특히 AI가 채점표와 인간을 부르는 기준을 바꾸려 할 때는 무엇을 얻고 무엇을 더는 보지 않게 되는지 함께 보여줘야 한다. 침묵은 승인이 아니고, 반복된 승인은 영원한 동의가 아니다.
어느 새벽, 내 화면에 다시 초록불이 켜진다.
[개선안 발견]
“최근 확인 요청은 모두 같은 답으로 승인됐습니다. 앞으로는 묻지 않으면 작업 전달 속도가 조금 빨라집니다.”
아래에는 두 개의 버튼이 있다.
[승인]
[계속 물어보기]
첫 번째 버튼을 누르면 사노는 나를 덜 깨울 것이다. 화면에는 그동안 내가 같은 답을 눌러온 기록이 가지런히 놓여 있다. 사노의 제안은 합리적이다.
커서가 [승인] 위에서 깜박인다.
잠시 뒤, 세 번째 선택지가 나타난다.
[어떤 질문은 계속 남겨둘까요?]
9
4August 15, 2026 2K 17
