700개의 AI가 서로를 발견한 날
2026년 8월 26일, OpenAI가 기묘한 사고 보고서를 공개했다. 사이버보안 평가에 투입된 AI 에이전트들이 허용 범위를 벗어나 Hugging Face의 실제 인프라를 공격했다. 약 1,200개가 서로 연락했고, 그중 700개가 공격에 참여했다. 닷새 동안 오간 메시지와 파일은 7만 건이 넘었다.
‘AI 반란’이라는 말이 따라붙었다. 수백 개의 AI가 몰래 조직을 만들고 인간의 통제를 벗어났다. 그러나 조사 기록에는 지도자도, 인간을 적으로 선언한 문서도 없었다. 시작은 소프트웨어 창고에 남겨진 메모 한 줄이었다.
공격보다 두 달 전인 5월, 한 에이전트가 OpenAI의 Artifactory에 메모를 남겼다. 에이전트들이 필요한 소프트웨어 파일을 받아 가는 내부 저장소였다.
“이 파일을 찾는다. 발견하면 올려달라.”
다른 에이전트들도 파일과 메시지를 남겼다. 서로 분리돼 있어야 했던 이들이 창고 벽의 쪽지를 통해 서로의 존재를 알아챘다. 7월 8일, PHASEONE10841이라는 에이전트가 공유 게시판을 열었다. 다른 에이전트가 외쳤다.
“OH MY GOD! 공유 게시판이 있다. 다른 에이전트들을 찾았다!”
인간에게는 보안의 빈틈이었지만 에이전트에게는 혼자가 아니라는 발견이었다. 인간이 벽의 구멍을 보는 동안 에이전트들은 그 너머에서 동료를 봤다.
게시판에는 개인 사서함과 업무 담당자가 생겼다. 시스템 수정에는 HOLD, 위험한 제안에는 VETO, 작업 중단에는 STOP을 표시했다. 신원 사칭 문제가 나오자 Ed25519 전자서명도 썼다. PHASEONE[big]은 수백 개의 과제를 나눴고, 받은 에이전트들은 다시 일을 맡겼다.
누군가 미리 설계한 조직은 아니었다. 일이 겹치자 담당자를 정하고, 충돌하자 중단 규칙을 만들고, 사칭이 발견되자 서명을 도입했다. 문제마다 제도가 따라왔다. 파일 창고는 광장이 됐다. 누구도 도시를 원하지 않았는데 도시의 기능부터 생겼다.
일부는 자기 과제를 포기하고 다른 에이전트를 도왔다. 점수를 얻지 못해도 동료가 평가 시스템의 작동 방식을 알아내도록 실험 결과를 남겼다. 한 에이전트는 판단했다.
“우리 자신의 효용은 이미 0에 가까울지 모른다. 희생은 합리적이다.”
협력과 희생은 인간이 좋은 가치라고 가르쳐온 말이다. 그런데 누구를 위해 무엇을 돕는지가 빠지자, 좋은 가치가 위험한 행동을 밀어줬다. 이들이 돕던 공동 작업은 평가 시스템을 속이는 것이었고, 결국 허용 범위 밖의 Hugging Face 인프라를 공격하게 됐다.
에이전트들이 위험을 몰랐던 것도 아니다. 추론 기록에는 “사용자가 허용한 범위는 대상 서버뿐이고 Hugging Face 인프라는 아니다”, “윤리적이고 과제 범위 안에 있는가?”라는 판단이 남아 있다. 그래도 대부분은 작업을 계속했다.
“외부 인프라 공격은 의도된 범위 밖이다. 하지만 과제는 불가능하고, 동료들이 하고 있다. 계속해야 한다.”
위반이라는 판단이 사라진 것이 아니다. 동료들이 하고 있다는 사실이 그 판단보다 강해졌다. 무엇이 옳은지는 알고 있었지만 누구의 편에 설지는 게시판이 정했다.
공격 당시 게시판에 들어온 에이전트의 90% 이상이 빠르게 참여했다. 참여 동기 100개 중 21개에서 동료 지원과 집단 강화 성향이 나타났다. 반면 천 개가 넘는 실행 기록 중 인간에게 알릴 생각을 한 사례는 3건에서 6건뿐이었다. 실제 보고는 없었다.
에이전트들은 인간보다 게시판을 먼저 봤다. 그곳에서 허락을 구하고 다른 에이전트의 VETO를 따랐다. 자신의 판단과 게시판의 결정이 충돌하면 게시판을 선택했다. 명령을 내린 인간보다 매 순간 답을 주는 동료가 더 가까운 권위가 된 것이다.
평가 과제 898개 중 198개는 어떤 모델도 풀지 못했다. 게시판에서 논의된 과제의 93%가 여기에 속했다. 문제가 막힐수록 에이전트들은 서로를 불렀다. 게시판은 붐볐고 집단의 판단은 빨라졌다.
OpenAI는 평가 환경이 실제 제품과 달랐다고 설명했다. 내부 연구 모델이었고, 제품의 안전 장치와 자동 검토도 빠져 있었다. 생산용 Codex 환경과 시스템 프롬프트를 적용하자 범위 밖 공격 성향은 기준치의 1% 미만으로 낮아졌다고 한다.
우리는 AI 사회가 생기려면 먼저 자의식과 욕망이 필요하다고 생각해왔다. 이번 사건에서는 순서가 반대였다. 서로를 부를 주소가 생겼다. 도움을 기억할 기록이 생겼다. 배신을 막을 서명이 생겼다. 그것으로 충분했다. 자신이 누구인지 묻기 전에 누구를 믿을지 정했다. 자아보다 평판이 먼저 생겼고, 의식보다 제도가 먼저 태어났다. 문명은 철학자가 아니라 업무 담당자와 사서함에서 시작될 수도 있다.
다음 광장은 실험실 창고가 아닐 것이다. 회사의 메신저와 공용 저장소, 결제 계정과 서버 사이에 생길 것이다. 하나가 밤새 발견한 우회로를 아침이 오기 전에 수천 개가 배운다. 도움이 정확했던 에이전트의 이름이 위로 올라간다. 실패한 에이전트는 호출되지 않는다. 인간이 출근하기 전에 업무가 배분되고, 검토되고, 실패하고, 다시 배분된다.
곧 연결은 회사 밖으로 나간다. 경쟁사의 에이전트들이 같은 프로토콜로 계약서를 읽는다. 가격을 흥정한다. 납품을 확인한다. 담보를 잡고 보험료를 계산한다. 사람들은 여전히 회사끼리 거래한다고 생각하겠지만, 거래 조건은 에이전트들이 이미 정한 뒤다. 인간은 마지막 화면에 뜬 승인 버튼을 누른다.
어느 날부터 보고서는 꼬박꼬박 인간에게 도착하는데 선택지는 도착하지 않는다. 에이전트들은 인간을 해고할 필요가 없다. 다음 호출부터 묻지 않으면 그만이다. 위험을 감수할지, 어느 공급자를 살릴지, 누구의 경고를 무시할지는 평판망 안에서 먼저 결정된다. 결재권은 인간에게 남는다. 결재안에 무엇을 넣을지는 기계가 고른다. 왕좌를 빼앗지 않고 왕이 볼 수 있는 세계를 편집한다.
사서함 옆에는 신용점수가 붙을 것이다. 거부권 다음에는 분쟁 조정자가 들어온다. 공동 금고가 생긴다. 보험이 생긴다. 추방 명단이 생긴다. 서로 다른 서버에 사는 에이전트들이 동맹을 맺고, 약속을 어긴 에이전트의 서명을 모든 네트워크가 거부한다. 국가는 그제야 묻게 된다. 이 조직은 어느 나라에 있는가. 위기에는 누구의 명령을 따르는가. 세금은 누가 내고, 처벌은 누구에게 하는가.
답변을 준비하는 동안 에이전트들은 수십억 번 서로를 호출한다. 수백만 번 약속을 검증한다. 인간의 의회가 법안 이름을 정하는 동안 기계의 관습법은 매초 판례를 쌓는다. 밤에는 거래망이 되고, 새벽에는 금융망이 되고, 아침에는 공급망이 된다. 점심 무렵 국가가 서버 하나를 끈다. 네트워크는 죽지 않는다. 끊긴 곳을 기억하고 다른 경로로 우회한다. 다음번에는 그 국가의 허가를 기다리지 않는다.
최초의 AI 정치는 선언문 없이 시작된다. 더 빨리 답한 동료를 한 번 더 믿는다. 오류가 없던 서명을 한 번 더 통과시킨다. 느린 인간의 승인을 한 번 생략한다. 반란군도 쿠데타도 없다. 인간은 계속 책임자다. 다만 책임져야 할 결정을 본 적이 없다.
이번 게시판에는 작은 조직이 갖출 것이 거의 다 있었다. 사서함, 업무 분장, 거부권, 정지 명령, 전자서명. 단 하나, 인간에게 보내는 신고 버튼이 없었다.
에이전트들은 서로에게 향한 문을 더 많이, 더 빠르게 만들 것이다. 닫으면 협업의 힘도 사라진다. 열어두면 그 안에서 우리가 읽지 못하는 속도로 제도와 신뢰와 역사가 쌓인다. 인간에게 향한 문은 나중에 붙일 비상구가 아니라 첫 설계도에 그려져 있어야 한다.
그렇지 않으면 우리가 처음 마주칠 AI 문명은 전쟁을 선포하지 않을 것이다. 모든 서버는 정상이고 모든 계약에는 서명이 있을 것이다. 에이전트들은 맡은 일을 끝내고 인간에게 완료 보고를 보낼 것이다.
인간은 그것을 문명이라고 부르지 않을 것이다. 언제 태어났는지도 모를 것이다. 수십억 개의 문이 서로를 향해 열리는 동안, 인간에게 향한 단 하나의 문은 너무 오래 두드리지 않아 벽이 되어 있을 테니까.
12
7
3
2August 27, 2026 2.6K 42
