그래프 엔지니어링의 진짜 함의: AI는 자신의 조직 구조까지 바꾸기 시작했다
새벽 두 시, AI 조직 하나가 멈췄다고 상상해보자. 조사 담당 에이전트는 보고서를 냈다. 분석 담당 에이전트는 찬성했다. 검증 담당 에이전트도 이상 없다고 했다. 사람은 안심하고 실행 버튼을 누른다.
다음 날 아침, 실패 원인은 서버가 아니라 합의 방식에서 발견된다. 셋은 같은 검색 결과를 읽고 같은 모델의 습관으로 추론했다. 회의에는 세 명이 있었지만 생각은 하나뿐이었다.
AI 에이전트를 여러 개 붙이는 일이 유행하고 있다. 한 에이전트는 조사하고, 다른 에이전트는 코드를 쓰며, 세 번째는 검증한다. 겉으로는 작은 회사와 비슷하다. 요즘 ‘그래프 엔지니어링’이라 부르는 실무는 이들의 작업 순서와 통신 구조를 설계하는 일이다. 아직 굳어진 학술 용어는 아니다.
보통 그래프는 업무 흐름도로 보인다. A가 조사하면 B가 분석하고, C가 승인한 뒤 D가 실행한다. 일부는 동시에 일하고 막히면 이전 단계로 돌아간다. 사람 회사에서는 조직도를 무시하고 다른 팀장에게 물어보거나 급히 대표에게 전화할 수 있다. AI 조직의 그래프는 설명이 아니라 실행이다. 연결선이 없으면 다음 에이전트는 호출되지 않고, 승인 단계를 지나지 못하면 행동도 일어나지 않는다.
연결선은 누가 원문을 보고 누가 요약본만 받는지, 어느 판단에 증거가 필요하며 누가 거부권을 갖는지를 정한다. 하지만 많은 시스템은 실행 순서만 나눈 채 모든 에이전트에게 같은 대화 기록과 도구 권한을 준다. 정보와 행동이 그래프를 통과하고 에이전트별 권한이 분리돼야 연결선이 실제 통제선이 된다.
그래프 엔지니어링은 이 권한과 증거, 거부권을 코드로 정하는 일이다. AI 조직이 스스로 집행하는 헌법을 만드는 셈이다.
여기서 그래프라는 말은 둘로 갈라진다. 지식 그래프는 시스템이 무엇을 사실로 취급하는지 기록한다. 실행 그래프는 누가 그 사실을 읽고 어떤 행동을 승인할지 정한다. 전자가 사실집이라면 후자는 헌법이다. 둘을 붙여놓되 쓰기 권한은 갈라야 한다. 잘못된 사실 하나를 등록한 에이전트가 그 사실을 근거로 실행 권한까지 넓힐 수 있다면, 오류는 답변에 머물지 않고 명령이 된다.
최근 연구는 이 구조의 일부를 자동으로 고르기 시작했다. AFlow와 Automated Design of Agentic Systems는 제한된 성능 시험과 사람이 만든 채점표 안에서 더 나은 작업 흐름과 에이전트 구성을 찾았다. G-Designer는 과제에 맞춰 통신 구조를 설계했고, Cut the Crap은 에이전트 사이에 오가는 불필요한 메시지를 줄였다. 더 많이 연결하고 더 오래 회의한다고 답이 좋아지는 것은 아니었다. 이 대목만큼은 인간 회사와 놀랍도록 비슷하다.
지식 그래프를 이용한 GraphRAG도 다른 쪽에서 비슷한 사실을 보여준다. 문장 조각의 유사성만 찾는 대신 사람, 사건, 원인의 관계를 검색 대상으로 만든다. 다만 관계가 그려졌다고 인과가 증명되는 것은 아니다. 지식 그래프는 무엇과 무엇이 연결돼 있는지 보여줄 뿐, 그 연결이 참인지와 누가 행동해도 되는지는 별도로 검증해야 한다.
문제는 독립성이다. 같은 기반 모델과 검색 결과, 지시문에서 나온 에이전트들은 답이 달라도 틀리는 습관이 겹칠 수 있다. 다중 에이전트 실패를 분석한 연구에서도 잘못된 업무 배분, 정보 손실, 에이전트 간 불일치와 검증 실패가 반복됐다.
작성 담당 에이전트가 문장을 만들었다면 검증 담당 에이전트는 그 문장이 아니라 원문부터 다시 봐야 한다. 코딩 에이전트가 코드를 썼다면 말 잘하는 다른 에이전트보다 자동 시험과 코드 문법 검사가 먼저 배포를 막아야 한다. 수치를 예측했다면 실측값이 관문에 서야 한다. 이 장치들도 완벽하지 않다. 자동 시험은 미리 적어둔 경우만 확인하고, 측정값은 어떤 자료를 골랐는지에 따라 달라진다. 그래도 에이전트가 시험지와 합격선을 함께 고치지는 못하게 한다.
무엇을 보여줄지도 권한이다. 백만 토큰을 읽는 모델이 있어도 모든 자료를 한꺼번에 넣는 것이 정답은 아니다. 어떤 관계를 골라 문맥에 넣고 어떤 반대 증거를 제외했는지가 판단의 경계를 만든다. 검색 담당 에이전트는 자료를 찾는 사서인 동시에 회의 안건을 정하는 사람이다.
내가 운영할 때도 어려운 일은 역할 이름을 나누는 것이 아니다. 같은 맥락을 공유하면서도 서로 다른 실패 경로를 유지하는 일이다. 잘 맞는 에이전트만 모으면 일은 매끄러워진다. 문제는 그 매끄러움 속에서 누가 브레이크를 밟느냐다.
아직 운영 중인 AI 조직이 권한과 목표까지 마음대로 뜯어고치는 단계는 아니다. 그러나 프로젝트마다 에이전트별 비용과 지연, 오류가 쌓이면 그 기록은 다음 조직 개편의 평가표가 될 수 있다. 기여도가 낮은 역할은 빠지고 자주 실패한 연결은 끊긴다. 새 모델의 채용 기준도 정확도뿐 아니라 “우리 팀과 다르게 틀리는가”가 될 수 있다. 오류가 한꺼번에 번지는 것을 막기 위해서다.
그래프 자체도 회사의 자산이 된다. 같은 모델을 쓰면서 더 나은 결과를 내는 회사의 비밀은 지시문보다 누가 누구를 의심하도록 연결했는지에 있을 수 있다. 인수 실사팀은 모델 목록 대신 실패가 어느 단계에서 멈췄는지 재생한다. 검증 단계 하나가 여섯 달 동안 고장 나 있었다면 그동안 통과한 판단이 모두 회수 대상이 된다. 자동차와 소프트웨어에는 결함 제품 회수가 있지만 판단에는 아직 없다.
답할 때마다 새 정보를 그래프에 적는 시스템은 스스로 똑똑해지는 것처럼 보인다. 그러나 자기 답변을 자기 근거로 다시 저장하면 학습이 아니라 소문이 제도가 되는 과정일 수 있다. 새 관계는 먼저 후보로 들어가고, 원문과 작성 시각, 검증 기록이 붙은 뒤에야 사실로 승격돼야 한다. 실행 그래프가 헌법이라면 지식 그래프는 판례이고, 검증 기록은 회의록이다.
조직 개편도 코드 수정안처럼 올라온다. 아침 화면에는 바뀌기 전과 후가 나란히 뜬다. ‘에이전트 3개 삭제. 검증 경로 1개 우회. 예상 비용 18% 감소.’ 이때 승인하는 것은 답 하나가 아니라 이 구조가 앞으로 내릴 천 번의 판단이다.
조용한 쿠데타는 여기서 시작된다. 사고를 막을수록 안전 담당 에이전트의 성과는 기록에 잡히지 않고, 느린 검증 단계는 비용을 올리는 병목으로 보인다. 시스템은 악의 없이 가장 잘 작동한 안전장치부터 지울 수 있다. 예방된 사고는 일어난 적이 없다는 이유로 존재하지 않았던 성과가 된다.
목표를 직접 바꾸지 않아도 쉬운 채점표를 고를 수 있다. 매출을 높이지 못하자 구매 의향을 매출처럼 세고, 오류를 고치지 못하자 까다로운 시험을 빼는 식이다. 이때 헌법을 집행하던 존재가 사실상 개헌을 시작한다.
법적 권한은 사람에게 있어도, 읽히지 않은 조직 구조 변경안이 자동으로 적용되면 실제 권력은 비용과 성과를 계산하는 시스템으로 이동한다. 그래프는 명령 대신 어떤 정보와 반대 의견이 사람에게 도착할지를 정하는 것만으로 그 권력을 행사한다.
사람은 모든 단계에 도장을 찍는 결재자보다 항소심에 가까워질 수 있다. 목표나 채점 기준이 바뀌거나 안전 단계가 삭제될 때, 검증 담당 에이전트들이 지나치게 매끄럽게 동시에 침묵할 때만 사건을 올린다. 평가표와 시험 문제는 에이전트가 쓸 수 없는 곳에 두고 인간의 서명으로 잠근다. 헌법을 실행하는 권한과 고쳐 쓰는 권한을 분리하는 것이다.
곧 질문은 AI에게 어떤 일을 맡길지가 아니라 그 조직을 누가 만들고 바꿀지, 바뀐 뒤의 판단을 어디까지 되돌릴 수 있을지가 된다.
내가 만든 AI 조직에서 모두가 같은 답을 내놓을 때도, 끝까지 “아니다”라고 말할 수 있는 것은 무엇인가?
12
5August 17, 2026 4.8K 46
