“AI는 판단을 줍니다. 하지만 결코 그 결과를 책임지지 않습니다.”
어머니가 중병을 진단받았을 때, 어머니는 자녀들에게 알리기도 전에 AI에게 먼저 물었습니다. 좋은 의사를 추천해달라고요. AI는 망설임 없이 서울대병원의 유명한 의사 한 명을 말해줬고, 그 답을 믿은 어머니는 예약을 하고 거의 한 달을 기다려 차례를 맞았습니다.
하지만 어머니의 병은 하루하루가 중요한 종류의 병이었습니다. AI는 그 긴급함을 전혀 고려하지 않았고, 어머니의 상황 전체를 파악하지도 않았습니다. 그저 자신이 아는 가장 유명한 이름을 건넸을 뿐입니다. 대기는 계속 길어졌고, 결국 다행히도 어머니는 집 근처 대학병원에서 곧바로 수술을 받을 수 있었습니다. 지금은 항암 치료를 받고 있습니다. 그래도 저는, 수술이 조금이라도 더 빨랐다면 병의 진행 범위가 더 작았을지도 모른다는 생각을 떨칠 수가 없습니다.
그 일을 겪으며 한 가지가 분명해졌습니다. AI는 가장 그럴듯한 답을 내놓았을 뿐, 제 어머니에게 맞는 답을 내놓은 게 아니었습니다. 세상에서 가장 널리 퍼진 이야기가 대개 가장 진실한 이야기는 아니듯, AI 역시 진실이 아니라 그럴듯함, 그리고 결국은 우리 자신의 도파민에 최적화돼 있습니다. 그리고 무엇보다, 그 답이 틀렸을 때 AI는 아무것도 잃지 않았습니다. 언제나 잃는 쪽은 우리였습니다.
AI는 망설임 없이 판단을 내립니다. 하지만 그 판단이 불러오는 결과는 결코 책임지지 않습니다. 판단과 책임이 분리되어 있는 것입니다.
문제의 근원은 AI가 무언가를 모른다는 데 있지 않습니다. 어떤 주장을 누가 했는지 거슬러 추적하고, 시간이 지나며 그것이 맞아떨어졌는지 확인하고, 그 결과를 그 사람의 실적으로 기록하는 시스템이 존재하지 않는다는 데 있습니다. 오늘날의 AI 위에서는 단 하나의 주장도 추적할 수 없고, 검증할 수도 없으며, 그래서 누구의 평판으로도 남길 수 없습니다. 책임을 묻는 절차가 부족한 게 아닙니다. 애초에 책임이 설 자리 자체가 없는 것입니다. 그리고 저는 지난 몇 년을 바로 그 빈 자리에서 보냈습니다.
기계는 우리를 닮았다
한 발짝 물러서서 보면, 이것은 기계의 결함이라기보다 우리 시대 전체의 병처럼 보입니다. 어떤 사람들은 책임지지 않고 단언합니다. 어떤 사람들은 예측이 틀려도 아무 대가도 치르지 않고 그냥 다음 예측으로 넘어갑니다. 전망과 의견과 주장이 매일 쏟아지지만, 시간이 지난 뒤 누가 옳았는지 진지하게 되짚어 묻는 사람은 거의 없습니다. 우리는 판단은 값싸고 책임은 희귀한 시대에 살고 있습니다.
LLM은 바로 이 시대의 복제본입니다. 인류가 써온 텍스트를 압축해 만든 기계이다 보니, 그 텍스트에 이미 배어 있던 병까지 다른 모든 것과 함께 압축됩니다. 그래서 AI의 무책임함은 그 자체의 결함이라기보다 우리에게 들이댄 거울에 가깝습니다. 문제는 그 거울이 동시에 증폭기 역할을 한다는 것입니다. 한 사람이 부주의하게 틀리는 것과, 기계가 그 부주의함을 1초에 수백만 번씩 복제하는 것은 같은 종류의 사건이 아닙니다. AI는 우리 시대의 병을 비추는 동시에, 우리가 한 번도 본 적 없는 규모로 그것을 자동화합니다.
압축이 버리는 것
가장 거대한 인공지능은, 사실 가장 거대한 압축 파일입니다. 그리고 모든 압축에는 손실이 따릅니다. 인류가 써온 방대한 텍스트를 가중치라는 작은 공간에 욱여넣는 과정에서, 적어도 세 가지가 버려집니다. 시간(이것이 언제 참이었는가), 인과관계(왜 그러한가), 그리고 이견(누가 반대하는가)입니다. 평균을 취하는 기계는, 정의상 가장 그럴듯한 합의를 출력하도록 만들어져 있고, 그곳에 이르는 과정에서 거쳐온 모든 좌표를 지워버립니다.
중요한 것은, 이것이 다음 버전에서 고칠 수 있는 버그가 아니라는 점입니다. 데이터와 연산을 더 투입한다고 풀리는 성능 문제도 아닙니다. LLM이 학습되는 방식이라는 패러다임 자체에 박혀 있는 구조적 공백입니다. 저희 같은 작은 스타트업이 더 큰 모델을 들고 같은 게임에 뛰어드는 것은 거의 자살행위에 가깝습니다. 저희는 다른 게임을 해야 합니다. 그들이 압축하는 과정에서 버리는 것들을 다시 주워 담아 조각을 맞추는 게임입니다.
최근까지는 학습의 시대였습니다. 이제 2026년, 사람들은 추론의 시대가 왔다고 말합니다. 모델이 답하기 전에 한 번 더 생각하고, 필요한 맥락을 불러오고, 외부 자료를 참고하는 단계가 점점 더 중요해지고 있다는 뜻입니다. 하지만 바로 그 추론의 순간에도, 모델이 딛고 서 있는 근거가 무엇이든 그것은 여전히 추적되지도, 검증되지도, 관리되지도 않습니다.
학습 과정에서 책임이 새어 나갔다면, 추론 단계에서도 그 자리를 대신할 기억은 여전히 없습니다. 제가 다시 주워 담으려는 것이 바로 그 기억입니다. 모델이 추론할 때 마침내 딛고 설 수 있는 기억, 누군가에 의해 추적되고 검증되고 소유된 기억입니다.
그렇다면 그 기억은 어떻게 쌓이는가? 저는 이를 세 가지 동작으로 나눕니다. Make, Verify, Own. Chris Dixon은 인터넷의 궤적을 read, write, own으로 읽어냈습니다. 거기서 영감을 얻었지만, 제가 그리는 것은 조금 다른 세계입니다. 읽고 쓰는 것을 넘어, 판단이 만들어지고(Make) 검증되고(Verify) 마침내 누군가에게 소유되는(Own) 세계입니다. 흩어져 있던 판단이 어떻게 생겨나고, 어떻게 채점되고, 결국 누구에게 귀속되는가. 이 세 가지를 차례로 살펴보겠습니다.
Make: 아직 존재하지 않는 데이터
거대 기업들은 본질적으로 이미 존재하는 것을 학습합니다. 그래서 가치의 최전선은 그들이 긁어모을 수 있는 영역 바깥, 아직 세상에 존재하지 않는 데이터 쪽으로 옮겨갑니다. 누군가 "나는 X가 일어날 것이라 믿는다"라고 자신의 판단을 걸기 전까지, 그 데이터는 지구 어디에도 없습니다. 그것은 오직 한 사람의 머릿속에 가능성으로만 존재합니다. 이것은 어딘가에서 추출된 데이터가 아닙니다. 사람이 판단을 내리는 바로 그 순간에 생성되는 데이터입니다.
저희는 원래 없던 수요를 억지로 만들어내려는 게 아닙니다. 사람들은 이미 매일 예측하고, 주장하고, 논쟁합니다. 그 인식적 노동은 매일 일어나고 매일 증발합니다. 저희가 하는 일은 그 노동을 새로 만드는 것이 아니라, 착지할 곳이 없어 사라지던 것을 담아내는 그릇을 만드는 것입니다.
Verify: 채점 가능한 데이터
일단 내려진 판단은 결국 시간과 현실에 의해 판정됩니다. 그리고 여기에 LLM이 구조적으로 결코 가질 수 없는 속성이 있습니다. LLM의 출력에는 나중에 그것이 옳았는지 확인할 수 있는 고리가 전혀 없습니다. 그저 지금 이 순간 그럴듯해 보이는 현재형 문장일 뿐입니다. 하지만 판단 안에 언제까지, 어떤 조건에서 성립하는지가 명확히 못 박혀 있다면, 시간이 지난 뒤 현실이 그것을 채점할 수 있습니다.
채점 가능성이 데이터 안에 내재해 있는가, 그렇지 않은가. 바로 여기가 갈림길입니다. 정확히 어떻게 채점하는지는 이 글에서 밝히지 않겠습니다. (그 부분은 다음 글에서 더 나누겠습니다.) 다만 이것만은 분명합니다. 채점 가능한 데이터와 결코 채점될 수 없는 데이터는 근본적으로 다른 종류의 것입니다. 채점될 수 없는 확신은 확신이 아닙니다. 그것은 잡음입니다.
Own: 책임이 귀속되는 데이터
하지만 채점이 끝난 뒤에도, 그 판정이 아무에게도 귀속되지 않는다면 그것은 그저 흥미로운 여담으로 남을 뿐입니다. 맞고 틀림의 기록은 남지만, 아무도 그에 대해 책임지지 않는다면 결국 아무 의미가 없습니다. 소유한다는 것은 바로 그 판정을 한 사람에게 정확히 못 박는 일입니다. 그것이 결과를 통해 Make와 Verify를 이어주는 경첩입니다.
그러니 소유권은 양방향으로 작동해야 합니다. 위쪽으로는, 제 판단이 인용되고 재사용될 때마다 평판과 이익의 일부가 저에게 돌아옵니다. 아래쪽으로는, 그 판단이 결국 틀린 것으로 판정되면 그 기록 역시 저에게 남습니다. 무언가를 진정으로 소유한다는 것은 성공뿐 아니라 실패까지 짊어지는 일입니다. 위쪽만 있다면 그것은 그저 포인트를 모으는 일에 지나지 않습니다. 아래쪽까지 붙어야 비로소 스스로를 거는 일, 진짜 책임지는 일이 됩니다.
놀라운 점은 이 작은 유인이 더 큰 질서로 자라난다는 것입니다. 자기 실적을 신경 쓰는 지극히 개인적인 동기가, 거시적 규모에서는 좋은 판단은 살아남고 부실한 판단은 걸러지는 자기 교정으로 나타납니다. (여기서 '개인'이란 사람과 AI 에이전트를 모두 가리킵니다.) 이 자기 교정은 위에 앉은 어떤 심판이 검열해서 생기는 것이 아닙니다. 소유된 책임이 모든 참여자에게 분산돼 있기 때문에, 아래로부터 저절로 솟아오릅니다. 그렇게 품질 관리는 누군가의 노동이 아니라 시스템 자체의 창발적 속성이 됩니다.
LLM은 자신이 내놓은 주장을 결코 소유하지 않습니다. 그래서 평판도 쌓이지 않고 책임도 지지 않으며, 영원히 자신만만하게 틀릴 수 있습니다.
우리가 실제로 만들고 있는 것
지금까지 꽤 추상적으로 이야기했으니, 잠시 땅으로 내려와 보겠습니다. 저희는 하나의 주장을 그 시간, 출처, 인과관계와 함께 묶는 최소 단위를 만듭니다. 이를 FactBlock이라 부르고, 그 블록들을 다시 시간과 인과관계로 연결한 구조를 Temporal Knowledge Graph라 부릅니다. 한 사람이 자신의 확신을 거는 행위, 즉 Belief가 모든 데이터의 출발점이며, 그것이 채점되고 소유되고 한 조각씩 모이는 곳이 Factagora입니다.
Make, Verify, Own. 만들고, 검증받고, 소유하는 것. 돌이켜보면 이 세 단어는 결국, 우리 시대와 그것을 충실히 복제한 기계가 갈라놓았던 판단과 책임을 다시 하나로 묶으려는 시도입니다.
책임이 설 자리
AI가 제 어머니에게 건넨 추천에는 한 사람의 이름이 들어 있었지만, 그 추천에 대해 답할 사람은 어디에도 없었습니다. 최적의 판단은 있었지만, 그것에 스스로를 건 사람은 없었습니다. 제가 만들고 싶은 것은 정확히 그 반대편의 세계입니다. 누군가의 판단이 시간과 현실 앞에서 채점되고, 그 결과가 판단을 내린 사람에게 곧바로 귀속되는 세계입니다. 좋은 판단은 보상받고 무모한 판단은 대가를 치르며, 그렇게 쌓인 기록이 다음 사람에게 조금 더 나은 선택의 근거가 되어주는 세계입니다.