확인이 어려운 게 아니라, 탭을 여는 게 번거로운 겁니다
기사를 읽다가, 또는 인터뷰 영상을 보다가 한 문장에서 멈출 때가 있습니다. 지나치게 딱 떨어지는 숫자, 저 사람이 정말 저렇게 말했을까 싶은 인용문. 확인하는 방법을 몰라서 멈추는 건 아닙니다. 검색해서 출처 두어 개만 읽어보면 됩니다.
그런데 실제로 그렇게 하는 사람은 드뭅니다. 확인 자체가 어려워서가 아니라, 확인하려면 지금 보던 화면을 떠나야 하기 때문입니다. 돌아왔을 때는 읽던 문단을 놓친 뒤고, 처음에 들었던 의심은 어느새 그냥 넘어간 문장이 되어 있습니다.
DeepVerify는 그 왕복을 없앤 Chrome 확장 프로그램입니다. 보고 있던 페이지에서 그대로 실행되고, 주장이 있는 자리에서 확인하고, 결과를 의심이 들었던 문장 바로 옆에 보여줍니다.
참·거짓 한 글자로는 아무것도 해결되지 않습니다
자동 팩트체크는 대개 라벨 하나로 끝납니다. 참, 거짓, 오해의 소지 있음. 하지만 그 라벨은 결론이 아니라 새로 믿어야 할 대상입니다. 거짓이라고만 하고 아무 근거도 보여주지 않는다면, 의심이 사라진 게 아니라 기사에서 팩트체커로 옮겨간 것뿐입니다.
그래서 DeepVerify는 판정과 함께 그 판정이 나온 과정을 전부 보여줍니다.
- ●판정: 참, 거짓, 불확실
- ●신뢰도: 근거가 이 판정을 얼마나 강하게 받쳐주는지
- ●확인한 출처: 주제만 비슷한 목록이 아니라, 실제로 읽고 판단에 쓴 문서
- ●판단 근거: 그 출처들에서 왜 이런 결론이 나왔는지
- ●재검증: 근거가 달라졌을 만한 시점에 같은 주장을 다시 확인
- ●더 알아보기: 판정만으로 부족하면 factagora.ai에 올려 더 깊이 다루기
중요한 건 이 카드를 보고 사용자가 아닌 것 같다고 말할 수 있다는 점입니다. 출처를 직접 열어보고 잘못 읽었다고 판단할 수 있어야 합니다. 따져볼 수 없는 판정은 결국 믿고 받아들이는 수밖에 없고, 그건 처음에 없애려던 문제와 똑같습니다.
확인 방식이 세 가지인 이유
주장이 한 가지 모양으로만 오지 않으니, 확인하는 방법도 하나일 수 없습니다.
- ●문장을 드래그합니다. 어느 페이지에서든 문장을 선택하면 바로 판정이 나옵니다. 가장 단순하면서 가장 자주 쓰는 방식입니다. 걸리는 문장이 하나 있고, 읽던 자리를 잃지 않고 답을 얻고 싶을 때 씁니다.
- ●페이지를 통째로 훑습니다. 자동 탐지는 페이지에서 사실 주장을 뽑아내 눈여겨볼 만한 것들을 원래 위치에 표시합니다. 드래그와는 답하는 질문이 다릅니다. 이 문장이 맞나가 아니라, 이 글에서 뭘 의심하면서 읽어야 하나입니다.
- ●말하는 동안 듣습니다. 라이브 오디오는 마이크나 지금 탭에서 나오는 소리를 받아 실시간으로 받아쓰고, 주장이 나오는 즉시 확인합니다. 라이브 방송이나 웨비나, 통화에는 찾아볼 틈을 주는 일시정지가 없습니다. 대화가 이어지는 동안 결과가 나와야 쓸모가 있습니다.
유튜브에서는 이 셋이 한 화면으로 모입니다. 영상 옆 카드에 확인된 주장이 시간순으로 쌓이고, 주장을 누르면 그 말이 나온 지점으로 영상이 넘어가면서 아래에 판정과 출처가 펼쳐집니다. 자막 전체가 아니라 확인된 주장만 모아 만든 요약도 볼 수 있습니다.
문장 하나가 판정이 되기까지
페이지에 적힌 문장을 검색창에 그대로 넣는다고 확인이 되지는 않습니다. 먼저 따져볼 수 있는 형태로 바꿔야 합니다.
- ●주장 추출. 문장을 개별 사실 명제로 나눕니다. 이번 라운드는 100억 달러 규모였는데 그건 실수였다는 문장에는 확인할 수 있는 주장과 의견이 하나씩 섞여 있습니다. 다음 단계로 넘어가는 건 앞의 하나뿐입니다.
- ●근거 검색. 뽑아낸 주장을 Factagora의 Temporal Knowledge Graph와 맞춰봅니다. 여기서는 사실을 FactBlock 단위로 저장하고, 각각 출처와 신뢰도, 유효 기간을 함께 가집니다. 2023년에는 맞았지만 2026년에는 틀린 사실이라면 날짜를 붙여 양쪽 다 남겨둡니다.
- ●출처 가중. 근거를 따지기 전에 신뢰도 등급부터 매깁니다. 원문 공시와 그걸 받아쓴 기사를 같은 무게로 셀 수는 없습니다.
- ●판정. 판정과 신뢰도, 판단 근거, 실제로 쓴 출처를 한꺼번에 돌려줍니다. 이걸 따로 떼어놓는 순간 반박할 수 없는 라벨이 되어버리기 때문입니다.
같은 과정을 Factagora API로 직접 부를 수도 있습니다. DeepVerify는 그 API가 서버가 아니라 브라우저에서 돌아갈 때의 모습입니다.
불확실도 답입니다
모든 주장에 판정을 내주는 팩트체커는 그중 몇 개를 지어내고 있는 겁니다.
맞는 말인데 찾을 수 있는 근거가 없는 경우도 많고, 틀린 말인데 너무 최근이라 아직 아무도 반박하지 않은 경우도 많습니다. 근거가 판단을 못 가릴 때 DeepVerify는 불확실이라고 말하고 찾은 것까지만 보여줍니다. 근거가 없다는 이유로 어느 한쪽에 몰아주지 않습니다.
언어 모델이 있지도 않은 논문을 인용하는 것도 같은 이유입니다. 인용을 만들라고 하면 모델은 만들어냅니다. 텍스트를 생성하는 게 그 모델이 하는 일이고, 생성 과정에는 진짜 출처와 그럴듯한 출처를 가려낼 장치가 없습니다. 검색을 붙이면 간격은 줄지만 사라지지는 않습니다. RAG가 환각을 줄일 뿐 없애지 못하는 이유가 여기 있습니다. 답을 못 하는 건 기능이 빠진 게 아닙니다. 나머지 답을 믿을 만하게 만들어주는 부분입니다.
시작하기
Chrome 웹 스토어에서 설치하고 DeepVerify 계정으로 로그인하면 끝입니다. 따로 설정할 건 없습니다. 문장을 드래그하면 이 문단 읽는 시간이면 출처가 붙은 판정이 나옵니다.
무료 플랜으로 하루 몇 건까지 확인할 수 있고, 라이브 오디오와 기록 동기화는 Pro에 들어 있습니다. 자세한 건 DeepVerify 페이지에 정리해뒀습니다.