SEC 공시자료와 재무제표를 활용한 Source-of-Truth 접근으로 보험 언더라이팅 성과에 대한 신뢰할 수 있는 인사이트를 제공합니다
개요
Factagora는 금융 전문가들이 복잡한 데이터를 다루는 방식을 혁신하고 있습니다.
FactBlock과 Source of Truth(SoT) 기술을 결합해, 생성형 AI를 더 빠르고 정확하며 완전히 검증 가능한 분석 도구로 바꾸었습니다.
미국 보험 업계를 대상으로 한 실제 사례 연구에서, 5년치 SEC 공시자료와 거시경제 지표를 FactBlock으로 구조화하고 NAIC의 핵심 언더라이팅 지표와 정렬해 도메인 특화 분석 프레임워크를 구축했습니다.
DeepVerify의 지원을 받아, 시스템은 출처에 근거하고 설명 가능하며 신뢰할 수 있는 결과물을 만들어냈습니다.
그 결과 정확성, 관련성, 효과성 전반에서 Z-score +1.31을 기록하며, GPT-4o 기반 Naive RAG를 크게 앞질렀습니다.
Factagora는 높은 신뢰가 요구되는 산업이 더 빠르고 확신 있게 나아갈 수 있도록 돕습니다.
문제
SEC 공시자료 같은 공개 금융 문서는 투자자가 다루기 어렵습니다. 10-K 보고서 한 건이 200페이지를 넘기도 해서 핵심 정보를 찾고 해석하기가 쉽지 않습니다. 이런 문서들은 전문 용어로 가득하고 핵심 지표가 여러 섹션에 흩어져 있어 매우 복잡하기도 합니다.
GPT-4o 같은 최신 범용 대규모 언어 모델(LLM)조차 이런 문서를 정확히 해석하는 데 어려움을 겪는 경우가 많습니다. 그럴듯하지만 틀리거나 지어낸 답변, 이른바 '환각(hallucination)'을 자주 만들어내는데, 이는 신뢰를 떨어뜨리고 금융 의사결정의 품질을 해칩니다.
해결책
Factagora는 FactBlock, Source of Truth(SoT), DeepVerify 세 가지 구성 요소로 이뤄진 전용 팩트체크 계층으로 이런 문제를 해결합니다. 이 계층을 어떤 LLM 기반 AI 시스템에든 통합하면, 조직은 정확할 뿐 아니라 추적 가능하고 설명 가능하며 검증된 데이터에 근거한 결과물을 만들어낼 수 있습니다.
가장 기초 단계에서 FactBlock은 10-K, 10-Q, 8-K, FRED 같은 SEC 공시자료와 거시경제 출처에서 핵심 데이터 포인트를 추출하고 구조화해, 비정형 텍스트를 기계가 검증할 수 있는 모듈형 지식 단위로 바꿉니다. 이렇게 만들어진 FactBlock들은 모여 Source of Truth(SoT)를 이룹니다. 이는 재사용 가능하고 설명 가능한 지식 기반으로, 이후의 질의와 분석에 일관된 근거를 제공합니다.
이 SoT를 기반으로 DeepVerify는 사실 검증 가드레일 역할을 합니다. AI가 생성한 답변을 SoT와 대조해 각 결과물이 추측이 아니라 실제 데이터에 근거하도록 검증합니다. DeepVerify는 추적 가능한 인용, 명확한 추론 경로, 신뢰도 점수를 갖춘 투명하고 설명 가능한 답변을 지원하며, 팀이 도메인에 특화된 커스텀 검증 로직을 정의할 수 있게 합니다. 이를 통해 금융 분석가, 신용평가 담당자, 기관 의사결정권자는 자동화된 워크플로 안에서도 엄밀함과 신뢰, 통제력을 유지할 수 있습니다.
사례 연구
Factagora는 이 접근 방식을 미국 보험 업계의 실제 사례 연구에 적용해, 주요 보험사들의 언더라이팅 성과를 분석했습니다.
Allstate, MetLife, Progressive를 포함한 8개 보험사가 선정됐습니다. SEC 공시자료(10-K, 10-Q, 8-K)에서 5년치 데이터를 추출해 FactBlock으로 구조화했습니다. 실업률, 실질 GDP, CPI, 10년물 국채 금리 등 FRED의 거시경제 지표도 함께 반영해 기업 성과와 전반적인 경제 상황을 정량적으로 연결했습니다. 이 요소들이 합쳐져 도메인 특화 Source of Truth(SoT)를 이뤘습니다.
언더라이팅 성과는 전미보험감독관협회(NAIC)가 정의한 5가지 핵심 지표로 평가됐습니다:
- ●합산비율(Combined Ratio)
- ●손해율(Loss Ratio)
- ●손해준비금(Loss Reserves)
- ●사업비율(Expense Ratio)
- ●언더라이팅 기준(Underwriting Standards)
Factagora는 FactBlock 스키마와 분석 프레임워크를 이 지표들에 맞춰 정렬해, 일관되고 기준에 부합하는 평가가 이뤄지도록 했습니다.
대규모 언어 모델(LLM)을 사용해 SoT를 기반으로 분석 질문을 자동으로 생성했습니다. 각 지표에 대해 일반적인 질문과 구체적인 질문을 모두 만들었습니다. 예를 들어 합산비율(Combined Ratio)에 대해서는 다음과 같습니다:
- ●"이 비율은 지난 1년간 어떻게 변화했으며, 언더라이팅 수익성에 대해 무엇을 시사하는가?"
- ●"재보험 회계처리가 손해율과 합산비율에 어떤 영향을 미쳤는가?"
이 질문들을 통해 SoT에 근거한 정성적·정량적 AI 분석이 모두 가능해졌습니다.
마지막으로 Factagora는 DeepVerify를 적용해, 생성된 답변이 실제로 원본 데이터에 근거하는지, 그리고 설명 가능성과 도메인 특화 신뢰성 요건을 충족하는지를 평가했습니다.
결과
답변 품질을 평가하기 위해, Factagora의 DeepVerify를 동일한 질문에 대해 (GPT-4o를 사용하는) Naive RAG 파이프라인과 비교했습니다:
"합산비율은 지난 1년간 어떻게 변화했으며, 이는 해당 기업의 언더라이팅 수익성에 대해 무엇을 나타내는가?"
DeepVerify는 두 차례 반복(ver1, ver2)에 걸쳐 평가됐으며, ver2는 정확성과 전반적인 성능을 한층 더 높이도록 설계됐습니다.
비교 평가용 LLM-Judge 모델이 각 답변을 사실 정확성, 설명 가능성, 관련성 기준으로 평가했습니다:
- ●Naive RAG: Z-score –1.3 (평균 이하)
- ●DeepVerify(ver2): Z-score +0.7 (평균을 크게 상회)
더 폭넓은 평가에서는 DeepVerify(ver1, ver2)와 GPT-4o 기반 Naive RAG를 동일한 3가지 핵심 지표로 평가했습니다. 그 결과 다음과 같은 Z-score가 나왔습니다:
표1. 정확성, 효과성, 관련성 기준 Z-score 비교
- ●정확성 — DeepVerify(ver2): 0.57 | DeepVerify(ver1): 0.72 | Naive RAG(GPT-4o): -1.29
- ●효과성 — DeepVerify(ver2): 0.79 | DeepVerify(ver1): 0.59 | Naive RAG(GPT-4o): -1.37
- ●관련성 — DeepVerify(ver2): 0.78 | DeepVerify(ver1): 0.59 | Naive RAG(GPT-4o): -1.37
- ●종합 — DeepVerify(ver2): 0.74 | DeepVerify(ver1): 0.63 | Naive RAG(GPT-4o): -1.37
DeepVerify는 모든 지표에서 기준 LLM을 일관되게 앞질렀으며, 모든 항목에서 양(+)의 Z-score를 기록한 반면 기준 모델들은 0을 크게 밑돌았습니다. 이는 Factagora의 팩트체크 계층이 범용 모델 단독보다 더 정확하고 설명 가능하며 도메인에 부합하는 분석을 가능하게 한다는 것을 보여줍니다.
이 사례 연구는 Factagora가 신뢰할 수 있고 확장 가능하며 고정밀한 AI 분석 프레임워크를 제공한다는 강력한 실증적 근거입니다. 금융 보고와 리스크 평가처럼 복잡하고 중요도가 높은 영역을 위해 설계된 프레임워크입니다.