AI에게 이미 존재하는 정보를 찾는 것이 아니라 아직 일어나지 않은 사건의 확률을 묻는다면 어떻게 될까.

금융 AI 투자 플랫폼 ‘Valley AI(밸리 AI)’를 운영하는 뉴로퓨전의 AI 연구팀이 글로벌 미래예측 벤치마크 ForecastBench 선행(Preliminary) 리더보드 데이터셋 부문에서 1위를 기록했다.

뉴로퓨전에 따르면 평가 당시 자사 모델은 Brier Index 67.5를 기록해 총 464개 모델 가운데 가장 높은 점수를 얻었다. 회사가 실험 목적으로 익명 제출한 모델까지 포함하면 상위 1~4위를 뉴로퓨전 모델이 차지했다고 설명했다.

이번 결과가 흥미로운 이유는 단순한 AI 지식시험이 아니기 때문이다. ForecastBench가 평가하는 것은 이미 정답이 존재하는 질문에 얼마나 잘 답하는가가 아니라 아직 결과가 나오지 않은 사건에 얼마나 적절한 확률을 부여하는가다.

정답을 외울 수 없는 벤치마크

일반적인 AI 벤치마크 가운데 상당수는 이미 정답이 존재하는 문제를 모델에 제시하고 정확도를 측정한다. 이 경우 모델이 학습과정에서 평가 데이터와 유사한 정보를 접했는지 여부가 성능 해석에 영향을 줄 수 있다.

ForecastBench는 이 문제를 다른 방식으로 접근한다. 제출 시점에 아직 결과가 결정되지 않은 경제·금융·기술·사회 등 실제 미래 사건을 질문으로 만들고, 모델이 각 사건의 발생 가능성을 확률로 제시하도록 한다.

시간이 지난 뒤 실제 결과가 확인되면 당시 제출한 확률이 얼마나 적절했는지를 평가한다.

즉 모델은 정답을 기억해낼 수 없다. 현재까지 존재하는 정보를 바탕으로 여러 변수를 연결하고 불확실성을 계산해야 한다.

67.5라는 숫자는 어디까지 의미할까

ForecastBench는 확률예측의 정확성을 평가하기 위해 Brier 계열 지표를 사용한다. 현재 리더보드에서는 이를 직관적으로 비교할 수 있도록 0~100 형태의 Brier Index로 변환하며 높은 값이 더 나은 예측성과를 의미한다.

뉴로퓨전은 선행 리더보드의 데이터셋 부문에서 67.5를 기록했다고 밝혔다. 회사 발표 기준으로 당시 5위 모델의 65.9, 구글 딥마인드 최상위 모델의 65.0보다 높은 점수다.

또한 같은 데이터셋 기준에서 인간 전문예측가 집단인 Superforecaster 기준점 63.6을 상회했다.

중요한 구분 : 이 성적은 ForecastBench의 Preliminary Leaderboard 데이터셋 부문 결과다. 선행 리더보드는 빠르게 확정되는 데이터셋 질문을 이용한 초기 비교이며, ForecastBench의 공식 종합 성적은 마켓 질문을 포함한 Tournament 결과에서 결정된다. 따라서 이번 결과를 ‘ForecastBench 종합 세계 1위’로 표현하는 것은 적절하지 않다.

이번 성과에서 봐야 할 것은 순위보다 ‘예측 방식’

뉴로퓨전은 왜 ‘미래예측’에 집중했나

뉴로퓨전은 이번 성과의 배경으로 자체 개발 중인 4단 동적 시계열 그래프 ‘Demian(데미안)’과 금융 데이터 인프라를 제시했다.

회사에 따르면 지난 4년 동안 530개 이상의 데이터 파이프라인과 167개의 금융 특화 MCP를 구축해 금융 데이터의 수집·정제·연결 구조를 만들어왔다.

금융시장은 하나의 변수만으로 움직이지 않는다. 금리, 기업실적, 거시경제, 가격, 정책, 투자자의 심리와 예상치 못한 사건이 동시에 영향을 미친다.

뉴로퓨전은 이러한 변수와 사건을 동적으로 연결하고 확률적으로 해석하는 금융 특화 추론 구조를 개발하는 과정에서 ForecastBench에 모델을 제출했다고 설명했다.

범용 LLM과 다른 금융 AI의 경쟁축

금융 AI에서 대형언어모델의 능력만으로 차별화하기는 점점 어려워지고 있다.

어떤 모델을 사용하는가와 함께 어떤 금융 데이터를 보유하고 있는지, 데이터를 얼마나 빠르게 갱신할 수 있는지, 서로 다른 시계열과 사건을 어떤 구조로 연결하는지가 경쟁력에 영향을 미친다.

뉴로퓨전이 강조하는 530개 이상의 데이터 파이프라인과 167개 금융 특화 MCP, 동적 시계열 그래프는 이 같은 금융 도메인 인프라를 구축하려는 전략으로 해석할 수 있다.

ForecastBench의 이번 결과는 이러한 접근이 적어도 하나의 외부 공개 평가환경에서 경쟁력을 보였다는 초기 신호다. 다만 마켓 부문을 포함한 종합성능과 향후 여러 라운드에서의 지속성을 확인해야 보다 강한 결론을 내릴 수 있다.