AI의 예측, 믿어도 될까: 결과로 확인하는 습관

AI에게 "내일 이 주식은 오를까?", "이 공사는 얼마에 넣어야 낙찰될까?"라고 물으면 대부분 그럴듯한 답이 돌아옵니다. 숫자와 퍼센트까지 붙어 있으면 더 믿음직해 보입니다. 하지만 그 답이 실제로 얼마나 맞았는지 확인해 본 적이 있나요? 루비온은 AI 시장 예측 실험실 FORESEE와 입찰 의사결정 도구 BIDON을 만들면서, 예측보다 검증이 훨씬 어렵고 중요하다는 것을 배웠습니다.

1. 결과가 나오기 전에 잠그기

틀린 전망은 조용히 사라지고, 맞은 전망만 다시 회자되기 쉽습니다. 이걸 막는 가장 단순한 방법은 예측을 결과가 나오기 전에 기록하고, 그 뒤로는 고칠 수 없게 잠가 두는 것입니다. FORESEE는 장이 열리기 전에 AI의 예측을 그 시점의 판단 그대로 봉인하고, 장이 끝나면 실제 종가와 대조해 공개합니다. BIDON도 마감 전에 저장한 판단만 나중에 개찰 결과와 비교합니다. 마감 뒤에 바꾼 기록은 검증 대상에 넣지 않습니다.

2. 그때 알 수 있었던 정보만 쓰기

과거 자료로 전략을 시험할 때 가장 흔한 실수는 미래의 정보가 몰래 섞이는 것입니다. 예를 들어 작년 공고를 시험하면서 올해까지의 낙찰 자료로 만든 기준을 쓰면, 실제로는 알 수 없었던 정보로 정답을 맞힌 셈이 됩니다. 점수는 좋아 보이지만 실전에서는 통하지 않습니다. 그래서 BIDON은 자료를 시간순으로 나눠, 앞선 기간으로 만든 전략을 그 뒤 기간에서만 시험합니다. 학습에 쓴 자료, 전략을 고르는 데 쓴 자료, 마지막으로 확인하는 자료를 서로 섞지 않습니다.

3. "근거 부족"이라고 말할 용기

이용자는 숫자를 원합니다. "낙찰 확률 73%" 같은 숫자는 보기에도 좋고 결정을 쉽게 만들어 줍니다. 하지만 그 숫자가 검증되지 않았다면, 오히려 잘못된 결정을 부추깁니다. BIDON은 과거 자료로 시간순 검증을 통과한 전략만 금액을 제시하고, 그렇지 않으면 금액 대신 "근거 부족"이라고 표시합니다. 처음에는 아쉬워하는 분도 있지만, 숫자가 나왔을 때 그 숫자를 믿을 수 있다는 것이 더 큰 가치라고 생각합니다.

4. 자신감도 함께 검증하기

좋은 예측은 맞히는 것뿐 아니라 "얼마나 확신하는지"도 정직해야 합니다. FORESEE는 예측마다 신뢰도를 함께 매기고, 신뢰도 구간별로 실제 정확도를 공개합니다. 신뢰도가 높다고 한 예측이 실제로 더 자주 맞았는지 보는 것입니다. AI가 늘 자신만만하다면, 그 자신감 자체가 쓸모없는 정보가 됩니다.

5. 틀린 기록을 지우지 않기

모델을 고치면 예전 성적을 지우고 새 성적만 보여 주고 싶어집니다. 하지만 그렇게 하면 "고친 것이 정말 나아졌는지"를 알 수 없습니다. FORESEE는 모델 버전이 바뀌어도 이전 버전의 성적을 함께 남기고, 실패한 실험과 버린 가설도 실험실 기록으로 공개합니다. 틀린 기록이야말로 다음 판단을 낫게 만드는 가장 좋은 재료입니다.

회사에서 AI의 숫자를 받을 때 물어볼 것

• 이 숫자는 언제 만든 것이고, 그 뒤에 바뀐 적이 있나요?
• 과거 자료로 시험했다면, 그때 알 수 없었던 정보가 섞이지 않았나요?
• 틀렸던 경우는 어디에 기록되어 있나요?
• "모르겠다"고 답하는 경우가 있나요? 없다면 오히려 의심해 보세요.

AI는 앞으로 더 많은 숫자를 우리 앞에 내놓을 것입니다. 그 숫자를 잘 쓰는 방법은 의외로 단순합니다. 미리 기록하고, 나중에 확인하고, 틀린 것도 남기는 것입니다.

FORESEE와 BIDON의 기록은 예측이 얼마나 맞는지 확인하기 위한 것이며 투자 권유나 낙찰 보장이 아닙니다. 투자와 입찰의 최종 판단과 책임은 이용자에게 있습니다.