환자 자료로 만든 예측이 그 자료 밖의 사람에게도 통하는지 알아보려면, 개발에 쓰지 않은 환자군으로 시험해야 한다. NEAT를 검토하면서 구상한 NEO-GUARD34에서는 같은 결과를 측정한 독립 환자 단위 자료를 확보할 수 있는지를 먼저 진행 조건으로 두었다. 2026년 8월 21일, 검토한 공개자료 경로가 그 조건을 충족하지 못해 더 진행하지 않기로 했다.
공개자료와 일반적인 CPU 자원만 사용하고, 환자자료를 새로 신청하거나 실험을 수행하는 방향으로 넓히지 않겠다는 범위도 정했다. 나는 연구 질문과 중단 기준을 정하고 AI의 도움을 받아 검토를 진행했다. 이 단계에서 내린 것은 프로젝트를 이어 갈지에 대한 판단이며, 외부 환자군에서 성능을 확인한 결과는 아니다.
행을 나누는 것과 환자를 나누는 것
한 환자에게서 여러 후보나 관측값이 나온다면, 표의 행을 무작위로 나누는 것만으로는 개발 자료와 평가 자료가 독립적이지 않을 수 있다. 같은 환자의 정보가 양쪽에 들어가면 처음 보는 환자에게 적용하는 상황과 달라지기 때문이다. 그래서 검증의 단위를 행이 아니라 환자로 두고, 개발에 사용한 계보와도 겹치지 않는 자료를 요구했다.
자료가 따로 있다는 것만으로도 충분하지 않았다. 무엇을 맞히거나 판단하는지, 즉 결과의 정의인 엔드포인트가 같아야 했다. 서로 다른 결과를 측정한 자료를 가져와 같은 주장에 대한 외부 검증으로 붙이지 않으려 했다.
평가를 보기 전에 규칙을 고정해야 했다
평가 자료를 보면서 모델이나 판단 기준을 계속 바꾸면, 처음에는 따로 떼어 둔 자료도 개발에 영향을 주게 된다. 이를 피하려고 모델과 임계값을 정할 때까지 평가용 자료를 따로 보관하고, 분석 절차를 미리 고정하는 조건을 두었다. 여기서 봉인한다는 것은 결과를 보고 선택을 바꾸지 못하도록 평가의 순서를 제한한다는 뜻이다.
당시 검토한 NEAT 단일 자료의 사후 분석과 대안 경로에서는 필요한 독립 환자 단위 평가 자료를 확보하지 못했다. 같은 자료를 다시 나누거나 내부 분석을 더 다듬는 것으로 이 조건을 대신하지 않고, 진행하지 않는다는 의미의 NO-GO로 정리했다. 이것은 그때 검토한 경로에 대한 판단이지, 적합한 공개자료가 어디에도 없다는 결론은 아니다.
독립 자료를 확보하면 다시 확인할 것
재현 계산과 환자·후보의 중복, 개발 정보가 평가 쪽으로 넘어가는 누수 여부도 확인할 과제로 남아 있었다. 이 점검을 마치고 외부 성능을 검증하는 단계까지는 나아가지 못했다.
다시 검토할 계기는 새로운 데이터셋 이름 하나가 아니라, 같은 결과 정의를 가진 독립 환자 자료와 사용 조건이 실제로 확보되는 일이다. 그 자료를 모델 선택과 분리해 평가할 수 있을 때 다음 단계로 넘어갈 수 있다. 8월 21일에는 그 조건이 갖춰지지 않았고, 그 지점에서 작업을 멈췄다.