난제와 탐구 · 2026 · 외부검증 NO-GO · 임상 성능 주장 없음
NEAT/NEO-GUARD34는 모델 수치가 아니라 데이터 조건 때문에 멈췄다. 같은 endpoint를 가진 독립 환자수준 자료를 확보하지 못해, 개발 과정과 분리된 sealed external validation을 만들 수 없었다. 대표 성능 주장을 검증할 외부 결과는 0이다.
환자 정보, 내부 성능 수치, 치료 의미는 공개하지 않는다. 이 기록의 중심은 더 좋은 내부 결과를 만드는 대신 어떤 데이터가 없으면 중단할지를 먼저 정한 판단이다.
개발 자료
내부 작업
독립 환자수준 자료
적합한 자료 없음
Sealed validation
실행 불가
외부 성능 검증
0
입력 데이터가 공개돼 있다는 것만으로 외부 검증이 되지는 않는다
관련 저장소와 공개 데이터가 존재해도 개발에 쓰인 표본과 겹치거나 endpoint가 다르면 대표 주장을 독립적으로 시험할 수 없다. 같은 출처를 다시 나누는 방식은 개발 선택과 평가를 충분히 분리하지 못할 수 있다.
그래서 검증 자료에는 환자 단위의 독립성, 같은 결과 정의, 사전에 봉인된 분석 절차가 필요하다고 정했다. 이 조건을 만족하는 자료를 찾지 못했고, 내부 분할 수치만으로 그 빈자리를 채우지 않았다.
좋아 보이는 내부 수치는 중단 결정을 뒤집지 못했다
내부 결과를 반복해서 다듬을수록 개발 표본에 맞춘 선택이 늘어난다. 검증 자료가 없는 상태에서 이 과정을 계속하면 수치는 개선돼도 외부 환자에게 일반화되는지는 더 불분명해질 수 있다.
중단 자료에는 재현, 분할, overlap과 leakage 점검, stop rule을 정리한 기록이 남아 있다. 다만 정확한 source commit과 재현 수치, 누출 감사는 공개 전에 다시 고정해야 한다. 현재는 임상 성능이나 치료 효과를 말할 근거가 없다.
평가할 독립 환자군이 없다면, 더 높은 내부 점수는 외부검증의 대체재가 아니다.
재개 조건은 데이터셋 이름보다 엄격하다
다시 시작하려면 개발 계보와 겹치지 않는 환자 단위 자료, 동일한 endpoint, 사용 가능한 윤리·이용 조건이 먼저 확인돼야 한다. 그 다음 분석 계획과 지표를 잠그고 한 번의 외부 평가를 실행해야 한다.
그 결과가 나오기 전에는 모델이 임상적으로 유효하다거나 치료 선택에 도움이 된다는 표현을 쓸 수 없다. 현재 결과는 명확한 데이터 gate를 통과하지 못해 멈췄다는 것뿐이다.
프로젝트 기록
- 기간: 2026
- 활동: 재현 조건 검토, 환자 단위 분할과 overlap·leakage 점검 설계, 외부검증 stop rule 설정
- 내부 증거: 재현·분할·중단 판단 자료
- 외부 검증: 대표 주장에 대한 sealed patient-level validation 없음
- 최종 결과: 적합한 독립 자료 부재로 NO-GO
- 확인되지 않은 것: 외부 환자군 성능, 임상 일반화, 치료 유용성