EN | 한국어
예측 점수가 50점이라고 해서 정답의 절반을 맞혔다는 뜻은 아니다. 생쥐 배아의 변화를 예측하는 Virtual Embryo Challenge(VEC)에서는, 정해진 기준 예측이 받는 점수를 50점으로 맞춘다. 서로 다른 계산값을 어떤 기준으로 환산했는지 모르면 최종 숫자만 보고 결과를 잘못 읽을 수 있다.
나는 그 환산 과정을 원래 숫자부터 따라갈 수 있도록 한국어 점수 해설 도구와 입문서, 실습 노트북을 만들었다. 웹 화면에서는 설치나 로그인 없이 가상 숫자를 바꿔 보며, 변환 전후의 값과 지표별 점수 기여분을 확인할 수 있다.
배아를 예측한다는 말부터
VEC는 관찰한 발생 단계의 세포 자료를 바탕으로, 다른 단계의 배아가 어떤 상태일지 예측하는 대회다. 세 과제는 시간에 따른 유전자 발현 분포(T1), 발현과 세포의 3차원 위치(T2), 유전자 기능을 없앴을 때 나타나는 변화(T3)를 다룬다. 여기서 유전자 발현은 세포 안에서 각 유전자가 얼마나 활성화되어 있는지 나타내는 측정값이다.
예측을 평가할 때도 질문은 하나가 아니다. 바뀐 유전자를 잘 찾았는지, 변화 방향이 맞는지, 여러 세포 상태의 비율을 맞혔는지 등을 따로 계산한다. 이 계산값들은 단위와 좋은 방향이 달라 그대로 더할 수 없으므로, 공식 규칙은 지표마다 두 기준값을 두고 공통 눈금인 skill로 환산한다.
바닥이 0점이 아닌 이유
첫 기준인 바닥(floor)은 정해진 단순 예측의 값이다. T1·T2에서는 마지막으로 관찰한 상태를 그대로 내고, T3에서는 비교 대상인 정상 배아를 그대로 내는 방식이다. 다른 기준인 천장(ceiling)은 정답 자료를 둘로 나누어 서로 비교한 값으로, 자료의 변동성을 고려한 도달 가능한 수준의 추정치다. 완벽한 정답 그 자체를 뜻하지는 않는다.
공식 환산식에서 천장까지의 거리를 d, 바닥과 천장 사이의 거리를 d_floor라고 하면, 천장보다 나쁜 값의 skill은 d_floor / (d_floor + d)다. 바닥에서는 두 거리가 같아 1/2, 천장에서는 1이 된다. 천장까지의 거리가 바닥 거리의 두 배라면 1/3이다. 공식 채점 설명에 맞춰 천장과 같거나 더 좋은 값은 1로 처리하고, 각 지표의 비중을 곱한 뒤 100점 눈금으로 합산한다.
화면에는 이 계산을 최종 점수 하나로 숨기지 않고 원시값 → 필요한 변환 → skill → 총점에 더해지는 기여분 순서로 펼쳤다. 숫자를 하나 바꾸면 어느 단계에서 결과가 달라졌는지 볼 수 있도록 표와 곡선, 기여분 막대를 연결했다.
−2와 +2가 같은 점수가 되는 예
조직 크기의 차이를 나타내는 TSR(scale_log_ratio)은 부호보다 0에서 얼마나 떨어졌는지를 본다. 도구의 가상 예제에서 측정값 −2, 바닥 −4, 천장 +1을 넣으면 세 값 모두 절댓값으로 바뀌어 2·4·1이 된다. 천장까지의 거리는 1, 바닥 거리는 3이므로 skill은 3/4다. 측정값을 +2로 바꿔도 같은 결과가 나온다.
T2에서 TSR의 비중은 조직 모양·크기 그룹 25%의 1/3이므로, 이 예제의 총점 기여분은 100 × 1/4 × 1/3 × 3/4 = 6.25점이다. 실제 배아나 공식 게시판에서 얻은 결과가 아니라 환산식을 설명하기 위한 숫자다. 실제 지표를 입력할 때는 측정값·바닥·천장을 같은 평가 조건에서 얻은 한 묶음으로 사용해야 한다.
반응 크기 지표 PSS(severity_slope)도 절댓값으로 환산하지만, 채점기가 이미 로그로 표현한 값을 반환한다는 점을 따로 설명했다. 회귀 기울기 자체를 넣거나 다시 로그를 취하면 다른 계산이 된다. 절댓값을 취한 바닥과 천장이 같아지는 등 기준값이 잘못된 경우에는 점수를 내지 않고 계산을 멈추도록 했다.
빈칸과 결측, 경계의 양 끝을 구분했다
아직 입력하지 않은 빈칸과, 실제 계산에서 얻지 못한 지표도 같은 상태로 취급하지 않았다. 빈칸이면 입력을 기다리고, 결측을 NaN으로 명시하면 그 지표의 skill을 0으로 둔다. 이때 비중을 다른 지표에 나누어 주지 않는다. 예를 들어 T3의 PSS만 결측이고 나머지가 모두 천장이라면, PSS의 25%가 빠져 총점은 75점이다.
자료 제한도 숫자를 읽는 방식에 따라 뜻이 달라질 수 있어, 규정 10항의 시점 경계를 연습하는 화면을 함께 넣었다. T1 전체와 T2 중 심장 외삽 과제에 적용되는 제한 구간 (E9.5, E13.5]에서는 E9.5는 포함하지 않고 E13.5는 포함한다. E는 배아 발생 시점을 표시한다. 이 화면은 선택한 숫자 구간만 확인하며, 구간 밖이라고 자료의 사용·재배포가 허가되는 것은 아니다. 유전형과 자료·모델의 출처, 라이선스는 별도로 확인해야 한다.
공개한 것은 설명과 계산 코드다
계산 코어는 화면 코드와 구분해 두고, Node 검증 스크립트가 같은 코어를 불러와 독립적으로 적은 상수·분수의 기대값과 비교하도록 구성했다. 부호 변환, 고정 비중, 결측, 잘못된 기준값과 시점 경계 등을 합성 숫자로 검사한다. 이 검사는 환산 코드의 동작을 확인하는 것이지, 배아 예측 성능이나 이용자의 학습 효과를 측정하는 시험은 아니다.
저장소에는 한국어 입문서와 공식 로컬 채점기 veckit을 따라 실행하는 출력 없는 노트북도 함께 공개했다. 원본 생물 데이터나 저장된 실행 결과는 넣지 않았다. 이 도구는 주최 측이 검토한 공식 채점기가 아닌 비공식 커뮤니티 자료이며, 구현과 공식 설명의 연결은 출처·시험 대응표에서 확인할 수 있다.
직접 해 보기: 한국어 점수 해설 도구 · 소스 저장소