프로젝트 기록

PROJECT RECORD

분자 예측 점수 0.50과 0.70은 어디에서 나왔을까

분자가 물보다 기름 같은 환경에 얼마나 잘 녹는지 예측하는 실험에서 0.50과 0.70이라는 점수가 나왔다. 같은 공개 데이터에 같은 종류의 모델을 썼다. 0.50은 분자를 숫자로 표현하는 방식 하나를 고정하고, 비슷한 분자끼리 묶어 학습용과 시험용을 나눈 뒤 20번 실행한 평균이다. 0.70은 자료를 나누는 방식과 분자를 숫자로 표현하는 방식도 바꾼 120번의 실행 중 최고 점수다. 둘 다 R² 점수다. 값이 높을수록 이 시험 자료에서 측정값의 차이를 더 잘 설명한 것이다.

시험 자료를 나누는 세 가지 방법

11월 13~15일 Apart Research의 AI × Epistemics 스프린트에서 이 차이를 살펴봤다. 분자의 물성을 측정한 공개 데이터 ESOL, FreeSolv, Lipophilicity를 사용했다. 분자를 무작위로 나누는 방법, 기본 골격이 같은 분자끼리 묶는 방법, 구조가 비슷한 분자끼리 묶는 방법을 비교했다.

각 데이터에 세 분할 방법과 두 가지 분자 표현, 무작위 선택을 정하는 시드 20개를 조합했다. 조합마다 랜덤 포레스트를 학습하고 시험해 총 360회 비교했다.

세 데이터에서 한 번의 최고 점수는 구조가 비슷한 분자를 묶어 나눈 경우의 가장 높은 20회 평균보다 R² 기준 0.059~0.205 높았다. 시험 조건을 바꾸고 한 번의 실행 결과를 골랐으므로, 이 차이는 내가 비교한 선택지 안에서 보고 점수가 얼마나 움직일 수 있는지 보여준다. 이번 비교는 세 데이터와 한 종류의 모델에 한정했다.

점수를 보기 전에 확인한 것

모델을 학습시키기 전에도 시험 자료가 얼마나 낯선지 미리 살필 수 있다. 시험용 분자마다 학습 자료에서 가장 비슷한 분자를 찾고, 그 유사도를 확인하는 방법이다. 그렇게 보면 모델에 이미 익숙한 구조와 처음 접하는 구조가 어느 정도 섞여 있는지 가늠할 수 있다.

공개 보고서와 실행별 결과

Read in English

연구 목록 · 작업 목록

Research index · Work index