여러 언어모델이 같은 답을 내놓으면 더 믿을 만하다고 볼 수 있을까. 한의학적 분류를 다룬 가상 사례의 답변을 비교하면서, 나는 그보다 앞선 질문을 살폈다. 어디까지 같아야 ‘같은 답’으로 셀 것인가. 표현을 그대로 비교할지, 비슷한 답을 한 범주로 묶을지에 따라 일치라는 숫자가 가리키는 대상부터 달라지기 때문이다.
이 작업은 전문가 정답 없이 보관된 답변 기록을 다시 살펴본 탐색적 분석이었다. 실제 환자를 진료한 연구가 아니며, 모델들이 서로 동의하는 정도를 진단 정확도로 해석할 수도 없었다. 분석과 제출본을 고쳐 나갔지만, 다섯 차례의 투고가 거절된 뒤 2026년 7월 21일에는 재작업과 재제출을 보류했다.
답변을 어떻게 바꾸어 세는지부터 살폈다
문자열을 그대로 비교하면 뜻이 비슷해도 표현이나 형식이 다른 답은 불일치가 된다. 반대로 여러 답을 넓은 분류 하나로 합치면 일치하는 경우가 늘어날 수 있지만, 원래 답변에 있던 구별도 사라질 수 있다. 어떤 방법이 무조건 더 낫다고 고르기 전에, 각 방법이 무엇을 같은 것으로 취급하는지 설명해야 했다.
그래서 표면의 문구, 보관된 규칙으로 묶은 범주, 분류의 여러 축으로 나눈 표현을 구별해 비교했다. 이들은 같은 답변을 요약하더라도 서로 다른 표현 방식이다. 한 방식에서 얻은 일치도를 다른 방식의 값과 바꾸어 읽지 않도록, 결과를 읽는 조건에 포함했다.
정보가 빠진 답도 문제였다. 같은 항목이 비어 있는 두 답을 일치로 볼지, 불일치로 볼지, 완전한 답끼리만 비교할지에 따라 비교 대상이 달라진다. 빠진 정보를 어떻게 처리했는지 숨긴 채 숫자 하나만 내놓으면, 모델의 답변과 평가자의 처리 규칙이 뒤섞인다.
함께 비교할 모델의 구성도 고정된 사실이 아니었다
여러 회사의 모델을 모았다고 비교 집단이 저절로 정해지는 것은 아니었다. 같은 회사라도 어떤 모델이나 접속 경로를 골랐는지에 따라 답변이 달라질 수 있다. 이런 요청 대상의 조합을 패널이라고 부르며, 나는 그 구성에 따라 해석이 얼마나 달라질 수 있는지도 살폈다.
이미 모은 기록을 다시 분석하는 작업이어서 원래 답변 전문과 세부 버전·요청 이력이 충분히 남지 않은 한계도 있었다. 같은 조건으로 새 응답을 수집한 연구처럼 소개하거나, 특정 회사나 모델이 본질적으로 우수하다고 결론 내릴 수는 없었다. 이 분석에서 다룬 것은 정해진 기록 안에서 표현과 비교 구성의 선택이 일치도 측정에 미치는 영향이다.
원고를 고친 뒤, 투고를 멈췄다
분석의 범위와 기여를 다듬으며 제출본을 수정했지만 투고는 다섯 차례 거절로 이어졌다. 그중에는 외부 심사로 보내지 않은 편집 단계의 결정도 있었다. 거절이 연구 결과를 검증하거나 반증한 것은 아니지만, 같은 틀로 다시 제출하는 일을 이어 가지 않기로 했다.
7월 21일에 남긴 결정은 재설계 전 보류였다. 다음 원고를 준비하려면 먼저 답변 기록을 어떤 형태로 남길지, 어떤 기준과 비교해 무엇을 주장할 수 있을지부터 다시 정해야 한다. 여러 답이 모였다는 사실보다, 그 답을 어떤 절차로 같은 것으로 세었는지를 설명하는 문제가 남아 있다.