측정값이 흔들리자 웹접근성 감사를 멈췄다

RESEARCH · 2026.07.14–15 · STOPPED

먼저 화면과 절차를 얼렸다

포털은 검색 화면, 결과 화면, 상세 화면이 서로 다른 구조를 썼다. 어떤 검색어와 레코드를 고를지, 어떤 필드를 확인할지, 반복 측정 사이의 시간을 어떻게 둘지 먼저 정했다. 대상 콘텐츠가 바뀌면 접근성 결과를 보기 전에 멈추도록 규칙도 넣었다.

7월 14일 봉인 패키지의 독립 인수검사에서는 테스트 37개가 모두 통과했고, 포털 여덟 곳의 증거 파일과 해시도 맞았다. 이 시점의 본측정은 0/48이었다. 준비를 마친 단계였을 뿐, 결과는 아직 한 건도 없었다.

숫자가 나오자 수집기를 다시 봤다

첫 스크립트 실행은 32개 과업 가운데 16개에서 키보드 트랩을 표시했다. 그대로 집계했다면 강한 결과처럼 보였을 것이다. 로그를 따라가 보니 ID가 없는 연속 링크를 모두 같은 요소로 식별한 탓이었다. 정상적인 이동이 한 요소에 갇힌 것처럼 기록됐고, 뒤에 있던 검색 입력도 놓쳤다. 그 실행 전체를 분석에서 제외했다.

고친 뒤에도 다른 문제가 이어졌다. 선택 상자를 검색 입력으로 잘못 고르거나, 검색 결과가 아닌 다른 상품의 상세 화면으로 이동했는데 단지 화면이 바뀌었다는 이유로 ‘검색 성공’이라 적은 경우가 있었다. 숨겨진 메뉴 문구를 목표 필드로 잡아 실제 화면에 있는 제목을 놓친 실행도 나왔다.

마지막 문제는 실행마다 달라지는 판정이었다

한 익명 과업은 같은 동결 대상에서 앞선 세 실행에는 I로, 다음 실행에는 W로 기록됐다. 키보드 정지점이 200개가 넘고, 초점을 받을 때 펼쳐지는 메뉴와 렌더링 시점이 순서를 흔든 것으로 추정됐다. 원인을 추정하는 것만으로는 결과를 고정할 수 없었다.

입력창을 고르는 규칙도 포털마다 다른 방식으로 틀렸다. 통합검색, 이름 없는 헤더 검색, 콘텐츠 안의 실제 검색 입력을 구분하려면 수집기가 화면을 ‘알아서’ 고르게 두어서는 안 됐다. 포털별 선택자를 별도 사양으로 고정하고 다시 수집할 수는 있었지만, 그때의 값은 이미 여러 번 방법 수정의 영향을 받았다.

사이트를 평가하기 전에 측정이 버티는지부터 봤다

일부 화면에서 실제로 보이는 문제 후보도 있었다. 그러나 측정기가 거짓 양성과 잘못된 상태 라벨을 반복한 상황에서, 특정 사이트의 접근성 실패나 법적 준수 여부를 공개하는 것은 맞지 않았다. 자동화된 proxy는 실제 키보드 사용자나 스크린리더 사용자의 과업 수행을 대신하지도 못한다.

도구가 실행됐다는 사실과 측정값을 믿을 수 있다는 판단은 별개의 단계였다. 이 프로젝트에서는 두 번째 단계가 통과되지 않았다.

종료 뒤 남긴 것

동결 프로토콜, 포털별 절차, 회귀 테스트, QA 문서, 원시 로그와 제외 사유는 그대로 보존했다. 잘못된 실행을 지우지 않은 덕분에 어떤 규칙이 어떤 오판을 만들었는지 다시 따라갈 수 있다. 이것들은 접근성 결과가 아니라, 왜 결과를 발표하지 않았는지를 확인하는 내부 증거다.

최종 결과는 사이트 점수도 논문도 아니었다. 신뢰할 수 없는 표를 완성하지 않기로 한 중단 결정이었다. 다시 시작한다면 포털별 입력과 결과 영역을 먼저 사람이 확정하고, 결정성 감사를 통과한 뒤에만 본측정으로 넘어가야 한다.

---

Project record
기간: 2026년 7월 14–15일
범위: 국내 건강정보 포털 8곳의 검색·결과·상세 화면 측정 설계
수행: 콘텐츠 동결, 증거 해시, 키보드·DOM proxy, 반복 실행, 독립 QA, 오류 실행 보존
내부 증거: 동결 패키지, 37/37 테스트 기록, 실행 등록부, 제외 사유, QA 판정
최종 결과: 측정 불안정으로 종료
외부 검증·공개 결과: 없음
공개하지 않은 것: 사이트명, 사이트별 점수·순위, 법적 판정, 미확정 접근성 소견

Read this project in English