처음 해결하려던 문제는 비용보다 평가의 일관성이었습니다. 생성형 LLM을 Judge로 사용하면 같은 기준을 요청해도 응답 형식과 판정이 흔들리는 경우가 있어, 대규모 배치에서 반복 가능한 자동 평가 방식이 필요했습니다.
비용도 함께 봐야 했습니다. 영어 문항 배치 생성에 들어간 LLM 비용은 평가를 포함해 누적 수천만원대였고, 검증 단계에서는 고성능 모델을 호출해 문항 하나에 약 50원과 30초가 들었습니다.
모델 선정
당시에는 로컬 GPU 자원을 안정적으로 쓰기 어려워 SLM을 직접 서빙하는 방안은 제외했습니다. 대신 기존 파이프라인에서 바로 비교할 수 있는 저비용 상용 API 모델을 후보로 두었습니다. 비용은 실제 샘플 문항 약 100개의 입출력 토큰 사용량을 직접 집계하고 당시 API 단가를 적용해 계산했습니다.
접근 방식
저비용 모델에 같은 자유형 평가를 시키는 경우 평가 안정성이 더 떨어졌습니다. 그래서 검증 모델이 출력하는 점수와 설명문으로 판별하는 대신, 후보 라벨의 Log Probability를 비교해 판정하는 로직을 만들었습니다. 작업에 필요한 것은 긴 답변이 아니라 정확한 기준 통과 여부였기 때문입니다.
저비용 상용 모델의 판정을 기존 고성능 모델의 결과와 대조하고 비용, 처리시간, 정합성과 반복 실행 시의 재현성을 함께 봤습니다. 실험 조건을 맞추기 위해 Prefect 기반 생성·검증·적재 파이프라인에서 반복 실행했습니다.
PoC 결과
| 기존 Judge | PoC 후보 | |
|---|---|---|
| 문항당 토큰 비용 | 약 50원 | 약 5원 (−90%) |
| 문항당 처리시간 | 약 30초 | 약 15초 (−50%) |
실제 샘플 문항 약 100개를 사용한 PoC에서 후보 모델의 판정은 기존 고성능 모델의 판정과 모두 일치했습니다. 사람의 정답 라벨을 기준으로 측정한 정확도는 아니지만, 이 표본에서는 검증 단계를 더 저렴한 모델과 짧은 판별 작업으로 분리할 수 있는 가능성을 확인했습니다.
확인한 가능성과 확장 방향
이 PoC는 모든 평가를 고성능 Judge의 자유형 응답에 맡기는 대신, 저비용 모델의 짧은 라벨 판별로 분리해도 비용과 처리시간을 줄이면서 기존 판정과의 정합성을 유지할 수 있다는 가능성을 확인했습니다. 이를 통해 적용 후보 모델과 판별 방식을 선정하고, 운영 확대 단계에서 유형별 표본과 전문가 정답 라벨로 확인해야 할 검증 범위까지 구체화했습니다.