DialogueSum을 한국어로 번역한 12,457건의 학습 데이터로 대화를 요약하고, 249건의 히든 테스트를 ROUGE로 평가하는 경진대회였습니다. 3인 팀은 핵심 NLP 개념과 베이스라인 코드를 함께 정리한 뒤 실험을 나눴습니다. 저는 데이터 증강과 요약 모델, LLM 파인튜닝을 맡았습니다. 정답 요약문에 번역체가 많았기 때문에, 자연스러운 문장만 만드는 것보다 평가 데이터의 표현 방식을 재현하는 쪽에 실험 기준을 두었습니다.
실험 방향 설정
ROUGE는 정답 문장과 겹치는 표현의 영향을 받습니다. 그래서 GPT-4o-mini로 학습 데이터를 5배 증강하는 한편, KoBART와 KoGPT 계열 모델에 입력 길이 조정과 발화자·턴을 나타내는 특수 토큰을 적용했습니다. 데이터 양, 입력 구조, 정답 문체 가운데 무엇이 실제 점수에 영향을 주는지 나눠 본 실험이었습니다.
요약 모델과 LLM 비교
학습은 팀 내에서 오픈소스 경량 NLP 모델과 LLM 파인튜닝, 2가지 트랙으로 나눠 진행했습니다.
KoBART와 KoGPT 계열을 파인튜닝하며 증강 데이터 양, 입력 토큰 길이, 발화자와 턴을 표시하는 특수
토큰을 비교했습니다. GPT-4o-mini로 데이터를 5배로 증강했지만 개선폭은 작았고, 특수 토큰도 큰 영향을
주지 않았습니다. 입력 길이 조정만 소폭 효과가 있었으며, 이 트랙에서는
EbanLee/kobart-summary-v3가 가장 높았습니다.
별도 LLM 트랙에서는 GPT-4o-mini를 파인튜닝하고 Few-shot 예시와 프롬프트를 조정했습니다. LLaMA 3.2 3B와 EXAONE 7.8B에는 같은 요약 과제를 학습시키기 위해 QLoRA를 적용했습니다.
GPT-4o-mini를 500개 데이터로 2 Epoch 파인튜닝한 결과가 가장 높았고 ROUGE 50.10을 기록했습니다. 최종 순위는 1위였습니다.
남은 비교 실험
LLaMA 3.2 3B는 출력에 여러 언어가 섞였고, EXAONE 7.8B는 양자화 후에도 VRAM이 부족해 학습을
마치지 못했습니다. 대회가 끝나기 전에 두 실험을 완결하지 못한 점이 가장 아쉽습니다. 기회가 된다면
동일한 데이터와 입력 길이, 평가 조건에서 LLaMA와 EXAONE의 QLoRA 학습을 마친 뒤
EbanLee/kobart-summary-v3, GPT-4o-mini와 함께 ROUGE와 출력 품질을 비교해 보고 싶습니다.