#llm
글 2편 · 모든 태그
난이도 커리큘럼은 무작위 순서를 이기지 못했습니다
110M 한국어 GPT를 스크래치부터 여덟 번 사전학습하며 데이터 순서를 바꿨습니다. 커리큘럼은 모든 체크포인트에서 졌고, LR 스케줄과 교락된 것 아니냐는 반박을 확인하려 LR을 고정하자 격차는 오히려 40% 커졌습니다.
숫자가 나온다 ≠ 맞게 재고 있다
앵커 모델이 전 지표에서 찍기 수준으로 나온 토크나이저 로딩 함정과, GPU에서만 터지는 resume 버그. 둘 다 검증 표면 바깥에 있었습니다.