#pretraining
글 1편 · 모든 태그
난이도 커리큘럼은 무작위 순서를 이기지 못했습니다
110M 한국어 GPT를 스크래치부터 여덟 번 사전학습하며 데이터 순서를 바꿨습니다. 커리큘럼은 모든 체크포인트에서 졌고, LR 스케줄과 교락된 것 아니냐는 반박을 확인하려 LR을 고정하자 격차는 오히려 40% 커졌습니다.
글 1편 · 모든 태그
110M 한국어 GPT를 스크래치부터 여덟 번 사전학습하며 데이터 순서를 바꿨습니다. 커리큘럼은 모든 체크포인트에서 졌고, LR 스케줄과 교락된 것 아니냐는 반박을 확인하려 LR을 고정하자 격차는 오히려 40% 커졌습니다.