강의 / 작게 만들기
큰 모델을 내 장비에서 돌릴 수 있게 만든 논문들
2014년 논문 한 편이 지금 쓰는 작은 모델 거의 전부의 바탕이 됐습니다. 정답 라벨 하나를 주는 대신 큰 모델이 모든 선택지를 어떻게 봤는지를 넘겨 주면, 작은 모델이 교사가 본 적 없는 범주까지 물려받습니다. 온도가 붙은 소프트맥스와 두 개의 손실을 코드 수준까지 뜯어보고, 손글씨 숫자로 직접 돌린 재현 실험 수치까지 같이 봅니다.
모델을 얼마나 크게 만들어야 하는가에 대한 통념이 틀렸다고 보고한 논문입니다. 계산 예산이 2배가 되면 모델만 키울 게 아니라 데이터도 같이 2배로 키워야 한다는 결론을, 가정이 서로 다른 세 가지 방법으로 각각 확인합니다. 같은 예산에서 4배 작은 모델이 거의 모든 과제를 이기는 과정을 표 열 개를 읽으며 따라갑니다.
학습된 가중치를 전부 얼리고 그 옆에 둔 작은 행렬 두 개만 학습합니다. 학습이 끝나면 두 행렬을 원래 가중치에 합쳐 버릴 수 있어서 서비스 속도가 그대로라는 점이 이 방법이 퍼진 이유입니다. 랭크를 얼마로 할지보다 어디에 붙일지가 더 중요하다는 실험과, 학습된 변화가 원래 가중치의 어느 방향을 키우는지 들여다본 분석까지 다룹니다.
가중치를 더 적은 비트로 적는 일에서 어려운 부분은 반올림이 아니라 범위에 안 들어가는 소수의 값입니다. 같은 해에 나온 두 논문이 그 값들을 각각 다른 방법으로 처리합니다. 하나는 빼내고 하나는 보상합니다. 8비트에서 아무것도 잃지 않는 쪽과 4비트까지 내려가는 쪽을 표 열두 개로 비교합니다.
3편의 LoRA 와 4편의 양자화가 여기서 만납니다. 4비트로 얼린 모델 위에서 16비트 어댑터를 학습해, 780기가바이트가 필요하던 650억 파라미터 모델의 조정을 카드 한 장에 넣습니다. NF4 라는 자료형이 어디서 왔는지, 양자화 상수를 다시 양자화하면 얼마가 절약되는지를 수치로 따라갑니다.
양자화가 망가뜨리는 것의 대부분이 전체 가중치의 1% 에서 나옵니다. 그런데 그 1% 는 가중치를 봐서는 찾을 수 없고, 그 가중치로 들어오는 값을 봐야 합니다. 예외로 빼내는 대신 미리 곱해 키워 두는 방식으로 지키고, 그 결과를 노트북과 소형 보드에서 실제로 재서 보고합니다.
모델을 하나도 바꾸지 않고 몇 배 빠르게 만드는 편입니다. 어텐션이 만드는 정사각 표를 느린 메모리에 적었다 다시 읽는 대신, 조각으로 계산하고 표를 아예 적지 않습니다. 연산 횟수는 오히려 늘어나는데 더 빨라지는 이유를 메모리 계층부터 설명하고, 1년 뒤 나온 두 번째 논문의 세 가지 변경까지 다룹니다.
작고 싼 모델이 다음 토큰 몇 개를 먼저 써 보고, 큰 모델이 그 추측들을 한 번에 검사합니다. 수락과 거절 규칙 덕분에 나오는 글의 분포가 원래와 똑같다는 것을 증명까지 따라갑니다. 서로 모르던 두 팀이 석 달 간격으로 같은 발상을 낸 논문 두 편을 함께 읽고, 이 거래가 손해가 되는 운영 환경도 짚습니다.
시리즈 마지막 편입니다. 토큰마다 모델 전체가 매번 돈다는 가정을 세 논문이 서로 다른 지점에서 깹니다. 한 논문은 층을 여러 벌 두고 토큰마다 하나만 쓰고, 한 논문은 어텐션을 고정 크기 기억으로 바꾸고, 한 논문은 가중치가 -1, 0, 1 세 값만 갖게 합니다. 논문 세 편을 한 편에 담아 56분입니다.