시작 …
2014년 논문 한 편이 지금 쓰는 작은 모델 거의 전부의 바탕이 됐습니다. 정답 라벨 하나를 주는 대신 큰 모델이 모든 선택지를 어떻게 봤는지를 넘겨 주면, 작은 모델이 교사가 본 적 없는 범주까지 물려받습니다. 온도가 붙은 소프트맥스와 두 개의 손실을 코드 수준까지 뜯어보고, 손글씨 숫자로 직접 돌린 재현 실험 수치까지 같이 봅니다.
신경망의 순전파와 소프트맥스, 교차 엔트로피 손실을 알고 있으면 충분합니다. 코드를 직접 따라 하려면 파이토치 기초가 있으면 좋습니다.
*장표 1~3번 · 영상 약 0분 지점*
오늘부터 모델을 작게 만드는 새 시리즈를 시작합니다. 논문 아홉 편짜리이고, 오늘이 그 첫 편인 2014년 논문입니다. 분야가 두 번 바뀔 만큼 오래됐는데도, 뒤에 나온 전부의 바탕입니다.
Distilling the Knowledge in a Neural Network. 저자는 힌튼, 비냘스, 딘이고 당시 모두 구글에 있었습니다. 오른쪽 그래프는 제가 직접 학습시킨 모델의 출력입니다.
논문 전체를 한 줄로 말하면, 작은 모델을 정답으로 학습시키지 말라는 겁니다. 큰 모델이 모든 선택지를 어떻게 봤는지로 학습시키라는 겁니다. 사소한 차이 같지만 그렇지 않습니다.
정답은 작은 모델에게 한 가지만 알려 줍니다. 큰 모델의 전체 추측은 무엇끼리 닮았는지를 알려 주고, 그게 핵심입니다.
저자들은 세 가지 숫자로 이를 뒷받침합니다. 손글씨 숫자에서 같은 작은 모델이 오류 146개에서 74개로 줄었습니다. 음성에서는 모델 하나가 앙상블 10개가 얻은 것의 80% 넘게 지켰고요.
학습 데이터가 3%뿐일 때도 정확도가 44.5에서 57.0으로 돌아왔습니다. 이보다 더 이상한 네 번째 결과도 있습니다. 3이 아예 없는 데이터로 학습했는데 3을 골라냈다는 겁니다.
*장표 4~7번 · 영상 약 1분 지점*
논문에 들어가기 전에 이 시리즈를 왜 하는지 말씀드릴게요. 요즘 큰 공개 모델은 파라미터가 700억 개입니다. 하나에 2바이트씩이면 가중치만 140기가바이트고요.
소비자용 카드는 24기가바이트니까 차이가 작지 않죠. 그런데 지금은 그걸 카드 한 장으로 돌립니다. 이 아홉 편이 그게 가능해진 과정이고, 가장 오래된 것부터 시작합니다.
논문은 곤충 이야기로 시작합니다. 저도 의외였어요. 애벌레는 가만히 앉아 영양분을 최대한 뽑도록 생겼고요. 성충은 이동하고 번식하도록 생겼습니다. 완전히 다른 일이죠.
저자들은 우리가 두 단계에 같은 모델을 쓴다고 지적합니다. 학습은 느려도 되지만 서비스는 빨라야 하는데, 왜 같은 모양일까요?
거의 모든 모델을 좋게 만드는 방법이 하나 있고, 다들 압니다. 모델을 여러 개 만들어 각자의 예측을 평균내는 거죠. 시작점이 다르면 틀리는 자리도 달라서, 평균이 더 안정적입니다.
문제는 서비스할 때의 비용입니다. 모델 10개면 요청마다 메모리도 계산도 10배가 됩니다.
이 질문을 던진 첫 논문은 아니고, 저자들도 그렇게 밝힙니다. 카루아나 팀은 앙상블을 작은 모델 하나로 압축할 수 있음을 보였고요. 그들의 방법은 로짓을 직접 맞추는 것이었습니다.
로짓은 소프트맥스에 들어가기 전, 클래스별 원점수입니다. 이 논문은 더 일반적인 방법을 내고, 앞 방법이 그 한 경우임을 증명합니다.
*장표 8~10번 · 영상 약 3분 지점*
실제 모델로 이 발상을 구체적으로 보겠습니다. 작은 손글씨 숫자로 모델을 학습시켰고, 이건 그 실제 출력입니다. 왼쪽이 입력 이미지이고, 가운데가 보통 학습에 쓰는 것으로 막대 하나만 1입니다.
나머지 클래스는 정확히 0입니다. 반올림된 게 아니고요. 오른쪽은 학습된 모델의 실제 출력인데, 빈 클래스가 없습니다.
저자들의 문장 하나가 기억에 남습니다. 자동차 사진이 쓰레기차로 불릴 가능성은 거의 없죠. 그래도 당근이라고 부르는 것보다는 훨씬 그럴듯합니다.
그 생각으로 보시면, 모델은 3이라면서 8에도 1% 넘게 줬습니다. 다음이 9와 5로 1e-03 근처인데, 작지만 아무것도 아니진 않아요.
정보는 있습니다. 그런데 왜 아무도 안 쓸까요? 저자들은 숫자 2 이미지 두 장으로 예를 듭니다. 하나는 3일 확률 1e-06, 7일 확률 1e-09이 나오고요.
다른 하나는 반대인데, 이 차이가 진짜 지식입니다. 한 2는 3을 닮았고, 다른 2는 7을 닮았다는 뜻입니다. 교차 엔트로피에선 둘 다 너무 작아 손실이 알아채질 못합니다.
*장표 11~12번 · 영상 약 5분 지점*
해결책은 민망할 만큼 간단한데, 소프트맥스에서 한 군데만 바꾼 것입니다. 모든 점수를 저자들이 온도라 부르는 값으로 나눕니다. 그 값을 1로 두면 원래 소프트맥스 그대로고요.
값을 올리면 점수 사이의 차이가 줄어듭니다. 차이가 줄면 0에 눌려 있던 클래스들이 바닥에서 올라옵니다.
같은 이미지, 같은 모델을 네 번 그린 것입니다. 네 그래프 사이에 다시 학습한 건 없습니다. 바뀐 건 점수를 나눈 값 하나뿐이고요.
왼쪽에선 대부분의 클래스가 바닥에 깔려 있죠. 오른쪽으로 갈수록 막대가 올라오며 꼬리 모양이 보입니다. 이 드러난 모양이 바로 작은 모델이 배울 내용입니다.
*장표 13~15번 · 영상 약 6분 지점*
학습은 손실 두 개를 더해서 씁니다. 첫째는 학생을 교사의 부드러워진 출력과 비교하고요. 비교할 때 양쪽 모두 같은 높은 온도로 읽습니다.
둘째는 학생을 정답 라벨과 비교하는데, 온도는 1입니다. 둘째 항의 가중치를 훨씬 낮출 때 결과가 제일 좋았다고 합니다.
여기 구현을 조용히 망가뜨리는 한 가지가 있습니다. 소프트 손실의 기울기는 온도의 제곱분의 1로 작아집니다. 그래서 온도를 올리면 그 손실이 의도치 않게 조용해지죠.
저자들은 소프트 항에 온도의 제곱을 곱하라고 합니다. 그러면 어떤 온도에서도 두 손실의 균형이 유지됩니다. 증류가 아무 효과 없어 보이면 여기부터 확인하세요.
전체 방법을 적어 봤는데, 같은 입력으로 두 모델을 돌리는 것부터 시작합니다. 교사는 읽기만 하니 출력을 한 번 계산해 저장해도 됩니다. 양쪽을 온도로 부드럽게 만들어 비교하고요.
학생과 정답 라벨은 따로, 부드럽게 하지 않고 비교합니다. 소프트 쪽에 제곱을 곱해 더하면 끝입니다.
*장표 16~18번 · 영상 약 8분 지점*
제곱이 어디서 오는지 보여 드릴게요. 유도가 짧습니다. 소프트 손실을 학생의 로짓 하나로 미분합니다. 나오는 건 두 모델의 확률 차이입니다.
교사보다 낮으면 올리고, 높으면 내리는 거죠. 그리고 그 앞에 온도분의 1이 붙어 있습니다.
이제 온도를 로짓보다 훨씬 크게 키워 봅니다. 그러면 지수 함수가 평평해지고 식의 대부분이 약분됩니다. 남는 건 학생 점수와 교사 점수의 차이고요.
다시 말해 높은 온도에선 원점수를 맞추는 것과 같습니다. 그게 바로 앞선 방법이라, 저자들이 자기 방법 안에 넣은 셈입니다.
덕분에 온도가 그냥 돌리는 손잡이가 아니라 의미를 갖습니다. 높게 두면 크게 음수인 점수까지 전부 맞추게 되고요. 그런데 교사 학습에서 그 값들은 고정된 적이 없습니다.
그래서 지식일 수도, 잡음일 수도 있고, 저자들은 실험 문제라고 합니다. 낮게 두면 그걸 무시하고 학습된 점수만 보라는 뜻입니다.
*장표 19~26번 · 영상 약 9분 지점*
첫 실험은 손글씨 숫자인데, 설정이 중요합니다. 교사는 층마다 1,200개씩 두 층이고, 이미지 6만 장을 전부 봅니다. 드롭아웃을 걸고 이미지를 최대 2픽셀까지 밀어 가며 강하게 규제했습니다.
학생은 층마다 800개인데, 붙잡아 주는 장치가 하나도 없습니다. 여기를 기억해 주세요. 학생은 밀린 이미지를 한 장도 못 봅니다.
거기서 숫자 셋이 나오는데, 첫째가 오류 67개를 낸 교사입니다. 정답 라벨로 학습한 학생은 146개고요. 같은 학생이 교사의 부드러운 출력으로 학습하면 74개입니다.
모델은 그대로고, 무엇과 비교했는지만 바뀌었습니다. 게다가 밀린 숫자도 잘 처리하는데, 스스로 배울 길이 없던 것입니다.
믿고 넘어가기보다 직접 보고 싶어서 작게 돌려 봤습니다. scikit-learn에 들어 있는 8 곱하기 8 손글씨 숫자를 썼고요. 교사는 그 이미지를 여덟 방향으로 한 칸씩 민 것까지 보고 드롭아웃도 걸었습니다.
학생은 원본만 봤고, 밀린 것도 드롭아웃도 없습니다. 제가 바꾼 건 학생이 무엇과 비교되느냐 하나뿐입니다.
결과입니다. 설정마다 세 번씩 돌렸어요. 정답 라벨로 학습한 학생은 평균 9.7개쯤 틀렸고요. 교사의 부드러운 출력으로 학습하니 같은 모델이 평균 5.3개였습니다.
교사가 3개였으니 차이의 대부분이 메워진 거죠. 제 최적 온도는 2로, 저자들이 쓴 20보다 훨씬 낮았습니다. 이건 저자들의 관찰과 맞는데, 바로 이어서 보겠습니다.
저자들은 최적 온도가 학생에 어떻게 달렸는지 봤습니다. 층에 300개 이상 두면 8보다 큰 값들은 다 비슷하게 굴고요. 층당 30개로 줄이면 그림이 달라집니다.
이제 2.5에서 4 구간이 이기고, 양쪽 끝은 나빠집니다. 여유가 없는 학생은 먼 꼬리를 무시하는 편이 낫다는 해석입니다.
이제 제일 믿기 어려운 결과인데, 숫자 3을 데이터에서 전부 빼 버렸습니다. 저자들 말로는 학생에게 전설 속 숫자가 된 셈입니다. 그래도 전체 오류가 206개였고, 3에서 틀린 게 1,010개 중 133개였습니다.
그다음 그 클래스의 바이어스를 3.5만큼 올렸습니다. 오류가 109개로 줄고 3은 14개만 틀려, 3의 98.6%를 맞혔습니다.
이것도 해 봤습니다. 너무 좋은 얘기라서 믿기지 않았거든요. 3 이미지를 전부 버리고 학생에게는 부드러워진 교사 출력만 보여 줬습니다. 학습 직후에는 예상대로 시험에 나온 3을 대부분 틀렸습니다.
그다음 그 클래스의 바이어스만 올렸습니다. 논문과 같은 조치죠. 그러자 학습 중 한 번도 못 본 3을 85.5% 맞혔습니다.
저자들은 같은 발상을 저보다 훨씬 더 밀어붙입니다. 이번엔 학습 데이터에 7과 8만 남겨서, 클래스 여덟 개가 통째로 사라집니다. 학습 직후엔 47.3%를 틀립니다. 망가진 모델이죠.
그 두 클래스의 바이어스를 7.6 내리면 오류가 13.2%로 떨어집니다. 그 실패는 모양 문제가 아니라 클래스마다 붙은 상수 하나였습니다.
*장표 27~32번 · 영상 약 13분 지점*
두 번째 실험은 실제로 서비스되던 시스템에서 돌아갑니다. 짧은 소리 조각을 주면 어느 은닉 마르코프 상태에서 나왔는지 맞힙니다. 층이 8개, 층마다 2,560개, 출력 라벨은 14,000개입니다.
파라미터가 8,500만 개 정도이고 음성 2,000시간으로 학습했습니다. 저자들은 안드로이드 음성 검색이 실제로 쓰던 것과 가깝다고 합니다.
표 1 읽기
>
결과가 Table 1에 있는데, 세 줄뿐이라 통째로 띄우겠습니다. 숫자 열이 둘인데, 왼쪽이 프레임 정확도, 오른쪽이 단어 오류율입니다.
>
Table 1을 한 줄씩 읽겠습니다. 세 줄이 논증 전부거든요. 모델 하나는 프레임 정확도 58.9%, 단어 오류율 10.9%입니다. 그걸 10개 학습시켜 평균내니 61.1%까지 올라갑니다.
>
증류한 모델 하나는 60.8%인데, 전부 돌리는 비용의 10분의 1입니다. 10개를 가른 건 시작 가중치가 무작위라는 것뿐인데 그걸로 충분했습니다. 그 모델들이 벌어들인 정확도의 80% 넘게 증류를 온전히 통과했습니다.
같은 방법의 두 번째 쓰임이 있는데, 저는 과소평가됐다고 봅니다. 학습 데이터의 3%만 남겼습니다. 7억 개 중 2천만 개 정도죠. 그 크기에서 정답 라벨로 학습하면 모델이 무너지고 조기 종료가 필요합니다.
같은 조각에 교사의 부드러운 출력을 주면 정확도가 거의 다 돌아옵니다. 즉 사라진 학습 데이터에서 얻은 것을 넘겨주는 통로이기도 합니다.
표 5 읽기
>
Table 5가 그걸 나란히 놓는데, 가운데 열을 보셔야 합니다. 가운데 열은 시험 데이터가 아니라 학습 데이터에서의 정확도입니다.
>
Table 5를 세 줄로 읽겠습니다. 가운데 열이 진짜 이야기를 합니다. 데이터 전부에 하드 라벨이면 시험 정확도가 58.9%입니다. 3%에 하드 라벨이면 시험은 44.5%로 떨어지는데 학습은 67.3%로 오릅니다.
>
학습에서 오르고 시험에서 내려가는 것이 과적합의 모습입니다. 같은 3%에 소프트 타깃으로 바꾸면 시험이 57.0%로 전체 학습에 근접합니다. 쉽게 지나치는 점이 있습니다. 그 학습은 조기 종료 없이 제자리에 수렴했어요.
*장표 33~42번 · 영상 약 16분 지점*
논문 마지막 부분은 이것만으로 턱없이 부족한 경우를 다룹니다. 데이터는 라벨 15,000개에 사진 1억 장이 들어 있습니다. 기준 모델은 이미 여섯 달 가까이 학습 중이었고요.
증류는 앙상블을 돌리는 비용만 풀고, 만드는 비용은 건드리지 않습니다. 거기에 몇 해를 쓸 수는 없으니 묶음이 다른 형태를 띠어야 했습니다.
답은 제너럴리스트 하나에 좁은 보조 모델 여럿을 두는 것입니다. 제너럴리스트는 이미 가진 모델이라 새로 학습할 게 없습니다. 보조 모델은 제너럴리스트가 서로 헷갈리는 클래스 무리를 하나씩 맡습니다.
맡지 않은 클래스는 여분 라벨 하나로 합쳐서 출력을 작게 유지하고요. 큰 모델 가중치를 물려받고 시작하니 각자 몇 주가 아니라 며칠이면 됩니다.
표 2 읽기
>
Table 2는 그 무리 셋이 실제로 무엇이었는지 보여 줍니다. 잠깐 보세요. 이 목록 중 사람이 쓴 것은 하나도 없습니다.
>
Table 2를 한 줄씩 읽겠습니다. 줄마다 말하는 게 다르거든요. 첫 줄은 티파티, 부활절, 샤워 두 종류, 그리고 토끼입니다. 생긴 건 전혀 안 닮았고, 공통점은 그것들이 속한 행사입니다.
>
둘째 줄은 다리 세 종류에 이어 고가교와 굴뚝으로 갑니다. 셋째 줄은 차종 이름까지 들어간 자동차 목록이고요. 이 중 손으로 쓴 건 없습니다. 전부 모델의 실수에서 나왔습니다.
그 무리를 만든 방법입니다. 세 단계로 끝납니다. 이미지마다 제너럴리스트의 클래스 확률 전체를 가져옵니다. 그다음 그 예측들의 공분산 행렬을 데이터 전체에 대해 만들고요.
자꾸 같이 나오는 두 클래스는 거기서 연관된 열로 흔적을 남깁니다. 그 열을 군집화하면 무리가 나옵니다. 정답 라벨은 어디에도 필요 없고요.
예측할 때는 이 구성이 두 단계로 동작합니다. 먼저 제너럴리스트가 답하고, 가장 높은 클래스를 후보로 잡습니다. 그 후보를 맡은 보조 모델이 답에 합류하는데, 아무도 해당 없는 때도 많습니다.
마지막으로 모두와 동시에 맞는 분포 하나를 찾습니다. 바로 나오는 식이 없어서 이미지마다 작은 최적화를 돌립니다.
표 3 읽기
>
Table 3이 보조 모델 61개가 사들인 것입니다. 두 열 두 줄이죠. 왼쪽 열이 보조 모델이 맡은 클래스, 오른쪽 열이 전체입니다.
>
Table 3을 설정과 함께 읽겠습니다. 숫자가 실제보다 작아 보이거든요. 보조 모델이 61개이고, 각각 300개 클래스에 여분 라벨 하나를 맡습니다. 전체 top 1 정확도가 25.0에서 26.1로, 상대 4.4% 개선입니다.
>
보조 모델이 실제로 맡은 클래스에선 43.1에서 45.9로 오릅니다. 만드는 건 빨랐습니다. 제너럴리스트가 몇 주 걸린 일이 각자 며칠이죠. 저자들은 이걸 한 모델로 합치지 못했다고 솔직히 적습니다.
표 4 읽기
>
Table 4는 그 개선을 담당 보조 모델 수로 나눠 보여 줍니다. 전문가 모델 부분에서 가장 분명한 근거라 볼 만합니다.
>
Table 4를 위에서부터 읽겠습니다. 첫 줄이 조용히 일을 합니다. 첫 열은 61개 중 정답을 맡은 것이 몇 개인지를 알려 줍니다. 첫 줄은 비교 기준으로, 어느 무리에도 안 드는 사진 350,037장입니다.
>
거기 정확도는 전혀 안 움직입니다. 바라던 비교 기준 그대로죠. 보조 모델이 하나면 상대 3.4%, 아홉이면 16.6%까지 올라갑니다. 무리가 일부러 겹치게 뒀는데, 그 겹침이 실제로 일을 하고 있습니다.
*장표 43~44번 · 영상 약 21분 지점*
혼합 전문가 모델이 떠오르신다면, 저자들이 그 비교를 직접 다룹니다. 혼합 전문가에선 게이팅 망이 누가 무엇을 맡을지 학습합니다. 그것도 전문가들이 아래에서 바뀌는 동안 같이 일어나고요.
전문가가 보는 데이터가 안 정해지니 일을 깔끔히 나눌 수 없습니다. 여기선 무리를 먼저 고정해서, 보조 모델이 각자 독립적으로 학습합니다.
작다는 말을 체감할 수 있는 것으로 바꿔 보겠습니다. 가중치 하나에 2바이트면 70억 파라미터 모델은 가중치만 14기가바이트입니다. 같은 모델이 8비트면 7기가바이트, 4비트면 3.5기가바이트 정도고요.
700억 파라미터 모델을 16비트로 두면 140기가바이트, 카드 여섯 장입니다. 이 시리즈 대부분은 비트를 줄이는 이야기이고, 이 논문은 가중치를 줄이는 이야기입니다.
*장표 45~47번 · 영상 약 22분 지점*
그래서 이게 여러분 장비에서 무엇을 바꿀까요? 서비스를 한다면 큰 모델은 학습용으로 두고 사용자에겐 작은 쪽을 내보내면 됩니다. 라벨이 모자라면 교사를 라벨 없는 입력에 돌려 그 출력으로 학습하면 됩니다.
작은 공개 모델을 받아 쓰신다면 거의 전부 더 큰 것에서 증류된 겁니다. 거대한 모델을 카드에 욱여넣어 주진 않습니다. 쓸 만한 작은 모델이 남죠.
마치기 전에 계보를 짚겠습니다. 갑자기 나온 논문이 아니거든요. 먼저 Model Compression이 나와, 점수를 베껴 여러 모델을 하나로 접었습니다. 여기서 더해진 게 온도, 손실 두 개, 그리고 둘을 잇는 증명입니다.
바로 뒤에 FitNets가 나와 교사의 중간층까지 따라 하게 했고요. 그다음 DistilBERT가 언어 모델을 40% 줄이고 점수의 97%를 지켰습니다.
논문은 몇 가지를 열어 두고, 그걸 분명히 밝힙니다. 보조 모델들은 끝내 원래의 큰 모델 하나로 합쳐지지 않았습니다. 온도는 손으로 고르고, 고르는 규칙은 제시되지 않습니다. 그리고 큰 모델을 먼저 만드는 비용은 예전 그대로입니다.
*장표 48~49번 · 영상 약 24분 지점*
다음 편으로 넘어가기 전에 세 가지만 기억해 주세요. 첫째, 가르침은 틀린 답 쪽에 있고 하드 라벨이 그걸 지웁니다. 둘째, 온도가 그 가르침을 읽히게 하고 제곱 인자가 그걸 살려 둡니다. 셋째, 학생은 본 적 없는 것도 물려받습니다. 저는 여기가 아직도 놀랍습니다.
아홉 편 중 첫 편은 여기까지이고, 다음 편은 다른 질문을 던집니다. 봐 주셔서 감사합니다.
| 용어 | 뜻 |
|---|---|
| 교사 모델 (teacher) | 먼저 학습시켜 둔 크고 정확한 모델. 학생을 가르치는 쪽입니다. |
| 학생 모델 (student) | 교사의 출력을 보고 학습하는 작은 모델. 실제로 서비스에 올라갑니다. |
| 하드 라벨 (hard label) | 정답 한 칸만 1이고 나머지는 전부 0인 원래 라벨. |
| 소프트 타깃 (soft target) | 교사가 모든 범주에 매긴 확률 전체. 틀린 답들의 상대적 크기가 가르침이 됩니다. |
| 온도 (temperature) | 소프트맥스에 들어가는 점수를 나누는 값. 키우면 작은 확률들이 드러납니다. |
| 암흑 지식 (dark knowledge) | 정답이 아닌 칸들에 담긴 범주 사이의 닮음 정보를 저자들이 부르는 말. |
| 앙상블 (ensemble) | 여러 모델의 예측을 평균 내는 방법. 정확하지만 그만큼 비쌉니다. |
| 전문가 모델 (specialist) | 헷갈리는 범주 묶음만 맡아 보는 모델. 일반 모델과 함께 씁니다. |
이 논문이 나온 해를 생각하면 다루는 모델은 지금 기준으로 아주 작습니다. 그런데도 여기서 나온 두 가지, 그러니까 큰 모델의 출력 분포를 학습 신호로 쓴다는 것과 온도로 그 분포를 읽는다는 것은 지금 쓰이는 작은 모델 대부분의 바탕에 그대로 남아 있습니다. 다음 편들에서 나올 방법들이 비트를 줄이고 행렬을 줄이는 동안, 이 편의 방법은 무엇을 가르칠지를 바꾸는 유일한 방법으로 남습니다.
2편에서는 질문이 한 단계 앞으로 갑니다. 이미 학습된 모델을 줄이는 대신, 애초에 어떤 크기로 학습했어야 했는지를 묻습니다.
영상에서 넘어가는 순서 그대로입니다. 장표는 영어로 만들었고, 글의 각 장이 어느 장표에 해당하는지 위 목차에 적어 두었습니다.
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.