시작 …
모델을 하나도 바꾸지 않고 몇 배 빠르게 만드는 편입니다. 어텐션이 만드는 정사각 표를 느린 메모리에 적었다 다시 읽는 대신, 조각으로 계산하고 표를 아예 적지 않습니다. 연산 횟수는 오히려 늘어나는데 더 빨라지는 이유를 메모리 계층부터 설명하고, 1년 뒤 나온 두 번째 논문의 세 가지 변경까지 다룹니다.
어텐션의 수식과 GPU 가 메모리와 연산 유닛으로 나뉘어 있다는 정도를 알면 충분합니다.
*장표 1~3번 · 영상 약 0분 지점*
작게 만들기 시리즈 7편이고, 이 시리즈에서 유일하게 성격이 다른 편입니다. 지금까지는 다 모델을 바꿨죠. 파라미터를 줄이고, 비트를 줄이고요. 이번 편은 모델을 하나도 안 바꾸고, 몇 배 빠르게 만듭니다.
논문 두 편이고 1년 간격이며, 둘 다 트리 다오 팀이 썼습니다. 첫 논문이 발상을 내놓고, 둘째 논문이 그걸 제대로 빠르게 만듭니다. 오른쪽 도식이 첫 논문의 Figure 1이고, 뒤에서 다시 보겠습니다.
세부로 들어가기 전에 전체를 먼저 말씀드립니다. 어텐션은 위치 쌍마다 값이 하나씩인 정사각 표를 만듭니다. 그 표를 느린 메모리에 썼다가 여러 번 다시 읽고요.
이 논문들은 같은 걸 조각으로 계산하고, 표를 아예 안 적습니다. 답은 똑같습니다. 메모리를 오가는 횟수만 줄어들죠.
첫 논문은 중간 크기 모델 학습이 3배쯤 빨라진다고 보고합니다. 그리고 어텐션이 쓰는 메모리가 길이 제곱으로 안 늘어납니다. 긴 입력에서는 표준 구현보다 메모리를 20배 덜 씁니다.
아주 긴 입력 과제 둘에서 처음으로 우연을 넘긴 모델도 내놓고요. 그리고 둘째 논문이 그걸 다시 2배쯤 빠르게 만듭니다.
*장표 4~6번 · 영상 약 1분 지점*
이 편의 자리를 짚고 가겠습니다. 다른 편들과 성격이 다르거든요. 1편부터 6편까지는 전부 뭔가를 맞바꿨습니다. 크기나 비트나 갱신값이죠. 여기엔 맞바꿈이 없습니다. 출력이 마지막 자리까지 같거든요.
아끼는 건 시간과 메모리이고, 대신 내주는 게 없습니다. 긴 입력이 메모리 문제가 아니게 된 게 이 논문 뒤부터라 시리즈에 넣었습니다.
이 층이 실제로 뭘 하는지부터 정리하겠습니다. 전부 여기 달렸으니까요. 행렬 셋이 들어가는데, 각각 입력 위치마다 한 행씩 있습니다. 첫 곱이 모든 위치를 다른 모든 위치와 짝지어 줍니다.
그 결과의 각 행을 합이 1인 가중치로 바꾸고요. 그 가중치를 셋째 행렬에 적용하면 층의 출력이 나옵니다.
이 층이 비싸다는 건 다 아는데, 이유는 대개 조금씩 틀립니다. 입력이 4천이면 가운데 표에 숫자가 1600만 개 들어갑니다. 한 층의 헤드 하나 기준인데, 모델에는 그게 수십 개씩 있죠.
흔한 설명은 연산량이 제곱으로 는다는 건데, 맞는 말입니다. 그런데 저자들이 재어 보니, 시간은 전혀 다른 데로 갑니다.
*장표 7~10번 · 영상 약 3분 지점*
그림 1 읽기
>
Figure 1에는 생각 세 가지가 들어 있어서, 하나씩 보겠습니다. 왼쪽은 장비 한 장의 메모리 세 단계를 피라미드로 그린 것입니다. 가운데는 이 논문의 반복문인데, 블록이 위로 올라가는 모습입니다.
>
오른쪽은 실제 어텐션 층에서 시간이 어디로 가는지 잰 것이고요. 나머지 전부의 동기가 되는 게 바로 그 오른쪽 칸입니다.
>
Figure 1 피라미드 꼭대기는 20메가바이트에 초당 19테라바이트입니다. 그 아래는 40기가바이트에 초당 1.5테라바이트고요. 빠른 쪽이 2000배 작고 13배쯤 빠른 셈입니다.
>
오른쪽에서 행렬 곱 두 개는 짧은 막대입니다. 긴 쪽은 드롭아웃과 소프트맥스와 마스킹인데, 계산량은 거의 없습니다.
방금 그 지점을 잠깐 붙들고 가겠습니다. 연산을 거의 안 하는 작업들이 시간을 대부분 먹고 있습니다. 그건 어딘가에서 숫자가 오기를 기다린다는 뜻밖에 안 됩니다.
커널이 건드리는 숫자는 전부 크고 느린 메모리에서 올라와야 하거든요. 그래서 물어야 할 건 연산 횟수가 아니라 왕복 횟수입니다.
보통 구현이 몇 번 왕복하는지 세어 보면 문제가 바로 보입니다. 가운데 표를 통째로 계산해서 전부 적어 둡니다. 그다음 소프트맥스를 걸려고 전부 다시 읽고, 또 적고요.
그리고 값 행렬과 곱하려고 세 번째로 읽습니다. 제곱 크기 데이터를 세 번 훑습니다. 층 하나의 헤드 하나에서요.
*장표 11번 · 영상 약 5분 지점*
그래서 제안은 들리는 그대로 단순합니다. 그 표를 어디에도 안 적습니다. 순전파에서도 역전파에서도요. 위치 블록을 하나 가져와, 표의 그 귀퉁이를 빠른 메모리에서 계산합니다.
그걸로 출력을 갱신하고, 귀퉁이는 버리고 다음 걸 가져오죠. 여기에 걸림돌이 하나 있는데, 소프트맥스입니다.
*장표 12~13번 · 영상 약 5분 지점*
소프트맥스는 그냥 지수를 취하지 않습니다. 행의 최댓값을 먼저 빼죠. 그 단계가 없으면 지수가 넘쳐서, 모든 구현이 그렇게 합니다. 그런데 행 전체를 보기 전에는 최댓값을 알 수가 없습니다.
블록은 행의 귀퉁이 하나이지 행 전체가 아니고요. 그래서 생각 없이 블록으로 짜면 데이터를 두 번 훑어야 합니다.
해법은 진행하면서 스스로 고치는 소프트맥스입니다. 행마다 숫자 둘을 들고 있습니다. 지금까지의 최댓값과 누적 합이죠. 새 블록이 오면 최댓값이 전보다 커질 수 있습니다.
그러면 이미 가진 합이 잘못된 기준으로 계산된 거고요. 거기에 지수 하나를 곱하면 정확히 고쳐집니다. 근사가 전혀 없고요.
*장표 14~15번 · 영상 약 6분 지점*
그게 있으면 반복문은 간단합니다. 바깥 반복문이 둘째와 셋째 행렬의 블록을 훑습니다. 안쪽 반복문이 첫 행렬의 블록을 훑고, 모든 짝이 정확히 한 번 만나고요.
만날 때마다 출력과 두 숫자를 빠른 메모리에서 갱신합니다. 블록 크기는 쓰는 게 전부 20메가에 들어가도록 고릅니다.
학습에는 역전파가 필요한데, 역전파는 그 표를 원합니다. 하필 일부러 안 적어 둔 바로 그것이죠. 그래서 출력과 행당 숫자 둘로 다시 만듭니다.
표준 구현은 안 해도 되는 연산을 더 하는 셈이고요. 그래도 더 빠릅니다. 시간을 먹던 게 연산이 아니었으니까요.
*장표 16~18번 · 영상 약 7분 지점*
화면의 식이 두 방식의 메모리 이동량을 센 것입니다. 왼쪽이 이 방법인데, 나누는 값이 빠른 메모리의 크기입니다. 드문 일이죠. 알고리즘 비용이 캐시 크기에 달리는 경우는 잘 없습니다.
오른쪽이 표준 방식인데, 제곱이 나뉘지 않고 그대로 있습니다. 그들 설정에서는 이동량이 9배쯤 줄어듭니다.
그림 2 읽기
>
Figure 2는 셋인데, 왼쪽 작은 표를 외워 둘 만합니다. 표준 구현과 이 방법을 세 가지 척도로 비교합니다. 연산량, 메모리 이동량, 그리고 층이 실제로 걸린 시간입니다.
>
가운데 칸은 블록 크기를 훑는데, 이 방법의 유일한 손잡이죠. 오른쪽 칸은 희소판인데, 그건 따로 다루겠습니다.
>
Figure 2에서 연산량은 66.6에서 75.2로 오릅니다. 메모리 이동량은 40.3기가바이트에서 4.4로 떨어지고요. 층은 41.7밀리초에서 7.3밀리초가 됩니다. 5배가 넘죠.
>
일은 늘고 이동은 줄고 속도는 크게 올랐습니다. 주장이 한 줄에 다 있습니다. 가운데 칸에서 블록이 커지면 이동량은 계속 줄지만 시간은 더 안 좋아집니다.
*장표 19~21번 · 영상 약 9분 지점*
희소판은 작은 추가인데, 나머지와 떼어 놓을 가치가 있습니다. 표의 한 블록이 통째로 가려지면, 아예 가져오지도 계산하지도 않습니다. 블록의 5분의 4를 건너뛰면 이동량도 그만큼 줄고요.
다만 이건 정확하지 않습니다. 건너뛴 위치들은 서로를 정말 못 보니까요. 그래서 정확하다는 주장은 전부 조밀한 판에만 해당합니다.
그림 3 읽기
>
Figure 3은 이 방법을 앞서 나온 근사 방법들 옆에 놓습니다. 몇 년 동안 어텐션을 싸게 하는 방법은 비슷한 걸 계산하는 거였죠. 방법 여섯이 그려져 있고, 대부분이 층의 계산을 바꿉니다.
>
왼쪽 칸은 입력 길이에 대한 실행 시간이고, 로그 눈금입니다. 오른쪽 칸은 메모리인데, 차이가 가장 큰 곳입니다.
>
Figure 3의 빨간 동그라미는 이 방법이 각 근사를 앞지르는 지점입니다. 전부 512 근처인데, 요즘 기준으로는 짧은 길이죠. 그 지점을 넘으면 정확한 방법이 근사들보다 빠릅니다.
>
오른쪽에서 메모리 차이는 어떤 방법 대비 20배까지 벌어지고요. 몇 년의 근사 연구 끝에, 정확한 쪽이 빠른 쪽이었던 겁니다.
*장표 22번 · 영상 약 10분 지점*
정확하다는 말을 분명히 해 두고 싶습니다. 느슨하게 쓰이는 말이라서요. 출력이 표준 구현과 수치 정밀도 수준에서 일치합니다. 조밀한 판에는 정확도와 속도를 맞바꾸는 설정이 전혀 없고요.
그래서 이어질 표들의 정확도 열이 심심하게 보입니다. 학습되는 모델이 같으니 값이 같을 수밖에 없습니다.
*장표 23~28번 · 영상 약 11분 지점*
표 1 읽기
>
Table 1이 첫 결과인데, 논문에서 가장 밋밋한 결과입니다. 인코더 모델을 정해진 정확도에 닿을 때까지 학습시킵니다. 목표는 공개 벤치마크가 정해서, 비교 상대가 기록 보유 구현입니다.
>
줄은 둘뿐입니다. 기록 구현과, 거기에 이 방법을 넣은 것이죠. 값에 오차 범위가 붙어 있는데, 차이가 작을 때는 중요합니다.
>
Table 1에서 기록 구현이 20.0분이고, 오차가 1.5분입니다. 이 방법을 쓰면 17.4분이고, 오차가 1.4분이고요. 15%쯤인데, 실제 이득이지만 이 논문을 기억하게 한 숫자는 아닙니다.
>
작게 나온 이유는 그 벤치마크가 쓰는 입력 길이 때문입니다. 짧아서 어텐션이 전체 시간에서 차지하는 비중이 작거든요.
표 2 읽기
>
Table 2는 생성 모델과 훨씬 큰 말뭉치로 넘어갑니다. 모델 크기 둘이고, 각각 구현 세 가지로 학습시킵니다. 첫째는 널리 쓰는 라이브러리, 둘째는 최적화된 연구용 코드입니다.
>
비교 상대가 어설픈 코드가 아니라는 점이 읽을 때 중요하고요. 품질 열을 먼저 보세요. 이 실험의 통제 변인이니까요.
>
Table 2에서 작은 모델은 세 구현 모두 18.2에 닿습니다. 모델과 데이터가 같으니 품질도 같습니다. 시간은 9.5일, 4.7일, 2.7일입니다.
>
라이브러리보다 3.5배, 연구용 코드보다 1.7배 빠른 셈이죠. 중간 모델은 21.0일, 11.5일, 6.9일로 3배입니다.
표 3 읽기
>
Table 3은 긴 입력을 시험하려고 만든 벤치마크입니다. 과제가 다섯이고, 입력 길이는 1천에서 4천 사이고요. 근사 방법들이 다들 겨냥하던 바로 그 벤치마크입니다.
>
그래서 표에 근사 7개와 표준 모델, 그리고 이 방법이 들어 있습니다. 볼 열은 둘입니다. 평균 정확도와 표준 모델 대비 속도죠.
>
Table 3에서 표준 모델이 과제 다섯 평균 59.3입니다. 이 방법은 59.8인데, 같은 모델이라 잡음 범위입니다. 속도 열은 조밀한 판이 2.4배라고 적혀 있고요.
>
희소판은 2.8배인데, 정확함을 내주고 얻은 값입니다. 그 아래 근사 7개는 전부 정확한 방법보다 느립니다.
*장표 29~34번 · 영상 약 13분 지점*
표 4 읽기
>
Table 4는 아낀 걸 저금하지 않고 쓰는 쪽을 택합니다. 저는 이게 좋습니다. 학습이 2배 빨라지면 일찍 끝내거나, 더 많은 걸 학습시킬 수 있죠. 여기서 더는 긴 문맥인데, 보통 어텐션 때문에 감당이 안 되는 것입니다.
>
줄이 넷이고, 문맥이 1천에서 4천 토큰까지 갑니다. 혼란도와 일수를 같이 보세요. 맞바꿈이 그 둘 사이에 있습니다.
>
Table 4의 기준은 1천 토큰 문맥에 18.2이고, 4.7일이 걸립니다. 같은 문맥을 이 방법으로 하면 18.2에 2.7일인데, 이미 본 값이죠. 문맥을 2배로 하면 17.6에 3.0일입니다.
>
문맥을 4배로 하면 17.5에 3.6일이고요. 기준보다 짧은 시간에, 더 긴 문맥으로, 더 좋은 품질이 나옵니다.
표 5 읽기
>
Table 5는 긴 문맥이 실제로 도움이 되냐고 묻습니다. 당연한 질문이죠. 진짜 긴 문서로 된 데이터셋 둘을 씁니다. 하나는 의료 기록, 다른 하나는 법원 판결문입니다.
>
열은 입력 길이를 512에서 1만 6천까지 2배씩 늘립니다. 열마다 따로 학습한 거라, 이 표는 비쌉니다.
>
Table 5에서 의료 데이터는 가장 짧을 때 52.8에서 가장 길 때 57.1입니다. 4.3점인데, 모델이 한 번에 더 보게 한 것뿐입니다. 판결문 데이터는 72.2에서 80.7로, 8.5점이고요.
>
가장 긴 설정에서는 살짝 떨어지는데, 저자들이 그걸 가리지 않습니다. 요지는 그 이득이 원래 있었는데 아무도 감당을 못 했다는 겁니다.
표 6 읽기
>
Table 6이 두 논문 통틀어 제가 가장 좋아하는 표입니다. 과제 둘인데, 입력 길이가 1만 6천과 6만 4천입니다. 입력 전체를 쓰지 않으면 풀 수 없게 만들어진 과제들이고요.
>
줄이 아홉인데, 위의 일곱이 근사를 포함한 기존 모델들입니다. 칸에는 점수 아니면 가위표가 있는데, 가위표에 분명한 뜻이 있습니다.
>
Table 6에서 가위표는 찍는 것보다 못했다는 뜻입니다. 위의 일곱 줄은 두 열 모두 가위표로 채워져 있고요. 이 방법이 첫 과제에서 61.4인데, 그 열의 첫 실제 숫자입니다.
>
희소판은 56.0과 63.1이라, 더 긴 과제도 넘습니다. 새 구조도 새 목적함수도 아닙니다. 감당할 수 있게 된 입력이 전부죠.
*장표 35~38번 · 영상 약 16분 지점*
이제 1년쯤 뒤에 나온 둘째 논문입니다. 첫 논문은 다른 것들보다 몇 배 빨랐는데, 한계와는 한참 멀었습니다. 저자는 그걸, 단순 행렬 곱 성능의 4분의 1쯤이라고 봅니다.
그 간격은 수식과 무관합니다. 여기서 수식은 하나도 안 바뀌거든요. 장비의 어느 부분이 어느 일을 맡느냐의 문제입니다.
세 가지 변경을 따라가려면 장비에 대한 사실 하나가 필요합니다. 요즘 장비에는 행렬 곱만 하는 전용 유닛이 있습니다. 나머지는 범용 유닛에서 돌죠. 지수, 나눗셈, 비교 같은 것들이요.
저자는 둘의 처리량 비를 16대 1쯤으로 잡습니다. 나눗셈 한 번이 곱셈 덧셈 16번어치 비용이라는 뜻입니다.
두 번째 논문 그림 1 읽기
>
둘째 논문의 Figure 1이 그걸 염두에 두고 순전파를 다시 그립니다. 왼쪽에 쿼리 블록 하나가 있고, 그 행이 끝날 때까지 머뭅니다. 위쪽으로 키 블록들이 하나씩 들어오고요.
>
점선 상자는 빠른 메모리에만 있고 밖으로 안 나가는 값들입니다. 그리고 되맞춤이 그림 오른쪽으로 옮겨 갔습니다.
>
Figure 1을 보면, 첫 논문은 블록마다 누적 합으로 나눴습니다. 그 나눗셈은 행렬 곱이 아니라서 느린 유닛으로 갑니다. 여기서는 출력을 정규화하지 않은 채로 쌓습니다.
>
나눗셈은 행이 끝날 때 한 번만 하고, 그림 오른쪽이 그 부분입니다. 답은 같고, 비싼 연산이 블록마다가 아니라 행마다 한 번입니다.
*장표 39~45번 · 영상 약 18분 지점*
그게 세 변경 중 첫째이고, 서류상으로는 가장 작습니다. 그런데 가장 안쪽 반복문을 건드려서, 보기보다 값이 큽니다. 둘째 논문은 행당 숫자도 둘이 아니라 하나만 저장합니다.
최댓값과 합을 역전파용 값 하나로 합치는 거죠. 출력은 하나도 안 바뀝니다. 느린 연산의 개수만 바뀌고요.
둘째 변경은 장비가 얼마나 바쁜지에 관한 것입니다. 장비는 독립적인 스레드 묶음을 여러 개 동시에 돌립니다. 묶음이 프로세서보다 적으면 장비 일부가 그냥 놉니다.
첫 논문은 일을 배치와 어텐션 헤드로 나눴고요. 배치가 크면 충분한데, 입력이 길면 턱없이 모자랍니다.
두 번째 논문 그림 2 읽기
>
둘째 논문의 Figure 2가 양방향의 분할을 보여 줍니다. 격자가 어텐션 표이고, 그림에서는 작업자 5명이 나눠 갖습니다. 아래쪽만 채워져 있는데, 앞을 못 보는 모델이라서입니다.
>
왼쪽 칸이 순전파, 오른쪽 칸이 역전파입니다. 분할 방향이 서로 다른데, 그 이유를 한 문장 할 가치가 있습니다.
>
Figure 2에서 순전파는 작업자마다 블록 한 줄을 줍니다. 줄끼리는 서로 필요한 게 없어서, 기다릴 일이 없고요. 계단 모양이라 작업량이 고르지 않은데, 저자가 그걸 짚습니다.
>
역전파는 반대 축으로 나눕니다. 키와 밸류에 값을 누적하는데, 그 방향이 반대라서입니다.
셋째 변경은 스레드 묶음 하나의 안쪽에서 일어납니다. 묶음은 다시 작은 단위로 나뉘는데, 보통 네 개가 발맞춰 돕니다. 첫 논문은 단위마다 쿼리 조각과 키 전부를 줬습니다.
그러면 단위마다 부분 결과가 나와서, 서로 더해야 하고요. 더하려면 공유 메모리에 쓰고 다시 읽어야 하는데, 순수한 낭비입니다.
두 번째 논문 그림 3 읽기
>
둘째 논문의 Figure 3이 두 배치를 나란히 그립니다. 왼쪽 절반이 첫 논문, 오른쪽 절반이 이 논문입니다. 연한 파란 블록은 묶음의 모든 단위가 같이 쓰는 것이고요.
>
주황 블록은 나뉘어서, 단위마다 조각이 하나씩 갑니다. 그림이 답하는 건, 어느 행렬이 주황이 되느냐입니다.
>
Figure 3 왼쪽은 키를 나누고 쿼리를 공유합니다. 단위마다 모든 쿼리를 건드려서, 출력 행마다 조각이 생기고요. 그 조각들을 밖에 쓰고 더해야 다음으로 갈 수 있습니다.
>
오른쪽은 반대로 쿼리를 나누고 키를 공유합니다. 이제 단위마다 출력 행을 통째로 가져서, 공유할 게 없습니다.
*장표 46~55번 · 영상 약 22분 지점*
두 번째 논문 그림 4 읽기
>
둘째 논문의 Figure 4가 벤치마크 그림 넷 중 첫째입니다. 이건 순전파와 역전파를 같이 재는데, 학습이 하는 일이죠. 칸이 넷인데, 헤드 차원 둘과 마스킹 여부 둘입니다.
>
칸마다 여러 입력 길이에서 막대가 있고, 512부터 시작합니다. 축은 초당 연산인데, 이 장비에서 상한이 312쯤입니다.
>
Figure 4의 막대는 단순 구현부터 이 방법까지 늘어서 있습니다. 중간에 기존 라이브러리 둘이 있고, 첫 논문이 두 번째로 높습니다. 이 방법은 모든 칸의 모든 길이에서 가장 높은 막대입니다.
>
첫 논문 대비 2배쯤인데, 그게 대표 숫자고요. 단순 구현과의 차이는 그보다 훨씬 큽니다.
두 번째 논문 그림 5 읽기
>
둘째 논문의 Figure 5는 순전파만 떼어 냅니다. 학습이 아니라 서비스를 한다면 중요한 건 이쪽이죠. 배치가 같아서 칸끼리 일대일로 비교할 수 있습니다.
>
같은 구현, 같은 길이, 같은 축이고요. 달라지는 건 차이의 크기입니다.
>
Figure 5에서는 차이가 합쳐서 잴 때보다 넓습니다. 되맞춤이 빠지면 순전파는 거의 전부 행렬 곱이 됩니다. 그래서 장비가 낼 수 있는 성능에 더 가까이 갑니다.
>
저자는 그 한계의 50에서 73% 사이에 닿았다고 보고하고요. 하드웨어에 얼마나 붙었냐고 물으면 그 숫자를 대면 됩니다.
두 번째 논문 그림 6 읽기
>
둘째 논문의 Figure 6은 역전파만 떼어 냅니다. 그 과정은 어텐션 가중치를 다시 만들고 기울기 셋을 누적합니다. 그래서 행렬 곱이 아닌 일이 더 많이 들어 있고요.
>
같은 구현들을 같은 설정 격자에서 비교합니다. 결과는 앞 그림의 거울상입니다.
>
Figure 6에서도 이 방법이 어디서나 앞서는데, 차이가 작습니다. 이유는 앞 그림이 암시한 그대로고요. 행렬 곱이 아닌 일이 많으면, 이런 방식으로 개선할 여지가 적습니다.
>
저자가 그걸 숨기지 않는데, 맞는 선택이라고 봅니다. 학습 시간은 이 과정이 지배하니, 작은 차이가 여전히 비용을 가릅니다.
두 번째 논문 그림 7 읽기
>
둘째 논문의 Figure 7은 첫 벤치마크를 신형 장비에서 반복합니다. 이런 작업은 특정 장비에 맞춰 조율되기 때문에 중요하죠. 한 세대에서 이기던 방법이 다음 세대로 안 옮겨 가기도 합니다.
>
칸과 막대가 같아서 두 그림을 바로 겹쳐 볼 수 있고요. 축의 눈금만 다릅니다. 장비 자체가 빠르니까요.
>
Figure 7에서 막대 순서는 앞선 장비와 똑같습니다. 이 방법이 여전히 모든 칸, 모든 길이에서 가장 높고요. 절댓값은 더 큰데, 그건 장비 덕이지 방법 덕이 아닙니다.
>
저자는 이 판이 그 장비의 새 기능을 안 쓴다고 분명히 밝힙니다. 정직한 말이고, 다음 판이 거기서 나왔습니다.
두 번째 논문 표 1 읽기
>
둘째 논문의 Table 1이 그 안의 유일한 전체 측정입니다. 앞의 전부는 어텐션 층 하나를 따로 잰 것이었죠. 여기서는 모델 전체를 학습시키는데, 사람들이 정말 보는 건 이쪽입니다.
>
모델 크기 둘이고, 각각 짧은 문맥과 긴 문맥입니다. 열은 셋입니다. 아무것도 없을 때, 첫 논문, 둘째 논문이고요.
>
Table 1에서 작은 모델이 아무것도 없이 짧은 문맥에서 142입니다. 긴 문맥에서는 같은 모델이 72로 떨어지는데, 흔한 양상이죠. 첫 논문을 쓰면 그게 189와 170이 됩니다.
>
둘째 논문을 쓰면 196과 220이 되고요. 긴 문맥이 짧은 문맥보다 빠른데, 전에는 없던 일입니다.
*장표 56~58번 · 영상 약 27분 지점*
한계가 넷인데, 넷 다 짚을 가치가 있습니다. 전부 한 업체의 장비에 맞춰 쓰였습니다. 블록 크기까지요. 희소판은 정확하지 않은데, 둘이 자꾸 뒤섞여 이야기됩니다.
둘째 논문은 시험한 장비의 최신 명령을 쓰지 않습니다. 그리고 두 논문 다 모델 품질에 대해서는 아무 말도 못 합니다.
직접 쓰실 때 가져갈 것만 정리하겠습니다. 아마 이미 쓰고 계실 겁니다. 아셨든 모르셨든요. 그래도 정말 켜져 있는지는 확인할 가치가 있습니다.
헤드 차원이 특이하거나 지원 안 되는 마스크면 느린 길로 돌아가거든요. 그리고 긴 문맥이 도움이 될 과제라면, 이제 해 볼 만한 실험입니다.
계보를 한 장으로 보겠습니다. 앞에는 근사 어텐션이 몇 년 있었죠. 정확도를 비용과 맞바꾸는 것들이요. 첫 논문이 정확한 판을 그 근사들보다 빠르게 만들었습니다.
둘째는 수식을 하나도 안 바꾸고 첫 논문을 2배로 만들었고요. 뒤에는 신형 장비용 셋째 판과, 서비스를 겨냥한 같은 발상들이 나옵니다.
*장표 59~60번 · 영상 약 28분 지점*
시리즈 마지막 두 편으로 가기 전에 세 가지만 남기겠습니다. 첫째, 연산 횟수가 아니라 메모리 왕복 횟수를 세세요. 첫 논문은 대체 대상보다 연산을 더 하면서 5배 빠릅니다.
둘째, 다시 만드는 게 들고 있는 것보다 쌀 수 있습니다. 셋째, 일을 어떻게 배치하냐가 알고리즘만큼 값어치를 합니다.
아홉 편 중 일곱 번째는 여기까지이고, 다음 편은 토큰이 나오는 방식을 바꿉니다. 봐 주셔서 감사합니다.
| 용어 | 뜻 |
|---|---|
| HBM | GPU 에 붙은 큰 메모리. 용량은 크고 속도는 상대적으로 느립니다. |
| SRAM | 연산 유닛 바로 옆의 작은 메모리. 아주 빠르고 아주 작습니다. |
| IO 인지 (IO-aware) | 연산 횟수가 아니라 메모리 왕복 횟수를 기준으로 알고리즘을 설계하는 것. |
| 타일링 (tiling) | 큰 계산을 작은 블록으로 쪼개 빠른 메모리 안에서 처리하는 것. |
| 재계산 (recomputation) | 저장해 두는 대신 역전파 때 다시 계산하는 것. |
| 온라인 소프트맥스 | 전체를 보지 않고 블록을 지나가며 최댓값과 합을 갱신하는 방식. |
| 워프 (warp) | GPU 에서 함께 움직이는 스레드 묶음. |
| 정확한 어텐션 (exact) | 근사가 아니라 원래 수식과 같은 값을 내는 구현. |
이 두 논문이 특이한 점은 모델을 하나도 바꾸지 않는다는 것입니다. 같은 수식, 같은 답, 같은 가중치인데 몇 배 빨라집니다. 그래서 효율화 시리즈 안에서도 성격이 다릅니다. 다른 편들이 무엇을 계산할지를 바꾼다면 이 편은 그것을 어떻게 메모리에 올릴지를 바꿉니다. 지금 쓰이는 거의 모든 학습 프레임워크에 이 구현이 기본으로 들어가 있습니다.
8편에서는 호출 한 번을 싸게 만드는 대신, 호출 자체를 덜 하게 만듭니다.
영상에서 넘어가는 순서 그대로입니다. 장표는 영어로 만들었고, 글의 각 장이 어느 장표에 해당하는지 위 목차에 적어 두었습니다.
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.