시작 …
저장된 출력을 그대로 두고 채점 규칙만 바꾸면 갑자기 치솟던 곡선이 가장 작은 모델부터 꾸준히 오릅니다. 그리고 아무도 창발이라 부른 적 없는 영상 모델에서 같은 모양을 만들어 냅니다.
증거를 보기 전에 주장부터 말씀드리겠습니다.
치솟음을 보인 모델들이 저장해 둔 출력을 가져옵니다. 다시 생성하지 않고 모델도 건드리지 않습니다. 채점만 다르게 합니다. 새 채점 방식에서는 곡선이 가장 작은 모델부터 꾸준히 오릅니다. 절벽도, 놀람도, 앞선 모델에서 내다볼 수 없었던 것도 없습니다. 그래서 저자들은 갑작스러움이 재는 대상의 성질이 아니라 재는 방법의 성질이었다고 주장합니다.
숫자 셋이면 증거의 윤곽이 잡힙니다.
BIG-Bench는 과제 전반에 걸쳐 39가지 선호 지표를 보고합니다. 그 39개 중 치솟는 곡선을 만드는 것은 많아야 5개입니다. 그리고 저자들이 손으로 분류한 집합에서는 지표 2개가 사례의 92%를 넘게 차지합니다. 능력이 모델 안에 있다면 어느 지표를 고르든 상관없어야 합니다. 특정 지표 두 개에 사례가 몰려 있다는 사실 자체가 설명을 요구합니다. 그다음 논문은 방향을 돌려 영상 모델에서 새로운 창발 능력을 만들어 냅니다.
이 분야에서 창발(emergent)이라는 말은 꽤 정확한 정의를 갖고 있었습니다. 작은 모델에는 없고 큰 모델에는 있는 능력이라는 뜻이었습니다.
거기에 성질이 둘 따라붙습니다. 하나는 날카로움(sharpness)입니다. 중간 단계가 거의 없이 전환된다는 뜻입니다. 다른 하나는 예측 불가능성(unpredictability)입니다. 작은 모델들을 보고 있어도 그 전환이 언제 올지 내다볼 수 없었다는 뜻입니다.
두 성질 모두 모델이 좋아진다는 말이 아닙니다. 어떻게 좋아지는지에 대한 말입니다. 큰 모델이 작은 모델보다 잘한다는 데는 아무도 이견이 없었습니다. 다툼은 그 향상이 매끄러운지 갑작스러운지에 있었습니다.
*그래프 여덟 개 모두 같은 모양입니다. 곡선이 무작위 추측선에 오래 붙어 있다가 오른쪽 끝에서 들립니다.*
Figure 1이 애초에 이 주제를 만든 그림입니다. 그래프가 여덟 개이고, 앞선 창발 연구에서 그대로 가져왔습니다. 각 곡선이 얼마나 오래 바닥에 붙어 있는지를 보면 됩니다.
그래프마다 과제가 다르고, 선마다 모델 계열이 다릅니다. 과제에는 산술, 음차, 단어 풀기, 질의응답 같은 것들이 있습니다. 아래 축은 학습 연산량이고 로그 눈금으로 여섯 자릿수를 지납니다. 로그 눈금이라는 말은 한 칸 옮길 때마다 값이 열 배가 된다는 뜻이고, 그래서 아주 작은 모델과 아주 큰 모델을 한 그래프에 놓을 수 있습니다. 각 그래프의 빨간 점선은 무작위로 찍었을 때 받는 점수입니다. 보기가 넷인 문제라면 25% 자리에 그려집니다.
모든 곡선이 대부분 구간에서 그 점선에 붙어 있다가 오른쪽 끝에서 들립니다. 여덟 번 반복되는 그 모양이 논쟁의 대상 전부입니다.
그 그림이 사람들을 불편하게 만든 이유를 짚어 둘 만합니다.
매끄러운 곡선은 선을 맞춰 다음 모델이 어떨지 예상하게 해 줍니다. 평평하다 절벽이 나오는 모양은 절벽이 어디인지 알려 주지 않습니다. 모델을 두고 계획을 세우는 쪽에게는 곤란한 성질입니다. 다음 모델이 무엇을 할 수 있을지 모른 채로 자원을 넣어야 합니다.
안전 쪽에서는 더 나쁩니다. 갑자기 생긴 능력이 원치 않던 능력일 수도 있으니까요. 그래서 그 모양은 벤치마크 바깥에서도 많은 논증을 떠받치고 있었습니다.
논증을 따라가려면 용어 둘이 필요합니다.
하나는 교차 엔트로피 손실(cross-entropy loss)입니다. 모델이 다음에 올 토큰을 얼마나 잘 맞히는지를 재는 값인데, 정답 토큰에 높은 확률을 줬으면 작고 낮은 확률을 줬으면 큽니다. 점수가 아니라 벌점이라고 보면 됩니다. 다른 하나는 스케일링 법칙(scaling law)입니다. 모델을 키우고 데이터를 늘리면 그 손실이 거듭제곱 형태로 매끄럽게 줄어든다는 관찰입니다. 이 분야에서 가장 널리 재현된 경험 법칙 중 하나입니다.
여기서 눈여겨볼 점은 손실과 정확도가 다른 것을 잰다는 사실입니다. 손실은 토큰 하나 수준에서 연속적으로 움직입니다. 정확도는 답 전체가 맞았는지 틀렸는지를 셉니다. 둘은 같은 모델에 대해 전혀 다른 모양의 곡선을 그릴 수 있습니다.
지표가 무엇인지도 정확히 해야 합니다.
모델은 토큰 열을 내놓습니다. 산술 문제라면 숫자 문자열입니다. 지표는 그 문자열을 정답과 비교해 숫자 하나를 돌려줍니다. 여기서 중요한 것은 과제 자체가 비교 방식을 정해 주지 않는다는 점입니다. 연구자가 내리는 결정이고, 대개 깊이 생각하지 않고 내립니다. 이 논문은 그 결정이 얼마나 큰 영향을 미치는지에 대한 이야기입니다.
네 가지 지표가 반복해서 나오니 제대로 소개하겠습니다.
갈림길은 아깝게 틀린 것과 완전히 틀린 것을 다르게 보느냐입니다. 앞의 둘은 다르게 보지 않습니다. 뒤의 둘은 다르게 봅니다.
예를 들어 정답이 12345인데 모델이 12346을 내놓았다고 해 봅시다. 정확도는 0을 줍니다. 한 자리가 틀렸으니 전부 틀린 것과 같습니다. 편집 거리로 재면 다섯 자리 중 넷이 맞았으니 상당한 점수를 받습니다. 같은 출력이고 같은 모델인데 숫자가 전혀 다르게 나옵니다. 모델이 조금씩 좋아지는 동안 정확도는 계속 0을 돌려주다가 어느 순간 1로 뛰고, 편집 거리는 그 과정을 그대로 따라갑니다. 이 차이가 논문 전체의 씨앗입니다.
대안 설명은 허무할 만큼 단순합니다.
어느 크기에서도 모델 안에서 갑작스러운 일은 없다고 해 봅시다. 토큰 하나당 오류율이 스케일링 법칙대로 매끄럽게 줄기만 한다고 가정합니다. 논쟁적인 가정이 아닙니다. 표준적인 그림입니다. 이제 그 매끄럽게 좋아지는 모델을 완벽을 요구하는 규칙으로 채점해 봅니다. 논문은 다른 일 없이 그것만으로 계단이 생긴다고 주장합니다.
*가운데 열이 모델이고 양옆이 채점하는 두 가지 방식입니다. 양옆이 달라져도 가운데 열은 바뀌지 않습니다.*
Figure 2가 논증 전체를 지고 가는 그림이고, 들여다볼 가치가 있습니다. 가운데 열이 모델이고 양옆이 채점하는 두 가지 방식입니다. 양옆이 달라져도 가운데 열은 전혀 바뀌지 않는다는 점을 보면 됩니다.
맨 위 A는 교차 엔트로피 손실이 거듭제곱 법칙으로 줄어드는 모습입니다. 그 아래 B는 그것을 토큰 하나를 맞힐 확률로 바꿉니다. 그 확률은 꺾임 없이 1을 향해 매끄럽게 오릅니다. 거기서 왼쪽으로 가면 C와 D에 치솟는 곡선이 나옵니다. 오른쪽으로 가면 E와 F에서 같은 것이 꾸준히 오릅니다. 그림 넷, 바탕 모델 하나이고, 화살표가 채점 선택을 가리킵니다.
그 그림 뒤에는 짧은 대수가 있습니다. 풀어 볼 만합니다.
스케일링 법칙에서 출발합니다. 토큰당 손실이 크기의 거듭제곱으로 줄어듭니다. 손실을 확률로 바꾸면 토큰 하나가 맞을 확률이 나옵니다. 그 확률은 매끄럽게 오르고, 이 점은 논쟁에서 아무도 부정하지 않습니다. 그런데 정확도는 답의 모든 토큰이 동시에 맞아야 합니다. 그래서 그 오르는 확률을 필요한 토큰 수만큼 곱하게 됩니다.
실제 숫자로 곱해 보면 감이 바로 옵니다.
모델이 토큰 하나를 90% 확률로 맞힌다고 해 봅시다. 토큰 하나짜리 답은 0.9점이고, 쓸 만한 시스템처럼 보입니다. 같은 모델에 토큰 다섯 개를 요구하면 점수가 0.59로 떨어집니다. 0.9를 다섯 번 곱한 값입니다. 이제 모델을 개선해 토큰을 99% 확률로 맞히게 해 봅시다. 다섯 토큰 점수가 0.95로 뜁니다. 0.59에서 0.95로 올라간 것이고, 그래프에 그리면 절벽으로 보입니다.
모델에는 불연속한 일이 없었습니다. 토큰당 비율은 90%에서 99%로 매끄럽게 움직였을 뿐입니다. 지수가 나머지를 다 했습니다.
같은 개선을 곱하지 않고 더하는 지표에 통과시켜 보겠습니다.
편집 거리는 몇 개를 고쳐야 하는지 묻고 그것을 셉니다. 다섯 중 넷이 맞으면 0이 아니라 5분의 4만큼을 받습니다. 그러니 토큰당 비율이 좋아지면 점수에 곧바로 나타납니다. 논문은 이것이 기하급수가 아니라 대략 선형으로 변한다고 계산합니다. 같은 모델, 같은 출력인데 절벽이 없는 곡선이 나옵니다.
논문에는 둘째 원인도 있습니다. 더 평범하지만 똑같이 실제적입니다.
어려운 과제에서 작은 모델은 아예 못 하는 게 아니라 아주 드물게 해냅니다. 그런데 시험 문제가 1,000개면 0.001보다 작은 성공률은 아예 잴 수가 없습니다. 1,000개 중 하나도 못 맞히면 점수는 0으로 나오고, 0은 못 한다는 것처럼 보입니다. 실제로는 측정 장비가 바닥을 친 것일 수 있습니다. 전혀 다른 이야기입니다.
이 둘째 원인이 왜 치솟음으로 이어지는지도 짚어 두겠습니다. 작은 모델들이 전부 0으로 찍히면 그래프 왼쪽이 완전히 평평해집니다. 평평한 구간은 아무 정보를 담지 않는데, 보는 사람에게는 능력이 없다는 뜻으로 읽힙니다. 그러다 성공률이 측정 가능한 수준을 넘긴 첫 모델에서 점수가 처음으로 0을 벗어납니다. 그 지점이 전환점처럼 보입니다. 해법은 시험 문제를 늘리는 것뿐이고, 저자들은 실제로 그렇게 합니다.
실험을 돌리기 전에 저자들은 따라 나와야 할 것 셋을 적어 둡니다.
첫째, 선형 지표로 바꾸면 치솟음이 사라져야 합니다. 둘째, 시험 문제를 늘리면 작은 모델도 우연 이상이었음이 드러나야 합니다. 셋째, 정답 문자열이 길수록 예측 가능한 방식으로 더 가파르게 떨어져야 합니다.
미리 적어 둔 점이 좋습니다. 그래야 진짜 검증이 됩니다. 결과를 본 다음 설명을 붙이는 것과 설명을 먼저 적고 결과를 보는 것은 다른 일입니다. 셋 모두를 당시 공개 조회가 되던 GPT-3 계열에서 시험합니다.
*세 개씩 두 줄입니다. 두 줄의 차이는 지표뿐이고 모델 출력을 포함해 나머지는 전부 같습니다.*
Figure 3이 첫 예측을 시험하는데, 배치가 비교를 바로 보여 줍니다. 왼쪽 열은 앞서 본 수식 모형입니다. 가운데와 오른쪽은 실제 과제인 곱셈과 덧셈입니다.
위 줄에서는 선들이 바닥 근처에 있다가 가장 큰 모델에서 올라갑니다. 선은 정답 문자열 길이로 나뉘는데 1부터 5까지입니다. 긴 정답일수록 아래에 있고 늦게 오릅니다. 셋째 예측이 그대로 맞는 모습입니다. 아래 줄에서 편집 거리로 바꾸면 그 선들이 전부 꾸준히 오릅니다. 같은 출력에 다른 지표를 댔을 뿐인데 절벽이 없어집니다.
*지표는 여전히 정확도입니다. 바뀐 것은 시험 문제 수와 옆 축의 눈금입니다.*
Figure 4가 둘째 예측을 시험합니다. 지표는 여전히 정확도이고 바꾼 것이 없습니다. 바뀐 것은 시험 문제 수와 옆 축의 눈금입니다. 작은 모델이 실제로 어디에 있는지를 보면 됩니다.
옆 축이 로그라서 아주 작은 숫자가 보입니다. 시험 문제를 더 만들어 보면 계열의 모든 모델이 우연 이상을 냅니다. 0이었던 적이 없습니다. 앞선 시험 집합이 그 아래를 못 봤을 뿐입니다. 그리고 정답 길이에 따른 하락도 기하급수적이라 예측과 정확히 맞습니다.
저 두 그림이 무엇을 세우고 무엇을 못 세우는지 분명히 해 두겠습니다. 두 실험 어디에서도 출력을 다시 생성하지 않았습니다. 같은 모델 넷의 저장된 예측이 모든 그래프를 만들었습니다. 그러니 곡선이 무엇을 하든 모델이 한 일은 아닙니다. 제시한 두 원인이 모두 확인됐고 두 예측 다 맞았습니다. 이 계열에서는 강력한 결과입니다. 다만 모델 계열 하나로는 증명이 약하다는 반론이 남습니다.
창발 주장에 나온 모델 대부분은 외부에서 조회할 수 없습니다. 그래서 저자들은 BIG-Bench에 공개된 숫자로 갑니다. 그 벤치마크는 많은 과제, 많은 지표, 여러 모델 계열의 점수를 함께 싣고 있습니다.
저자들의 예측은 창발이 과제가 아니라 지표에 몰린다는 것입니다. 모델 안의 능력이라면 합리적인 어떤 채점에서도 나타나야 하기 때문입니다. 특정 과제들에 몰려 있다면 그 과제들이 어려운 것이고, 특정 지표들에 몰려 있다면 지표가 모양을 만든 것입니다.
*왼쪽 길쭉한 패널이 지표별 창발 점수이고, 오른쪽 원그래프 둘이 손으로 분류한 사례를 나눕니다.*
Figure 5가 그 조사 결과인데, 그래프 셋이 하나로 묶여 있습니다. 왼쪽 패널은 지표마다 줄을 하나씩 줍니다. 각 줄의 점들은 벤치마크 전 과제의 창발 점수입니다. 창발 점수는 곡선이 얼마나 치솟는 모양인지를 숫자 하나로 바꾼 값이고, 0이면 그런 모양이 없다는 뜻입니다. 거의 모든 줄이 0에 몰려 있고 오른쪽으로 나가는 것이 없습니다. 점이 뻗어 나가는 줄은 몇 개뿐이고, 많아야 5개입니다. 과제가 아니라 지표를 따라 줄을 세웠는데 특정 줄에만 점이 뻗는다는 것이 저자들이 예측했던 모양입니다.
오른쪽 위 원그래프는 창발을 보이는 지표 비율인데 10분의 1쯤입니다. 아래쪽 원그래프는 사례 자체를 나누는데, 두 조각이 거의 전부를 가져갑니다.
그 두 조각은 이름을 붙일 만합니다. 논증이 정확히 그것들을 예측했기 때문입니다. 하나는 객관식 채점입니다. 정답 보기에 확률이 가장 많이 실렸는지를 묻습니다. 계단 함수라서 확률이 조금만 바뀌어도 점수 전체가 뒤집힙니다. 다른 하나는 정확 문자열 일치입니다. 출력이 글자 하나까지 같은지를 묻습니다. 앞에서 풀어 본 전부 아니면 전무의 곱셈이 바로 이것입니다. 하나는 불연속이고 하나는 비선형인데, 둘이 사례의 92%를 넘게 가져갑니다.
*왼쪽 절반은 객관식 채점, 오른쪽 절반은 같은 출력에 Brier 점수를 쓴 결과입니다.*
Figure 6은 Figure 3이 산술에서 한 일을 벤치마크에서 합니다. 같은 공개 출력을 두 방식으로 채점해 나란히 놓습니다. 그 모델 계열이 창발로 보고됐던 과제 넷입니다.
왼쪽 절반은 객관식 채점으로 매겼습니다. 익숙한 모양이 보입니다. 평평하다가 큰 쪽에서 들립니다. 오른쪽 절반은 같은 출력에 Brier 점수를 씁니다. Brier는 연속이라 확률이 조금 바뀌면 점수도 조금 움직입니다. 그 채점에서는 곡선이 전환 없이 점진적으로 오릅니다. 같은 모델, 같은 예측인데 그 현상이 아예 없습니다.
여기서 멈췄어도 좋은 논문이었을 것입니다. 지표를 바꿔 치솟음을 없앤 것은 지표가 효과를 가릴 수 있음을 보여 줍니다. 그런데 거기에는 반론의 여지가 남습니다. 능력은 진짜였고 새 지표가 그것을 가린 것 아니냐고 말할 수 있습니다.
그래서 저자들은 반대로 갑니다. 아무도 창발을 주장한 적 없는 곳에 창발을 만들어 냅니다. 영상 모델에서 하는데, 아무도 그렇게 묘사한 적 없는 분야입니다. 그리고 바꾸는 것은 출력을 어떻게 채점하느냐뿐입니다.
*그래프 셋입니다. 맨 왼쪽은 공개된 언어 결과이고 나머지 둘은 저자들이 직접 돌린 오토인코더입니다.*
Figure 7이 그 시연의 첫 번째고 오토인코더를 씁니다. 오토인코더는 입력을 좁은 병목으로 압축한 뒤 다시 복원하는 신경망이고, 병목이 넓을수록 복원이 정확해집니다.
왼쪽 패널은 눈으로 비교하라고 넣은 참조입니다. 언어 벤치마크에서 보고된 창발 능력을 보여 줍니다. 가운데는 자연 영상으로 학습한 얕은 오토인코더입니다. 병목을 넓힐수록 복원 오차가 매끄럽게 줄어듭니다. 오른쪽은 똑같은 실행을 오차 문턱값으로 다시 채점한 것입니다. 문턱 아래 영상만 세면 곡선이 절벽으로 바뀝니다.
*구조를 바꿔 같은 수를 반복합니다. 왼쪽은 공개 참조, 가운데는 매끄러움, 오른쪽은 만들어 낸 창발입니다.*
Figure 8은 전혀 다른 구조로 같은 수를 반복합니다. 손글씨 문자를 분류하는 트랜스포머를 같은 배치로 놓았습니다.
가운데는 평범한 분류 정확도입니다. 트랜스포머 크기에 따라 예상대로 매끄럽게 오릅니다. 오른쪽은 여러 영상을 한꺼번에 맞혀야 하는 규칙으로 바꿉니다. 앞서 손으로 해 본 그 곱셈을 영상에 적용한 것입니다. 곡선이 아래에서 눕다가 들리고, 완전히 창발처럼 보입니다. 합성곱 신경망으로 한 세 번째 시연은 부록에 있습니다.
그 둘째 방향이 논리적으로 왜 그렇게 중요한지 짚어 둘 만합니다. 효과를 없앤 것은 증거를 없앤 거 아니냐는 반론을 늘 받습니다. 아무도 의심하지 않던 시스템에 만들어 내면 그 반론이 막힙니다. 능력 없이 지표만으로 그 모양을 만들 수 있음을 보여 주기 때문입니다. 구조 셋, 과제 셋이고 하나도 언어 모델이 아닙니다. 그것이 요지입니다. 이 효과는 언어가 아니라 측정에 대한 것입니다.
논문에는 받는 관심보다 중요한 별개의 우려가 하나 있습니다.
BIG-Bench에는 과제가 220개 넘게 있고 과제마다 지표가 40개쯤 됩니다. 거기에 모델 계열 10개쯤을 곱하면 조합이 100만 개 가까이 됩니다. 하나하나가 곡선이 우연히 갑작스러워 보일 기회입니다. 그런데 그만큼 여러 번 들여다본 데 대한 보정은 아무도 하지 않았습니다. 지표 논증과 별개로 그 자체가 문제입니다.
범위를 정확히 해야 합니다. 이 논문은 과장되어 인용되는 편입니다.
저자들은 창발 능력이 있을 수 없다고 주장하지 않는다고 직접 적습니다. 자기들이 들여다본 공개 사례들이 다르게 설명된다는 주장입니다. 특정 결과들에 대한 주장이고, 모델이 무엇을 할 수 있고 할 수 없는지에 대한 주장이 아닙니다.
엄격한 지표가 틀렸다고 말하지도 않습니다. 제품이 모든 자리를 맞혀야 한다면 엄격한 정확도가 필요한 숫자입니다. 열 자리 계산을 아홉 자리까지 맞히는 계산기는 쓸 수 없습니다. 쓰임에 따라 전부 아니면 전무가 맞는 채점일 때가 있습니다.
흔한 오독이 둘 있어서 짚고 가겠습니다. 첫째는 크기를 키워도 좋아지지 않는다는 주장으로 읽는 것인데, 아닙니다. 크기에 따른 매끄럽고 예측 가능한 향상이 이 논문이 지키는 그림입니다. 둘째는 앞선 연구가 결과를 속여서 보고했다고 비난한 것으로 읽는 것인데, 역시 아닙니다. 그 논문들은 자기들이 고른 지표가 보여 준 것을 정확히 보고했습니다. 다툼은 그 모양에서 무엇을 결론지어도 되느냐에 있습니다.
앞서 여러 연구진이 이 치솟음을 보고하고 현상에 이름을 붙였습니다. BIG-Bench 저자들도 뭔가 이상하다는 것을 알아챘습니다. 정확도가 갑작스럽게 오르는 자리에서 교차 엔트로피는 매끄럽다고 적어 두었습니다. 이 논문이 더한 것은 그 언급을 예측으로 바꿔 검증하고, 거기에 더해 효과를 직접 만들어 낸 것입니다. 그 뒤로 정확도 옆에 연속 지표를 함께 싣는 것이 평범한 관행이 됐습니다.
시리즈에서 이 편의 자리도 분명합니다. 1편은 풀이를 적게 하는 것이 어느 크기 이상에서만 통한다는 결과를 내놓으면서 그것을 창발 능력이라고 불렀습니다. 이 논문이 치는 바로 그 틀입니다. 2편과 3편은 그 위에 방법을 쌓았고 틀을 의심하지 않았습니다. 4편은 설명을 들여다보고 원인을 보고하지 않는다는 것을 찾았습니다. 5편은 그래프를 보고, 그 치솟음이 실재했는지를 묻습니다. 다음 편은 같은 칼을 적힌 단계 자체에 들이댑니다.
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.