시작 …
프롬프트에 붙이는 예시에서 답만 있던 자리를 답까지 가는 단계로 바꿉니다. 학습도 없고 새 데이터도 없는데 GSM8K 점수가 18점에서 57점으로 올라갑니다.
풀이 과정이 적힌 예시 문제 몇 개를 모델에 보여 주면, 모델도 단계를 밟아 적기 시작하고 최종 정답률이 올라갑니다. 이것이 논문 전체입니다.
학습은 한 군데도 없습니다. 가중치는 그대로이고, 새 데이터를 모으지도 않습니다. 저자들은 손으로 쓴 예시 여덟 개를 만들어 논문에 나오는 수학 벤치마크 전부에 그대로 썼습니다. 결과의 크기에 비하면 아주 작은 손질입니다.
이 논문의 간판은 숫자입니다. 초등학교 수준 문장제를 모아 둔 GSM8K에서 PaLM 540B는 평범한 프롬프트로 18점을 받았습니다. 예시만 바꿔 쓴 같은 모델이 57점을 냈습니다. 모델은 그대로이고, 시험 문제도 그대로입니다.
그 직전 기록은 55점이었습니다. 이 과제로 학습시킨 GPT-3에 답을 채점하는 보조 모델을 붙여 얻은 점수였습니다. 그러니까 프롬프트 한 벌이 학습 데이터와 추가 학습 모델을 동원한 쪽을 넘어선 셈입니다. 같은 흐름이 산술 밖의 과제에서도 나타나는데, 그 부분은 뒤에서 따로 보겠습니다.
방법을 보기 전에 모델이 무엇을 하고 있는지부터 맞추고 가겠습니다. 입력한 글은 토큰이라는 작은 조각으로 잘려 들어갑니다. 모델은 조각 하나를 고르고, 그것을 뒤에 붙이고, 전체를 다시 읽고, 또 하나를 고릅니다. 말을 시작하기 전에 따로 계산을 해 두는 공간이 있는 것이 아닙니다.
그래서 단계를 적지 않으면 단계가 일어날 자리 자체가 없습니다. 이 문장이 논문의 출발점입니다.
두 번째로 맞춰 둘 것은 프롬프트가 무엇인가입니다. 가장 단순하게는 질문만 보내고 답의 형식이 맞기를 바라는 방식입니다. 흔히 쓰는 대안은 이미 풀린 문제 몇 개를 질문 위에 붙여 주는 것입니다. 모델은 그 예시들을 읽고 같은 형식을 이어서 씁니다. 이것을 few-shot 프롬프팅이라고 부릅니다.
여기서 학습은 일어나지 않습니다. 예시는 입력 안에 들어 있다가 답이 끝나면 사라집니다.
예시 하나가 실제로 어떻게 생겼는지 보겠습니다. 왼쪽에 Roger와 테니스공에 대한 문제가 있고, 그 아래에 한 줄짜리 답이 붙어 있습니다. 오른쪽에는 새로 풀게 할 문제가 있고 답 자리는 비워 둡니다. 모델이 본 예시가 전부 한 줄로 끝났으니, 모델이 쓰는 답도 한 줄로 끝납니다. 이것이 기존 방식의 전체 구조입니다. 모델은 앞에 놓인 형식을 그대로 따라 합니다.
이제 벤치마크를 보겠습니다. 이 논문의 핵심 근거가 여기에 있습니다. 수학 문장제는 평범한 말로 쓰인 짧은 이야기이고 숫자로 끝납니다. GSM8K의 문제들은 두 단계에서 여덟 단계가 필요하고, 각 단계는 사칙연산입니다. 데이터셋을 만든 사람들은 똑똑한 중학생이면 전부 풀 수 있다고 말합니다.
그런데 모델은 앞으로만 써 나갑니다. 초반에 숫자 하나를 잘못 잡으면 그것이 끝까지 따라갑니다. 논문은 이런 문제집을 다섯 개 쓰는데, GSM8K부터 훨씬 쉬운 MAWPS까지 걸쳐 있습니다.
조금 뒤에 나오는 그림을 읽으려면 용어 두 개가 필요합니다. 하나는 미세 조정(finetuning)입니다. 이미 학습이 끝난 모델에 특정 과제의 데이터를 더 먹여 가중치를 갱신하는 것입니다. 모델 자체가 바뀌니 그 과제에서는 강해지지만, 과제마다 데이터를 모아야 하고 학습을 한 번씩 더 돌려야 합니다.
다른 하나는 채점 모델(verifier)입니다. 답을 만드는 모델과 별도로, 어떤 답이 맞을 것 같은지 점수를 매기도록 학습시킨 모델입니다. 쓰는 방법은 이렇습니다. 본 모델에 같은 문제를 여러 번 풀게 해서 후보를 많이 만들고, 채점 모델이 그 후보들에 점수를 매기고, 점수가 가장 높은 것을 최종 답으로 내놓습니다. 후보를 다시 줄 세우는 이 방식을 재순위화(reranking)라고 부릅니다. 성능은 올라가지만 모델을 두 개 들고 있어야 하고, 채점 모델을 학습시킬 데이터도 따로 필요합니다. 이 논문이 넘어서려는 직전 기록 55점이 바로 이 구성에서 나온 숫자입니다.
설정 하나를 더 짚겠습니다. 보기보다 중요한 부분입니다. 같은 프롬프트가 문제집의 모든 문제 앞에 붙습니다. 문제마다 프롬프트를 손보는 일은 없습니다. 디코딩은 매번 확률이 가장 높은 토큰을 집는 방식인데, 이것을 그리디 디코딩이라고 부릅니다. 무작위로 뽑는 과정이 없으니 같은 입력에서 늘 같은 출력이 나오고, 그래서 점수가 재현됩니다. 2편에서는 바로 이 규칙을 바꾸는 논문을 봅니다.
그리고 채점은 마지막 숫자만 봅니다. 중간 풀이는 확인하지 않습니다. 엉터리 풀이를 거쳐 우연히 정답에 닿아도 점수는 그대로 들어갑니다. 이 점을 기억해 두시면 좋습니다. 이 시리즈 뒤쪽 편에서 바로 이 틈을 파는 논문이 나옵니다.
저자들이 마주한 상황은 이랬습니다. 대부분 과제에서는 파라미터를 늘리면 점수가 꾸준히 올랐습니다. 그런데 여러 단계를 밟아야 하는 산술 추론에서는 곡선이 누웠고, 모델을 키워도 계속 누워 있었습니다. 5,400억 규모 모델이 초등 문장제의 3분의 1도 맞히지 못하고 있었습니다.
이상한 것은 그 모델이 나눗셈이 무엇인지는 아주 자세히 설명한다는 점입니다. 지식은 있는데 사과를 두 단계로 세는 문제에서 넘어집니다.
이 문제를 고치려는 방식이 이미 둘 있었고, 이 논문은 그 둘 모두에 답합니다. 첫째는 풀이가 전부 적힌 문제를 모아 모델을 학습시키는 것입니다. 되기는 하지만 그 풀이를 사람이 하나하나 써야 합니다. 둘째는 문장을 수식으로 바꿔 계산기에 넘기는 것입니다. 이 쪽은 사람이 만든 변환기가 필요하고 문장 표현이 조금 달라지면 깨집니다.
논문은 두 방식이 원했던 것, 즉 적혀 있는 단계는 남기고 학습만 뺍니다.
Figure 1은 이 논문에서 가장 많이 인용된 그림입니다. 두 칸에 같은 문제 두 개가 들어 있고 딱 한 군데만 다릅니다.
천천히 읽어 보겠습니다. 두 칸 모두 테니스공 문제로 시작하고, 글자까지 똑같이 복사되어 있습니다. 왼쪽 예시의 답은 숫자 하나를 말하고 끝나는 한 줄입니다. 오른쪽 예시의 답은 공이 몇 개인지 소리 내어 세어 본 다음에 숫자를 말합니다. 파란 글씨가 저자들이 더한 부분이고, 그것이 이 논문 기여의 전부입니다.
아래쪽을 보면 왼쪽 모델은 27이라고 답하고 오른쪽 모델은 9라고 답합니다. 23 빼기 20은 3, 거기에 6을 더하면 9입니다. 오른쪽이 맞습니다.
숨김없이 정리하면 이렇습니다. 그 과제에 이미 쓰고 있던 few-shot 예시를 그대로 가져옵니다. 각 예시에서 답만 적혀 있던 자리를 그 답까지 가는 단계로 바꿉니다. 모델도 그대로 두고, 시험 문제도 그대로 두고, 나머지는 건드리지 않습니다. 저자들은 예시 여덟 개를 한 번 써서 수학 벤치마크 전체에 재사용했습니다.
두 판을 나란히 놓으면 차이가 분명해집니다. 기존 방식 상자는 문제 하나와 답을 말하는 한 줄입니다. 새 방식 상자는 문제는 그대로 두고 답 자리를 짧은 세 문장으로 펼칩니다. 식당에 처음 몇 개가 있었는지에서 시작해 빼고, 더하고, 그다음에야 숫자를 말합니다. 이렇게 쓴 상자 여덟 개를 풀게 할 문제 앞에 붙이면 끝입니다.
왜 이것이 도움이 되는지에 대해 저자들은 세 가지를 듭니다. 첫째, 어려운 문제가 조각으로 쪼개지고 각 조각이 자기 출력 자리를 얻습니다. 둘째, 틀렸을 때 어디서 틀렸는지가 적혀 있어 눈에 보입니다. 셋째, 사람이 말로 풀 수 있는 문제라면 어떤 큰 모델에서든 쓸 수 있습니다.
여기서 한 가지는 분명히 해 두어야 합니다. 이것들은 시도해 볼 이유이지, 모델이 추론한다는 증거가 아닙니다. 저자들도 그렇게 적습니다.
Figure 3은 실험에 쓴 프롬프트를 그대로 싣습니다. 상자 하나하나가 실제로 사용한 예시이고, 색으로 문제·적힌 단계·최종 답을 나눠 놓았습니다. 가로로 훑으면 수학 문제, CSQA, StrategyQA, 날짜, 스포츠, SayCan이 보입니다. 마지막 두 상자는 기호 과제, 즉 글자 떼어 붙이기와 동전 뒤집기입니다.
저자들은 이 예시들을 시험 문제에 맞춰 손보지 않았다고 적습니다. 한 번 쓰고 그대로 두었습니다. 재현해 보고 싶다면 그대로 복사해 쓸 부분이 여기입니다.
논문은 모델 다섯 계열을 씁니다. 이름보다 크기가 중요합니다. GPT-3은 3억 5천만에서 1,750억까지 API로 접근합니다. LaMDA는 다섯 가지 크기로 최대 1,370억이고 대화용으로 만든 계열입니다. PaLM은 80억·620억·5,400억이며 간판 숫자는 대부분 가장 큰 쪽에서 나옵니다. 여기에 UL2 20B와 Codex를 더합니다. 범용 모델 하나와 코드로 많이 학습한 모델 하나입니다.
크기 축이 핵심입니다. 이 논문의 주장이 효과가 어디서부터 생기는지에 대한 것이기 때문입니다.
과제는 세 갈래입니다. 먼저 산술, 앞에서 말한 문장제 다섯 묶음입니다. 다음은 상식 과제 다섯 묶음인데, 계산이 아니라 세상에 대한 지식이 필요한 문제들입니다. 마지막은 저자들이 직접 만든 작은 기호 과제 둘입니다. 저자들은 예시보다 긴 문제를 낼 수 있게 일부러 이 두 과제를 만들었습니다.
Figure 2는 이 논문이 여기저기 인용되게 만든 그림입니다. 막대 네 개가 모두 GSM8K 정답률입니다. 왼쪽부터 읽어 보겠습니다.
첫 막대 33은 이 과제로 학습시킨 GPT-3 175B입니다. 이것만 해도 가벼운 개입이 아닙니다. 학습 데이터와 가중치 갱신이 전부 필요합니다. 둘째 막대 55는 그 방식에 채점 모델을 붙여 여러 후보 가운데 하나를 고른 결과입니다. 셋째 막대 18은 평범한 프롬프트를 쓴 PaLM 540B입니다. 넷째 막대 57은 예시만 바꾼 같은 모델이고, 바뀐 것은 그것뿐입니다.
Figure 4에 이 논문의 실질적인 근거가 있습니다. 위로는 모델 계열 셋, 옆으로는 벤치마크가 늘어서 작은 그래프 아홉 개가 됩니다. 열은 왼쪽부터 LaMDA, GPT-3, PaLM입니다. 각 그래프의 아래 축은 모델 크기이고 왼쪽이 가장 작습니다. 행은 서로 다른 벤치마크라서, 운 좋은 데이터셋 하나로는 이 그림을 설명할 수 없습니다.
그래프마다 선이 둘입니다. 위쪽이 새 프롬프트, 아래쪽이 기존 방식입니다. 작은 크기 쪽에서는 두 선이 붙어 있고, 가끔은 위아래가 바뀌기도 합니다. 두 선이 벌어지는 것은 오른쪽 끝, 가장 큰 모델에서입니다.
저자들은 저 모양에서 세 가지를 끌어냅니다. 첫째, 이 효과는 큰 모델에서만 나타납니다. 대략 1,000억 파라미터 이상입니다. 그 아래에서는 단계를 적는 쪽이 아무것도 적지 않는 쪽보다 나쁠 수 있습니다. 저자들은 모델 크기에서 비롯한 창발(emergent) 능력이라는 말로 이 성질을 부릅니다. 이 시리즈 5편은 바로 그 창발이라는 해석이 측정 방법에서 온 것은 아닌지 따지는 논문입니다.
둘째, 문제가 어려울수록 이득이 커집니다. 한 단계로 끝나는 쉬운 문제집에서는 이득이 거의 사라집니다. 적을 단계가 없는 문제에 단계를 적게 해도 얻을 것이 없다는 뜻입니다. 셋째, 수학 다섯 묶음 가운데 셋에서 그 과제로 직접 학습시킨 모델을 넘어섭니다. 나머지 둘에서는 기록 근처까지만 가고 넘지 못하는데, 논문도 그렇게 적어 두었습니다. 학습 없이 프롬프트만으로 학습된 모델을 넘은 사례가 그때까지 거의 없었기 때문에, 셋이라는 숫자만으로도 이 논문이 주목을 받았습니다.
작은 모델 쪽이 오히려 더 재미있는 절반입니다. 저자들이 작은 모델의 풀이를 뽑아 읽어 보니 문장은 아주 매끄러웠습니다. 문법은 멀쩡하고, 중간에 계산 실수나 문제 오독이 하나 끼어 있습니다. 평범한 프롬프트에서는 틀릴 자리가 하나인데, 풀이를 적게 하면 틀릴 자리가 여러 개가 됩니다. 그 크기에서 모델이 무엇을 얻는지는 저자들도 열어 둡니다. 이후 연구들이 그 질문을 쫓아갑니다.
Figure 5가 이것을 요령이 아니라 논문으로 만드는 부분입니다. 적힌 단계가 중요한 것인지, 아니면 출력이 길어진 것만으로 생긴 효과인지를 묻습니다. 막대는 서로 다른 모델이 아니라 프롬프트 조건들입니다.
한 조건은 수식만 쓰고 말은 한 마디도 쓰지 않습니다. 이 조건은 쉬운 문제집에서는 도움이 되지만 GSM8K는 거의 움직이지 않습니다. 수식이 나오려면 문장을 먼저 이해해야 하기 때문입니다. 다른 조건은 단계 자리를 점으로 채웁니다. 길이는 같고 내용은 없습니다. 세 번째 조건은 답을 먼저 낸 뒤에 단계를 적습니다. 가장 날카로운 조건입니다.
각 조건이 무엇을 보려던 것인지 짚겠습니다. 수식 조건은 이득이 계산뿐인지 묻는데, 어려운 문제집에서는 아니었습니다. 점 조건은 출력 토큰이 늘어나면 계산이 더 되는지 묻는데, 답은 아니었습니다. 마지막 조건은 적는 행위가 돕는 것인지, 아니면 모델이 사후에 설명을 붙이는 것인지를 묻습니다. 나중에 적으면 효과가 없습니다. 이 절에서 가장 깔끔한 결과입니다. 즉 순서가 중요하다는 뜻이고, 적힌 그 말이 실제로 쓰였다는 증명은 아닙니다.
Figure 6은 프롬프트 논문을 볼 때 늘 드는 의문에 답합니다. 그 여덟 개 예시가 특별해서 된 것은 아닐까 하는 의문입니다. 저자들은 다른 사람들에게 예시를 쓰게 하고, 예시를 무작위로 뽑아 보기도 했습니다.
이 그림의 막대는 모델과 문제는 같고 프롬프트만 다른 조건들입니다. 셋은 서로 다른 세 사람이 각자 방식으로 쓴 풀이입니다. 다른 셋은 학습용 문제에서 무작위로 뽑은 예시 여덟 개를 씁니다. 하나는 쓴 사람이 할 수 있는 한 짧게 쓴 판인데, 길이가 비결인지 확인하려고 넣었습니다. 점수는 몇 점씩 흔들리지만 전부 기존 방식보다 높은 자리에 있습니다.
논문은 몇 가지를 더 바꿔 봅니다. 누가 풀이를 썼는지는 방금 본 대로 사람 사이 차이가 작습니다. 어떤 예시를 썼는지는 무작위로 뽑아도 고른 것과 비슷하게 됩니다. 예시가 나오는 순서를 바꾸면 점수가 조금 흔들리지만 효과는 남습니다. 예시 개수를 다르게 해도 여전히 됩니다. 여덟은 선택이지 법칙이 아닙니다.
이제 산술을 떠납니다. 수학에서만 되는 방법이라면 훨씬 덜 재미있을 것입니다. CSQA는 주어지지 않은 사실이 필요한 세상 질문을 던집니다. StrategyQA는 필요한 단계를 숨겨 두어서, 무엇부터 확인할지 직접 정해야 합니다. 날짜 이해 과제는 꼬아 놓은 설명에서 날짜를 계산하게 합니다. 스포츠 이해 과제는 선수에 대한 문장이 그럴듯한지 묻습니다. SayCan은 로봇에게 한 말을 로봇이 실제로 할 수 있는 동작 목록으로 바꿉니다.
Figure 7은 수학 밖에서도 같은 모양이 나타난다는 것을 보여 줍니다. 그래프 다섯 개는 왼쪽부터 CSQA, StrategyQA, 날짜, 스포츠, SayCan입니다. 여기 실린 판에서는 위쪽 제목 줄이 잘려 있으니 이 순서를 기억해 주세요.
하나씩 보면 올라가는 선이 새 프롬프트이고, 그 아래 선이 같은 모델의 기존 방식입니다. 주황 점선은 그 과제로 학습시킨 모델이 세운 직전 기록입니다. 학습된 기준선에는 크기 축이 적용되지 않으니 평평하게 그렸습니다. 초록 점선은 사람의 점수인데, 스포츠 이해 과제에서는 모델이 그 위로 올라갑니다. 여기서도 크기를 키울수록 선이 올라갑니다. 산술만의 특이한 현상이 아니었다는 뜻입니다.
마지막 두 과제는 이 논문에서 가장 좋은 부분입니다. 첫째는 이름의 각 단어에서 마지막 글자를 떼어 이어 붙이는 과제입니다. Amy Brown은 y n이 됩니다. 사람은 생각 없이 합니다. 둘째는 몇 사람이 동전을 뒤집거나 그대로 두는데, 마지막에 어느 면이 위인지 따라가는 과제입니다.
핵심은 여기입니다. 프롬프트의 예시는 두 개짜리 짧은 판만 보여 주고, 시험 문제는 세 개와 네 개로 냅니다. 모델은 본 적 없는 길이를 요구받는 셈입니다.
Figure 8은 그래프 넷으로 되어 있고 과제마다 둘씩입니다. 위 줄은 예시가 다룬 길이이고, 아래 줄은 프롬프트에 없던 더 긴 문제입니다. 아래 줄에서 낮은 쪽 선을 보시면 됩니다. 기존 방식은 거기서 바닥에 붙어 있고, 모델을 키워도 바닥에서 떠나지 않습니다. 새 프롬프트 쪽 선도 떨어지기는 하지만, 가장 큰 모델에서는 쓸 만한 점수를 유지합니다. 저자들은 이것을 적어 놓은 규칙이 보여 준 적 없는 길이까지 따라간 결과로 읽습니다.
짚고 싶은 작업이 하나 더 있습니다. 저자들은 모델이 맞힌 문제 50개를 골라 풀이를 직접 전부 읽었습니다. 거의 모두 논리가 맞았고, 우연히 답에 닿은 것은 두어 개뿐이었다고 보고합니다. 그다음 틀린 문제 50개를 골라 어떻게 틀렸는지로 분류했습니다. 그 가운데 46%는 작은 실수 하나 때문에 틀렸을 뿐 거의 맞은 풀이였다고 적습니다. 계산을 한 번 잘못했거나, 단계를 하나 빼먹었거나, 문장을 한 군데 잘못 읽은 경우입니다. 나머지는 풀이가 아예 다른 방향으로 간 쪽입니다.
이 분류가 중요한 까닭은 다음 문장 때문입니다. 저자들은 PaLM을 620억에서 5,400억으로 키우면 거의 맞았던 쪽 오류가 많이 사라졌다고 보고합니다. 사람이 손으로 읽어 유형을 나누지 않았다면 점수 하나만 남았을 텐데, 적힌 풀이가 있으니 무엇이 고쳐졌는지까지 들여다볼 수 있었습니다. 풀이를 적게 하면 틀린 자리가 보인다는 저자들의 두 번째 이유가 여기서 실제로 쓰였습니다.
저자들이 이 질문을 직접 던집니다. 그리고 이 논문으로는 결론이 나지 않는다고 적습니다. 보여 준 것은 답보다 단계를 먼저 적게 하면 점수가 오른다는 사실이고, 그것도 여러 모델과 여러 과제에서 반복해 보여 줬습니다. 보여 주지 않은 것은 그 적힌 풀이가 모델이 실제로 수행한 계산이라는 점입니다.
이 둘은 서로 다른 주장이고, 그 사이의 거리를 메우려는 시도가 이후 연구들입니다. 이 시리즈의 4편과 6편이 바로 그 자리에 들어옵니다.
정리에 들어가기 전에 비용을 보겠습니다. 풀이는 여전히 사람이 씁니다. 새 과제를 만나면 사람이 다시 손으로 예시를 써야 합니다. 답이 맞았다고 해서 거쳐 온 길이 맞는 것은 아니고, 길을 보장하는 장치는 이 방법 안에 없습니다. 가장 큰 모델 가운데 하나가 필요합니다. 서비스 비용이 들고, 작은 모델에서는 도움이 되지 않습니다. 그리고 답이 매번 길어집니다. 토큰 단위로 요금을 내는 API라면 그대로 청구서가 됩니다.
한계 절은 짧고 분명합니다. 저자들은 풀이를 흉내 낸다고 해서 모델이 추론하는 것은 아니라고 적습니다. 주석 비용도 실제로 존재한다고 말합니다. 예시 여덟 개는 싸지만 규모가 커지면 비싸집니다. 적힌 길이 맞다는 보장도 없다고, 답이 맞든 틀리든 그렇다고 적습니다.
이 목록의 빈틈 하나하나가 이 시리즈 뒤쪽에서 논문 한 편씩으로 자랍니다.
이 논문은 갑자기 나온 것이 아닙니다. 앞서 Nye와 동료들은 모델이 중간 계산 상태를 스크래치패드에 적게 하는 방식을 냈습니다. 다만 그 방식은 미세 조정이 필요했고, 이 논문이 빼는 것이 바로 그 부분입니다. Cobbe와 동료들은 GSM8K를 만들고 별도로 학습시킨 채점 모델로 점수를 올렸습니다. Figure 2의 둘째 막대가 그 결과입니다.
이 논문 직후에 예시 없이 지시문만으로 단계를 끌어내는 zero-shot 방식과 self-consistency가 나옵니다. self-consistency가 이 시리즈의 2편입니다. 지금은 답하기 전에 단계를 적는 것이 이 모델들의 기본 동작이 됐습니다.
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.