3강 · 모델들은 같은 세계를 향해 수렴한다

이 강에서 다루는 것

1강과 2강이 눈에 보이는 현상이었다면, 이번 편부터는 그 안쪽입니다.

논문의 주장은 세 가지입니다.

1. 서로 다른 모델의 표현이 점점 비슷해지고 있다
2. 그 수렴은 우연이 아니라 학습이 만드는 압력의 결과다
3. 도착점은 데이터 뒤에 있는 실재에 대한 공통 모델이다

포지션 페이퍼입니다. 새 방법을 제안하는 논문이 아니라 관점을 내놓고 증거를 모아 놓은 글이라는 점을 염두에 두고 읽으시면 됩니다.

고양이 사진 하나로 보는 직관

모델 두 개에 같은 고양이 사진을 넣습니다. 나오는 벡터의 숫자는 완전히 다릅니다. 차원 수부터 다를 수 있습니다.

그런데 이 사진의 이웃을 물어보면 두 모델이 비슷한 답을 내놓습니다. 다른 고양이 사진, 털 있는 동물, 비슷한 자세의 사진이 앞자리에 옵니다.

숫자는 달라도 이웃은 같습니다. 이것이 논문이 말하는 수렴입니다. 가중치가 닮는 것이 아니라 거리를 재는 방식이 닮는 것입니다.

표현, 커널, 정렬

세 용어를 정리하고 넘어가겠습니다.

정렬은 가중치끼리 비교하는 것이 아닙니다. 커널 사이에서 잽니다. 모델 구조가 완전히 달라도 비교할 수 있는 이유가 여기 있습니다.

증거 다섯 가지

1. 모델 이어 붙이기가 된다
2. 능력이 커질수록 정렬도 커진다
3. 이미지와 텍스트처럼 다른 모달리티 사이에서도 정렬이 보인다
4. 사람 뇌의 반응 패턴과도 정렬된다
5. 정렬 정도가 성능을 예측한다

비전 모델 78개를 VTAB 19개 과제 기준으로 묶었을 때 정렬이 약 0.04에서 약 0.40까지 올라갑니다.

왜 수렴하는가

논문은 세 가지 압력을 듭니다.

• 다중과제 스케일링: 풀어야 할 과제가 많아질수록 가능한 해답의 집합이 좁아집니다
• 용량: 모델이 커질수록 그 좁은 집합에 실제로 도달할 수 있습니다
• 단순성 편향: 같은 성능이라면 최적화가 더 단순한 해를 고릅니다

세 가지가 겹치면 서로 다른 출발점에서 시작해도 비슷한 곳에 닿습니다.

기억할 것 세 가지

1. 정렬은 가중치가 아니라 커널 사이에서 잰다
2. 정렬은 능력과 규모를 따라 커진다
3. 제안된 도착점은 세계 그 자체의 통계 모델이다