강의 / 우리는 모두 같은 AI를 쓰고 있다 / 1강
시작 …
서로 다른 회사가 만든 모델들에 같은 질문을 던지면 답이 서로 닮아 갑니다. 그 동질성을 실제로 측정한 논문입니다.
이번 시간에는 Artificial Hivemind 논문을 함께 읽습니다. 2025년 NeurIPS 최우수 논문으로 뽑힌 연구입니다.
논문이 던지는 질문은 하나입니다.
서로 다른 회사가 서로 다른 데이터로 학습시킨 모델들이 왜 같은 질문에 거의 같은 답을 내놓는가.
시리즈 전체의 출발점이 되는 편입니다. 눈에 보이는 현상을 먼저 확인하고, 2강에서 완화하는 방법을, 3강부터는 그 안쪽의 원인을 다룹니다.
저자들은 이 현상을 그림 한 장으로 보여 줍니다.
시간에 관한 은유를 써 보라는 프롬프트를 하나 만들고 이를 25개 모델에 그대로 던졌습니다. 이후에 응답을 임베딩해서 주성분 분석으로 찍어 봅니다.
결과는 예상과 다릅니다. 점들이 넓게 흩어지지 않고 두 덩어리로 뭉칩니다. 한쪽은 전부 시간은 강물이고, 다른 쪽은 시간은 직조공 또는 조각가입니다.
세 가지입니다.
열린 질문만 모았다는 점이 중요합니다. 정답이 하나로 정해진 문제라면 모델들이 같은 답을 내는 것이 당연하기 때문입니다.
# 같은 프롬프트에 대한 여러 모델의 응답을 임베딩한 뒤에
# 쌍별 코사인 유사도의 평균을 동질성 점수로 씁니다.
import itertools
import numpy as np
def homogeneity(embeddings: np.ndarray) -> float:
n = len(embeddings)
if n < 2:
return 0.0
norm = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True)
sims = [float(norm[i] @ norm[j]) for i, j in itertools.combinations(range(n), 2)]
return sum(sims) / len(sims)
# 모델이 n 개면 쌍은 n(n-1)/2 개가 나옵니다.
# 70개 모델이면 2,415 쌍이므로 그대로 돌려도 부담이 없습니다.| 영역 | 무슨 일이 생기는가 |
|---|---|
| 합성 데이터 | 이미 동질적인 모델 풀에서 뽑으면 그 동질성이 다음 모델로 넘어갑니다 |
| 앙상블 | 여러 모델을 섞어서 얻는 다양성 이득이 생각보다 작습니다 |
| 정렬 | 정렬을 세게 걸수록 출력이 한 점으로 모입니다 |
세 가지 모두 현업에서 자주 쓰는 방법입니다. 다양성을 전제로 설계한 파이프라인이라면 한 번 재 볼 필요가 있습니다.
논문도 해결책을 내놓지는 않았습니다. 문제를 측정 가능한 형태로 정의한 것까지가 이 연구의 몫입니다.
이런 논문이 최우수 논문으로 뽑히는 경우가 종종 있습니다. 해결책을 제시해서가 아니라 모두가 어렴풋이 느끼던 것을 숫자로 만들어 놓았기 때문입니다. 다음 사람이 그 숫자 위에서 시작할 수 있다는 점에서 가치가 큽니다.
다음 편에서는 그럼 다양성을 되살릴 수 있는지를 봅니다.
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.