2강 · 프롬프트로 다양성을 되살리는 법

이 강에서 다루는 것

1강에서 본 문제에 대한 가장 가벼운 처방입니다. 학습을 바꾸지 않고 프롬프트만 바꿉니다.

핵심 아이디어는 간단합니다. 모델에게 답 하나를 달라고 하는 대신, 답의 분포를 말로 내놓게 합니다. 후보 다섯 개와 각각의 확률을 함께 쓰라고 시키는 식입니다.

모드 붕괴가 어디서 오는가

정렬 과정에서 사람이 선호하는 답에 높은 점수를 줍니다. 모델은 그 점수를 최대화하도록 학습합니다.

문제는 사람의 선호가 대체로 한 방향이라는 점입니다. 무난하고 안전한 답이 높은 점수를 받습니다. 그 결과 모델은 분포 전체가 아니라 봉우리 하나로 몰립니다.

이것을 모드 붕괴라고 부릅니다. 학습된 분포는 여전히 넓은데 실제로 나오는 출력만 좁아진 상태입니다.

무엇이 달라지는가

• 후보를 여러 개 요구하면 모델이 봉우리 하나에 머물 수 없습니다
• 확률을 함께 쓰게 하면 흔한 답과 드문 답을 스스로 구분합니다
• 학습을 건드리지 않으므로 어떤 모델에도 바로 쓸 수 있습니다

다양성 지표가 상당 부분 회복됩니다. 다만 품질이 같이 떨어지지 않는지는 따로 확인해야 합니다. 논문도 이 부분을 한계로 적어 두었습니다.

정리

지금 쓰고 계신 프롬프트에 후보 개수와 확률을 요구하는 문장 두 줄만 더하면 바로 시도해 보실 수 있습니다. 비용이 거의 들지 않는다는 점에서 먼저 해 볼 만합니다.

다음 편부터는 표면의 문장이 아니라 모델 내부의 표현이 닮아 가는지를 봅니다.