강의 / 딥페이크 논문 읽기
만드는 쪽과 막는 쪽, 여섯 편
얼굴 바꾸기 딥페이크를 가장 널리 쓰이게 만든 도구를, 만든 사람들이 직접 쓴 논문으로 뜯어봅니다. 공유 인코더 하나에 사람별 디코더를 붙이면 한 번도 함께 나온 적 없는 조합이 나옵니다.
확산 모델에 드문 토큰 하나를 대상의 이름으로 가르치면, 사진 서너 장으로 그 대상을 어떤 장면에도 넣을 수 있습니다. A100 한 장으로 5분입니다.
음성에 잘 맞는 영상만 골라 쓰면 데이터의 87퍼센트가 버려집니다. 조건의 세기에 따라 학습 비율을 다르게 주어 그 데이터를 되살립니다.
공개하기 전 사진에 눈에 안 띄는 노이즈를 심으면 그 사진으로 학습한 모델이 망가집니다. 다만 네 장 중 한 장이라도 깨끗한 사진이 섞이면 효과가 거의 사라집니다.
어떤 방식으로 심었는지 모르고, 검출기에 한 번도 물어보지 않고, 추가 데이터도 없이 최신 방식 일곱 개를 전부 깹니다. 표식을 심을 수밖에 없는 자리를 찾아 그 자리를 흔듭니다.
실시간 딥페이크를 픽셀로 찾는 대신 상대에게 동작을 시킵니다. 사람이 AUC 88.6퍼센트, 자동 채점이 80.1퍼센트인데 같은 조건에서 기존 탐지기는 50퍼센트와 53.7퍼센트였습니다.