강의 / 딥페이크 논문 읽기 / 1강
시작 …
얼굴 바꾸기 딥페이크를 가장 널리 쓰이게 만든 도구를, 만든 사람들이 직접 쓴 논문으로 뜯어봅니다. 공유 인코더 하나에 사람별 디코더를 붙이면 한 번도 함께 나온 적 없는 조합이 나옵니다.
| 논문 | DeepFaceLab: Integrated, flexible and extensible face-swapping framework |
| 저자 | Liu, Perov, Gao 외 |
| 발표 | Pattern Recognition 2023 |
| 원문 | arXiv:2005.05535 |
| 강의 분량 | 슬라이드 56장 |
딥페이크라는 말은 누구나 압니다. 그런데 그 영상이 실제로 어떤 과정을 거쳐 만들어지는지 끝까지 설명할 수 있는 사람은 드뭅니다.
이 강의에서 읽는 논문은 그 과정을 처음부터 끝까지 적어 놓은 보기 드문 자료입니다. DeepFaceLab 은 얼굴 바꾸기 분야에서 가장 널리 쓰이는 도구이고, 이 논문을 쓴 사람들이 바로 그 도구를 만든 사람들입니다. 연구를 위한 깔끔한 수식보다, 실제로 돌아가는 시스템을 만들며 부딪힌 문제와 그 해결책이 담겨 있습니다.
방어를 공부하려면 공격을 먼저 알아야 합니다. 이 시리즈의 첫 편으로 이 논문을 고른 이유입니다.
오늘 볼 논문은 DeepFaceLab 입니다. 저자들은 이 도구를 얼굴 바꾸기에서 가장 널리 쓰이는 딥페이크 프레임워크라고 소개합니다. 그래서 이 논문을 보면 딥페이크가 실제로 어떻게 만들어지는지 단계별로 알 수 있습니다. 게다가 이 논문을 쓴 사람들이 그 도구를 직접 만든 사람들이에요.
질문 하나로 시작해 볼게요. 왼쪽은 가져올 얼굴이고, 가운데는 다른 사람이 나오는 영상입니다. 프로그램이 그 얼굴을 영상 속에 넣어서, 아무도 눈치채지 못하게 만들 수 있을까요? 사진 한 장이 아니라 모든 프레임에서, 조명과 표정까지 맞춰서요. DeepFaceLab 은 이것을 거의 누구나 할 수 있게 만든 도구입니다.
주장부터 볼게요. 저자들은 딥페이크를 막으려면 탐지뿐 아니라 만드는 쪽 연구도 필요하다고 주장합니다. 그래서 새 모델 하나가 아니라 제작 공정 전체를 적어 놓았어요. 공정은 3단계예요. 고개 방향 오차는 기준 방법들의 4.75, 6.01 대비 1.12 라고 보고합니다. 그리고 10만 장 규모까지 지원하고요.
논문 그림 1 이게 논문의 첫 그림입니다. 묶음마다 왼쪽이 가져올 얼굴, 가운데가 바꿀 대상, 오른쪽이 결과예요. 왼쪽 위를 보세요. 대상이 선글라스를 썼는데, 결과에도 선글라스가 그대로 있죠. 오른쪽 위는 대상이 눈을 감고 고개를 숙였어요. 결과도 그대로 따라가죠. 오른쪽 아래는 보라색 무대 조명이 들어간 장면인데, 가장 어려운 경우 중 하나예요. 모든 경우에 얼굴은 바뀌는데, 안경과 자세와 빛은 그대로 남습니다.
더 가기 전에 이게 어떤 종류의 딥페이크인지부터 설명드릴게요. 크게 두 갈래가 있습니다. 첫째는 얼굴 바꾸기예요. 얼굴만 다른 사람으로 바꾸고 움직임은 그대로 둡니다. 딥페이크라는 말의 가장 보편적인 뜻이 이거죠. 둘째는 표정 재현이에요. 사람은 그대로 두고 표정이나 말을 조종합니다. 오른쪽을 보면 대상은 자기 얼굴 그대로인데 입 모양은 조종하는 사람을 따라가요. 이 논문은 첫 번째, 얼굴 바꾸기를 다룹니다.
그럼 논문이 정의하는 방식대로 얼굴 바꾸기를 정리해 볼게요. 원본은 가져올 얼굴이고, 대상은 움직임을 그대로 쓸 영상입니다. 결과는 원본의 얼굴을 한 채로 대상과 똑같이 움직이는 영상이고요. 논문은 원본을 src, 대상을 dst 라고 적는데 저도 그대로 쓰겠습니다.
이제 배경 설명입니다. 전통적인 오토인코더부터 볼게요. 오토인코더는 인코더와 디코더, 두 부분으로 되어 있습니다. 인코더가 얼굴 전체를 잠재 코드라는 짧은 숫자 목록으로 압축하고요. 디코더는 그 코드만 보고 얼굴을 다시 그립니다. 학습은 단순해요. 같은 얼굴을 넣고, 같은 얼굴이 다시 나오게 하는 겁니다. 그래서 정답 라벨이 필요 없어요. 사진 자체가 정답이니까요. 코드가 작으니 정말 중요한 것만 남기게 됩니다. 표정이나 자세, 조명 같은 것들이요.
여기가 얼굴 바꾸기를 가능하게 하는 요령입니다. 이 요령이 이 논문에서 처음 나온 건 아니에요. 이전 오픈소스 딥페이크 도구들도 이미 썼습니다. 인코더 하나를 A와 B 두 사람의 얼굴로 같이 학습시켜요. 대신 디코더는 사람마다 따로 둡니다. A 디코더는 A만, B 디코더는 B만 그리죠. 바꿀 때는 B의 장면을 공유 인코더에 넣고, A 디코더로 그립니다. 그러면 B의 표정과 고개 방향을 한 A의 얼굴이 나와요. 이 조합은 학습에 한 번도 나온 적이 없는데, 바로 그게 핵심입니다.
여기서 조금 천천히 가겠습니다. 이 논문 전체의 핵심 아이디어거든요. 공유 인코더는 두 사람을 다 보니까, 모든 얼굴에 공통인 것을 배웁니다. 고개 방향, 표정, 시선, 입 모양, 조명 같은 것들이요. A 디코더는 A만 그리니까, A를 A답게 만드는 디테일이 A 디코더에 담깁니다. 얼굴형, 피부, 눈, 코. 한마디로 누구인지에 대한 정보죠. 그래서 바꿀 때는 인코더가 B의 표정을 유지하고요. A 디코더가 그 위에 A의 얼굴을 입힙니다.
배경 하나 더 설명드릴게요. 논문은 얼굴 조작 기술의 근본 동기로 GAN 을 꼽습니다. GAN 은 두 신경망을 맞붙여 학습시켜요. 생성자는 가짜를 만들고, 판별자는 진짜와 가짜를 가려내려 합니다. 서로 경쟁하면서 가짜가 점점 좋아지죠. GAN 은 얼굴의 주름이나 잔선 같은 날카로운 디테일을 잘 표현하는 걸로 알려져 있어요. 아래 눈가 사진 두 장을 보세요. GAN 없이는 피부가 매끈하고, GAN 을 쓰면 주름이 살아납니다. DeepFaceLab 에서는 판별자를 학습 중에 켤 수 있는 옵션으로 둡니다.
그런데 딥페이크 도구를 왜 논문으로 내놓느냐고 물으실 수 있는데요. 저자들이 세 가지 이유를 듭니다. 첫째, 공격이 끝난 뒤의 탐지는 늦습니다. 영상이 이미 퍼진 다음이니까요. 둘째, 좋은 탐지기를 만들려면 좋은 가짜 데이터가 필요해요. 그리고 이 방법으로 만든 데이터가 큰 딥페이크 탐지 대회인 DFDC 데이터셋에 들어갔습니다. 셋째, 가짜가 어떻게 만들어지는지 아는 사람이 가짜를 더 잘 알아봅니다. 그래서 옛말로 정리해요. 최선의 방어는 공격이다.
이름에 대해 잠깐 짚고 갈게요. DFL 은 DeepFaceLab 의 약자예요. 오늘 리뷰하는 방법이 바로 이겁니다. 그러니까 그림이나 표에서 DFL 이 보이면 이 논문의 방법이라는 뜻이에요. 코드는 공식 GitHub 저장소에 있고, 직접 해 보고 싶다면 거기서 시작하면 됩니다.
논문은 시스템의 특징을 네 가지로 정리합니다. 편리함. 영상 두 개면 되고, 두 영상의 표정이 맞을 필요도 없어요. 논문은 이걸 똑딱이 카메라에 비유하기까지 합니다. 엔지니어링 지원. 그래픽 메모리 2GB짜리 컴퓨터로도 작업을 끝낼 수 있다고 해요. 제가 직접 해 봤을 때도 평범한 노트북과 데스크톱 PC에서 정말 돌아갔습니다. 나머지 둘은 확장성과 규모예요. 부품을 갈아 끼우고, 지저분한 대용량 얼굴 데이터를 정리할 수 있습니다.
자세히 들어가기 전에 제가 이 논문을 어떻게 읽었는지 말씀드릴게요. 이건 깔끔한 새 아이디어 하나를 내놓은 논문이 아닙니다. 저자들이 부딪힌 문제를 하나씩 고친 엔지니어링 기법들을 쌓아 올린 거예요. 랜드마크 다듬기, 직접 만든 마스크, 섞은 손실, 색 맞추기, 블렌딩, 선명화까지요. 그리고 이게 다 한 가지를 노립니다. 사람 눈에 진짜처럼 보이는 결과요. 그러니까 보면서 각 부품이 어떤 문제를 푸는지 계속 생각해 보세요.
공정은 이렇습니다. 추출, 학습, 변환. 추출은 두 영상에서 얼굴을 뽑아내고요. 학습은 모델에게 두 얼굴을 가르칩니다. 변환은 새 얼굴을 원래 장면에 다시 넣는 단계예요. 시스템 전체에서 데이터는 항상 src 와 dst 두 종류뿐입니다.
여기서 알아 두면 좋은 게 하나 있어요. A라는 사람이 나온 영상과 B라는 사람이 나온 영상이 있다고 해 볼게요. 추출 단계의 모든 작업은 각 영상에 따로, 완전히 똑같은 방식으로 합니다. 얼굴을 찾고, 랜드마크를 잡고, 정렬하고, 마스크를 따는 거죠. 끝나면 A의 얼굴 모음과 B의 얼굴 모음, 두 개가 생깁니다.
추출부터 보겠습니다. 첫 선택은 얼굴을 얼마나 넓게 자를지예요. 절반, 얼굴 전체, 그보다 넓은 범위 중에서 고릅니다. 기본값은 얼굴 전체이고, 왼쪽에 세 범위가 겹쳐 그려져 있죠. 그다음이 얼굴 검출기예요. 기본은 S3FD 이고, 더 새로운 검출기로 바꿀 수도 있습니다.
S3FD 가 실제로 뭘 하는지 설명드릴게요. 장면마다 얼굴이 어디 있는지 찾아서, 얼굴마다 상자를 치는 게 할 일입니다. 한 번에 찾는 검출기라서, 장면 전체를 한 번 훑으면 상자가 한꺼번에 나와요. 그리고 크기에 상관없이 찾아요. 여러 크기의 특징 맵에서 상자를 예측하거든요. 그래서 멀리 있는 작은 얼굴도, 가까이 있는 큰 얼굴도 다 찾습니다. 상자마다 얼굴일 확률이 붙고, 이후 단계는 모두 이 잘라낸 얼굴로 작업해요.
논문 그림 2 이 그림이 추출 단계 전체를 한 장에 담은 겁니다. 왼쪽에서 입력 장면이 들어오면, 얼굴 검출이 얼굴을 잘라내요. 그다음 랜드마크와 정렬 단계가 한 장씩, 또는 시간 방향으로 다듬는 방식으로 돌아갑니다. 검은 네모들은 몇 프레임에 걸쳐 잡힌 랜드마크 점을 보여 주고요. 오른쪽에는 정렬된 얼굴과, 얼굴 분할 뒤의 마스크가 나옵니다.
그럼 얼굴 랜드마크가 정확히 뭘까요? 눈꼬리나 코끝처럼 얼굴 위에 정해진 기준점이에요. 그리고 같은 번호는 어느 얼굴에서나 항상 같은 자리를 뜻합니다. 가장 보편적인 방식은 68개의 점을 씁니다. 턱선 17개, 눈썹 10개, 코 9개가 있고요. 눈 12개, 입 주변 20개입니다. DeepFaceLab 의 랜드마크 코드도 이 68점 방식을 따릅니다. 이 점들이 있으면 프로그램이 얼굴의 각 부분이 정확히 어디 있는지 알게 되죠.
그리고 논문에는 랜드마크에 대해 아주 솔직한 문장이 있어요. 수많은 실험과 실패 끝에 알게 된 게 있다고 해요. 시간에 따라 얼굴을 안정적으로 유지하는 열쇠가 랜드마크라는 겁니다. 이 점들이 프레임마다 흔들리면 바뀐 얼굴도 떨리고, 그건 누구나 알아봐요. 그래서 두 가지를 줍니다. 보통 각도의 얼굴에는 2DFAN 을 쓰고요. 고개가 옆으로 크게 돌아가면 3D 얼굴 정보를 쓰는 PRNet 을 씁니다. 이웃한 프레임끼리 점을 부드럽게 이어 주는 옵션도 있어요.
랜드마크를 찾으면 모든 얼굴을 표준 틀 하나에 맞춥니다. 여기에는 우메야마의 고전적인 방법을 써요. 찾은 점들을 틀에 가장 잘 맞추는 회전, 크기, 이동을 계산합니다. 이러고 나면 신경망이 보는 얼굴이 모두 같은 위치, 같은 크기가 되죠. 이 변환은 되돌릴 수 있어서, 나중에 얼굴을 제자리에 돌려놓을 때 그대로 씁니다.
추출의 마지막 단계는 분할입니다. 분할은 잘라낸 그림에서 어디가 진짜 얼굴인지 픽셀 단위로 표시하는 거예요. 기본은 TernausNet 인데, ImageNet 으로 미리 학습한 VGG11 인코더를 붙인 U-Net 이에요. 머리카락, 손가락, 안경을 빼 줘서 얼굴을 가리는 것 때문에 학습이 흔들리지 않게 합니다. 그런데 자동 모델이 못 잡는 장면이 있어요. 그래서 XSeg 가 있는 겁니다.
논문 그림 8 XSeg 가 이렇게 생겼습니다. 왼쪽이 편집기인데, 초록색 부분이 손으로 그린 얼굴 영역이에요. 오른쪽은 학습 미리보기고, 흰 모양이 모델이 배운 마스크입니다. 아래 줄을 보세요. 손이 얼굴 일부를 가리는데, 마스크가 그 부분을 피해 잘라내죠.
그럼 XSeg 는 도구일까요, 모델일까요? 둘 다입니다. 먼저 XSegEditor 는 정답을 그리는 도구예요. 내 영상에서 얼굴 몇 장을 열어서 얼굴 윤곽을 손으로 그립니다. 얼굴을 가린 머리카락이나 손은 빼고요. 둘째, XSeg 는 분할 모델이기도 해요. 256 × 256 얼굴을 받아 마스크를 예측하는 신경망이죠. 이 모델은 내가 그린 마스크로 배웁니다. 그다음 모든 프레임에 적용하면, 그리지 않은 얼굴 수천 장까지 마스크를 따 줘요. 그러니까 도구가 정답을 만들고, 모델이 그걸로 배우는 구조입니다.
그래서 추출이 끝나면 학습에 필요한 게 다 준비됩니다. 원래 장면 속 위치가 붙은 잘라낸 얼굴과 랜드마크. 그리고 정렬된 얼굴과 마스크죠. 이게 두 영상 모두에 대해 있으니, A와 B의 얼굴 모음이 두 개 생긴 겁니다.
이제 품질을 결정하는 학습 단계입니다. 문제는 이거예요. A가 어느 장면에서 웃고 있어도, 똑같이 웃는 B의 장면은 없습니다. 논문은 이걸 분명히 적어요. src 와 dst 의 표정을 맞출 필요가 없다고요. 그래서 짝이 없는 얼굴로 배우는 구조 두 가지를 제안합니다. DF 와 LIAE 예요.
DF 가 더 단순하고, 방금 본 아이디어에 가깝습니다. 인코더와 Inter 층은 src 와 dst 가 같이 씁니다. 두 얼굴을 다 보니까 자세나 표정 같은 일반적인 얼굴 지식을 담게 되고요. 그다음 길이 사람마다 하나씩, 두 디코더로 갈라져요. 각 디코더가 그 공통 지식 위에 한 사람의 얼굴을 다시 입히는 거죠. 한계는 DF 가 조명 같은 dst 의 정보를 충분히 가져오지 못한다는 겁니다.
LIAE 가 그 문제에 대한 이 논문의 답인데, 구조가 좀 특이합니다. 이번에는 인코더와 디코더를 둘 다 공유하고, Inter 층을 두 개 따로 둡니다. InterAB 는 src 와 dst 모두의 코드를 만들고, InterB 는 dst 코드만 만들어요. 두 코드를 이어 붙여서 공유 디코더에 넣습니다. 그 dst 전용 코드가 DF 에 모자랐던 dst 정보를 디코더에 더 넘겨 주는 거예요.
논문 그림 3 저자들이 그린 두 구조가 이겁니다. 위쪽이 DF, 아래쪽이 LIAE 예요. 위아래를 하나씩 크게 보겠습니다.
논문 그림 3 (위쪽, DF 구조) 이게 위쪽, DF 구조입니다. 왼쪽으로 src 쌍과 dst 쌍이 들어와요. 쌍마다 얼굴과 마스크가 있습니다. 둘 다 같은 인코더와 같은 Inter 를 지나고요. 그다음 길이 갈라집니다. src 디코더는 src 쌍을, dst 디코더는 dst 쌍을 예측해요. 맨 오른쪽은 선택 사항인 판별자인데, 진짜냐 가짜냐를 묻습니다.
논문 그림 3 (아래쪽, LIAE 구조) 이건 아래쪽, LIAE 구조입니다. 공유 인코더 뒤에서 길이 InterAB 와 InterB 로 나뉘어요. 가운데 색깔 블록이 코드이고요. 두 줄 기호는 이어 붙인다는 뜻입니다. src 는 InterAB 코드를 두 번 쓰고, dst 는 InterAB 코드에 InterB 코드를 붙여요. 그다음 공유 디코더 하나가 두 쌍을 모두 그립니다.
다음은 신경망이 실제로 줄이려는 값입니다. MSE 는 두 이미지를 픽셀마다 비교해서 차이의 제곱을 평균 냅니다. 모든 색을 정확히 맞추게 해서 선명함을 줘요. SSIM 은 작은 창마다 밝기, 대비, 구조를 비교하고, 1이면 똑같다는 뜻입니다. DSSIM 은 그걸 손실로 뒤집은 거라, 낮을수록 좋고요. DeepFaceLab 은 둘을 섞어 씁니다. DSSIM 은 얼굴을 빨리 배우고, MSE 는 선명함을 더한다고 해요. 마스크 가중치도 있어서, 볼보다 눈 영역을 더 중요하게 봅니다.
왜 둘 다 쓰는지 실제 사진으로 보여 드릴게요. 가운데는 사진을 밝게만 했어요. 모든 픽셀이 바뀌어서 MSE 는 아주 큰데, 구조는 같아서 SSIM 은 0.95 로 높습니다. 오른쪽은 흐리게 만들었어요. 픽셀은 거의 안 바뀌어서 MSE 는 작습니다. 그런데 경계가 사라졌고, SSIM 은 그걸 알아채죠. 그러니까 SSIM 은 얼굴의 구조를, MSE 는 정확한 색을 지켜 줍니다.
학습을 마치기 전에 옵션 몇 가지만 더 보겠습니다. TrueFace 는 코드에 거는 제약인데, 만들어진 얼굴이 dst 와 더 닮게 만듭니다. LIAE 에서는 src 코드를 dst 코드 쪽으로 밀어붙이고, 절제 실험 표에서 다시 나와요. 그리고 잘 안 쓰이는 방법이 두 가지 있어요. 합성곱 인지 초기화와 학습률 드롭아웃입니다. 논문은 둘 다 품질을 크게 올렸다고 하는데, 어느 표에도 나오지 않아요.
논문 그림 7 이 그림이 GAN 옵션이 실제로 뭘 하는지 보여 줍니다. 왼쪽이 원본, 가운데가 GAN 없이 학습한 결과, 오른쪽이 GAN 을 쓴 결과예요. 사이에 있는 확대 사진은 눈가, 입술, 입 주변 피부를 보여 주고요. GAN 없이는 매끈하고 조금 흐릿해요. GAN 을 쓰면 주름과 잔선이 살아납니다. 가짜 얼굴을 진짜처럼 보이게 하는 날카로운 디테일이 바로 이거죠.
이제 변환 단계인데, 논문이 여기서 불만을 하나 말합니다. 이전 방법들이 이 단계의 중요성을 자주 무시한다는 거예요. 첫 단계는 재정렬입니다. 새 얼굴과 마스크를 원래 얼굴 자리로 돌려놓죠. 둘째는 색 맞추기와 블렌딩이에요. 피부색과 경계를 맞춥니다. 셋째는 미리 학습한 얼굴 초해상도 신경망으로 선명하게 다듬는 단계고요.
논문 그림 4 변환 단계를 그림으로 보면 이렇습니다. 입력 쌍이 인코더, Inter, 디코더를 지나 새 얼굴을 만들고요. 재정렬이 그 얼굴을 원래 장면에 돌려놓습니다. 그다음이 블렌딩과 선명화인데, 촬영한 것처럼 보이게 만드는 게 이 두 단계예요.
블렌딩이 왜 중요한지 이번에도 실제 사진으로 보여 드릴게요. 조명이 다른 얼굴 조각을 같은 사진에 다시 붙여 봤습니다. 왼쪽은 그냥 붙인 거예요. 색이 튀고 경계가 바로 보이죠. 가운데는 먼저 색을 맞췄더니 조각이 거의 안 보입니다. 오른쪽은 포아송 블렌딩이에요. 밝기가 변하는 정도를 맞춰서 이음매가 사라집니다. DeepFaceLab 은 바로 이걸 위해 여러 색 맞추기 방법과 포아송 블렌딩을 제공해요.
이제 실험인데, 설정을 잘 봐 둘 필요가 있습니다. 비교 대상인 FaceForensics++ 영상들은 학습이 덜 됐고 해상도도 낮았어요. 그래서 공정하게 하려고 96 × 96 을 내놓는 가벼운 DF 모델 Quick96 을 썼습니다. GAN 과 TrueFace 는 껐고요. 소비자용 GPU 한 장에서 평균 3시간 학습했어요. 그러니까 지금 볼 숫자들은 이 시스템에서 가장 가벼운 설정에서 나온 겁니다.
논문 그림 5a 대표적인 오픈소스 프로젝트들과의 비교입니다. 처음 두 열이 원본과 대상이고, 나머지가 결과예요. 둘째 줄을 보세요. DeepFakes 와 Face2Face 는 붉은 얼룩이 남고 피부색이 안 맞습니다. Face2Face 는 사실 표정 재현 방식이에요. 그래서 얼굴이 아니라 표정을 바꾸죠. 마지막 줄은 원본이 남성이고 대상이 여성입니다. 맨 오른쪽 DFL 은 그녀의 자세를 유지하면서 원본의 얼굴을 가장 뚜렷하게 옮깁니다.
논문 그림 5b 이건 당시 최신 연구 방법들과의 비교예요. 위 묶음은 FaceSwap, FSGAN, DFL 을, 아래 묶음은 Face Shifter 까지 비교합니다. 첫째 줄에서 DFL 결과에는 원본의 수염과 얼굴형이 뚜렷하게 들어가 있죠. 셋째 줄에서 FaceSwap 은 눈 주변에 어두운 얼룩을 남기고요. 마지막 줄은 대상이 살짝 옆으로 돌아 있어서, 바뀐 얼굴도 그 각도를 따라가야 합니다.
숫자로 넘어가기 전에, 논문은 진짜 같음을 점수 하나로 재기 어렵다고 먼저 인정합니다. 그래서 다섯 가지를 잽니다. 구조는 SSIM 으로 재는데, 높을수록 좋고요. 나머지 넷은 오차예요. 지각 손실, 신원 검증, 랜드마크 거리, 그리고 자세 오차. 자세 오차는 바뀐 얼굴의 고개 각도가 원래와 얼마나 어긋나는지입니다. 오차들은 모두 낮을수록 더 잘 만든 딥페이크라는 뜻이에요. FaceForensics++ 앞쪽 500개 영상에서 각각 100 프레임씩 뽑아 쟀습니다.
논문 표 1 이게 본 실험 표입니다. 화살표가 방향을 알려 줘요. 위쪽은 클수록, 아래쪽은 작을수록 좋다는 뜻입니다. 맨 아래 줄이 DFL 인데 SSIM, 지각 손실, 검증, 자세에서 가장 좋아요. 그런데 랜드마크에서는 Nirkin 등이 0.35, DFL 이 0.73 입니다. 그러니까 표정에서는 셋 중 두 번째이고, 논문도 이걸 숨기지 않아요.
자세 열을 그래프로 옮겨 볼게요. 진짜 차이가 나는 곳이거든요. 다시 말하면, 자세 오차는 고개 각도가 얼마나 어긋나는지라서 낮을수록 좋은 딥페이크예요. DeepFakes 가 4.75, Nirkin 등이 6.01, DFL 이 1.12 입니다. 그러니까 DFL 로 바꾼 얼굴은 원래와 거의 똑같이 고개를 돌린다는 거죠. 저자들은 선명한 눈과 치아가 SSIM 같은 점수를 거의 바꾸지 못한다는 점도 짚습니다.
절제 실험은 세 가지를 바꿔 봅니다. 신경망 구조, 학습 방식, 그리고 코드에 거는 제약이에요. 구조에는 층과 잔차 블록을 더 붙인 DFHD 와 LIAEHD 도 넣습니다. 학습 방식은 GAN 을 켜거나 끄고, 제약은 TrueFace 를 켜거나 끕니다. 나머지 설정은 본 실험과 같고요.
논문 그림 6 이 그림이 네 구조를 나란히 비교한 겁니다. 여기서는 변환된 얼굴 대신 학습 미리보기를 보여 줘요. 후처리 영향을 빼려는 거죠. LIAE 열과 DF 열을 비교해 보세요. LIAE 가 대상의 얼굴형을 더 잘 유지합니다. 그래서 얼굴형이 안 맞는 문제가 풀려요.
논문 표 2 이게 절제 실험 표인데, 변형이 모두 여덟 개입니다. 위 네 줄이 DF 계열, 아래 네 줄이 LIAE 계열이에요. 맨 아래 줄, GAN 과 TrueFace 를 켠 LIAEHD 가 SSIM 0.80, 자세 오차 0.83 으로 가장 좋습니다. 그런데 셋째 줄을 잘 보세요. 재밌는 게 거기 있어요.
DFHD 계열 세 줄을 그래프로 옮긴 겁니다. DFHD 혼자일 때 자세 오차가 1.06 인데, GAN 을 켜면 1.33 으로 올라가요. 얼굴은 더 선명해지는데, GAN 만 켜면 자세는 오히려 나빠지는 거죠. 여기에 TrueFace 까지 켜면 0.99 로 내려갑니다. 출발점보다 좋아요. 논문은 이걸 TrueFace 가 GAN 의 불안정함을 눌러 준 것으로 해석합니다.
같은 표에서 하나만 더 볼게요. 검증 오차가 DF 계열은 전부 0.61, LIAE 계열은 전부 0.58 입니다. 그러니까 같은 구조 안에서는 원본 얼굴이 얼마나 잘 유지되는지가 변하지 않아요. 그리고 지름길 연결을 더 붙이면 GAN 없이도 랜드마크와 자세가 좋아집니다.
논의에서는 세 가지를 말합니다. 첫째는 완결성. 3단계마다 대안이 있고, 도구 대부분을 사용자를 위해 직접 만들었다는 거예요. 둘째는 가능성. 10만 장 규모까지 다룹니다. 미세조정으로 입 모양 조작, 머리 교체, 나이 되돌리기도 되고요. 셋째는 영향. 스턴트 대역의 얼굴을 바꾸는 것처럼 영화 후반 작업에서 가치가 크다는 거고요. 그리고 결과가 진짜 같으니까 탐지 연구자들이 더 튼튼한 분류기를 만들게 된다고 합니다.
제가 보기에 약한 부분을 말씀드릴게요. 비교 실험은 96 × 96 에서 GAN 과 TrueFace 를 끄고 3시간 돌린 겁니다. 기준 방법들에는 공정하지만, 이 시스템이 제 실력을 낸 상태는 아니죠. 학습 요령 두 가지는 크게 도움이 됐다는데, 표에는 한 번도 나오지 않아요. 그리고 이 도구를 평가하는 기준인 진짜 같음을 사람에게 물어본 실험이 없습니다. 그래도 실제 딥페이크의 제작 라인 전체를 적어 놓은 논문은 이것 하나예요.
직접 해 보고 싶은 분들께 드리고 싶은 말이 있어요. 공식 GitHub 저장소에서 시작하세요. 이 강의의 단계가 거기 있는 것과 그대로 맞습니다. 제가 직접 해 봤을 때는 평범한 노트북이나 데스크톱 PC로도 충분했어요. 그리고 품질 좋은 이미지 1,000장 정도면 이미 꽤 그럴듯한 결과가 나왔습니다. 10만 장이 있으면 정말 좋겠지만, 경험상 그렇게까지 필요한 경우는 드물어요.
그럼 얼굴 바꾸기 한 번에 실제로 뭐가 드는지 모아 보겠습니다. 원본 인물 영상 하나와 대상 영상 하나, 이렇게 두 개가 필요하고요. 모델은 그 두 사람에 맞춰 학습하니까, 사람이 바뀌면 학습도 새로 해야 합니다. 그리고 영상 몇 분이면 필요한 좋은 이미지 1,000장은 쉽게 모입니다. 그러니까 어떤 얼굴의 영상이 많이 공개돼 있을수록 그 얼굴은 바꾸기 쉬워요.
이 논문은 세 가지로 정리하겠습니다. 첫째. 누구인지는 디코더에 담기고, 공유 인코더는 표정과 자세를 담습니다. 둘째. 진짜처럼 보이는지는 마지막 단계가 정해요. 재정렬, 색 맞추기, 블렌딩, 선명화요. 셋째. 이 도구는 방어를 위해 공개됐지만, 동시에 얼굴 바꾸기를 누구나 할 수 있게 만들었습니다. 저는 이 세 번째가 가장 중요하다고 봅니다.
DeepFaceLab 은 여기까지입니다. 다음에 또 좋은 논문으로 찾아뵙겠습니다. 시청해 주셔서 감사합니다.
| 항목 | 값 |
|---|---|
| 학습 시간 | GTX 1080Ti 한 장으로 Quick96 모드 평균 3시간 |
| 얼굴 특징점 | 68개 |
| 손실 함수 | DSSIM 과 MSE 를 함께 |
| 구조 | DF 와 LIAE, 각각 공유 인코더에 디코더를 다르게 붙임 |
| 가장 좋은 결과 | LIAEHD 에 GAN 과 TrueFace 를 더했을 때 SSIM 0.80, 자세 오차 0.83 |
이 편에서 본 것은 얼굴 바꾸기, 즉 이미 있는 영상의 얼굴을 갈아 끼우는 방식입니다. 원본 영상과 목표 인물의 사진이 많이 필요하고, 학습에도 시간이 걸립니다.
다음 편에서는 사진 서너 장이면 끝나는 세계로 넘어갑니다. 확산 모델이 등장하면서 딥페이크에 필요한 재료가 얼마나 줄었는지, DreamBooth 논문으로 확인합니다.
영상을 함께 보실 분을 위해, 이 글의 장이 영상의 몇 번째 슬라이드에 해당하는지 적어 둡니다.
| 장 | 슬라이드 |
|---|---|
| 이 논문이 던지는 질문 | 1 ~ 4 |
| 딥페이크의 두 갈래와 오토인코더 | 5 ~ 11 |
| DeepFaceLab 이라는 도구 | 12 ~ 15 |
| 1단계 추출, 얼굴을 꺼내는 일 | 16 ~ 26 |
| 2단계 학습, 두 얼굴을 하나의 인코더로 | 27 ~ 35 |
| 3단계 변환, 다시 영상으로 | 36 ~ 39 |
| 실험과 결과 | 40 ~ 50 |
| 한계와 내 평가 | 51 ~ 56 |
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.