강의 / 딥페이크 논문 읽기 / 6강
시작 …
실시간 딥페이크를 픽셀로 찾는 대신 상대에게 동작을 시킵니다. 사람이 AUC 88.6퍼센트, 자동 채점이 80.1퍼센트인데 같은 조건에서 기존 탐지기는 50퍼센트와 53.7퍼센트였습니다.
| 논문 | GOTCHA: Real-Time Video Deepfake Detection via Challenge-Response |
| 저자 | Mittal, Hegde, Memon (NYU Tandon) |
| 발표 | arXiv 2022, 2024 개정 |
| 원문 | arXiv:2210.06186 |
| 강의 분량 | 슬라이드 53장 |
5편까지 보면 상황이 암울합니다. 만드는 쪽은 사진 한 장이면 되고, 사후 탐지기는 처음 보는 생성기에 무너지고, 워터마크는 5분이면 지워집니다.
이 편의 논문은 완전히 다른 쪽을 봅니다. 영상 통화라는 상황에서는 보는 쪽이 가만히 있을 필요가 없다는 것입니다. 상대에게 손으로 얼굴을 가려 보라고 하면 됩니다.
실시간 딥페이크는 초당 서른 번씩 얼굴을 찾고 바꾸고 붙여야 합니다. 학습 때 본 적 없는 동작을 요구하면 그 과정 어딘가가 반드시 흔들립니다. 그리고 그 흔들림은 도구 없이 눈으로 보입니다.
오늘 볼 논문은 GOTCHA, 챌린지와 응답으로 실시간 딥페이크를 잡아내는 연구입니다. 이 시리즈에서 딥페이크를 만들었고, 사진을 지켰고, 워터마크가 지워지는 것도 봤습니다. 이 논문은 다른 길을 갑니다. 말을 겁니다. 방어자가 상대에게 어떤 동작을 시키면, 보는 앞에서 가짜가 무너집니다.
상황부터 보겠습니다. 아는 사람이라고 생각하는 상대와 영상 통화를 하고 있습니다. 실시간 딥페이크는 일반 그래픽카드 한 장으로 그 사람의 얼굴을 실시간으로 바꿀 수 있어요. 기존 탐지기는 다 만들어진 영상을 들여다보고, 상호작용이 없다고 가정합니다. 그런데 통화에서는 상호작용을 할 수 있죠. 상대에게 무언가를 시킬 수 있습니다. 실시간으로 시킨 동작이 딥페이크를 몇 초 만에 눈에 보이게 무너뜨릴 수 있을까요?
저자들은 그렇다고 말합니다. 상대에게 동작을 시키면 실시간 딥페이크가 눈에 보이게 무너진다는 겁니다. 사람이 진짜와 가짜를 가르는 성능이 AUC 88.6% 입니다. 저자들이 만든 자동 채점 모델은 80.1% 에 이르고요. 네 갈래로 나눈 챌린지 8가지를 실시간 파이프라인 세 개에 걸어 봅니다. 한 줄로 말하면, 영상만 보지 말고 사칭하는 쪽에 실시간으로 일거리를 주라는 겁니다.
논문 그림 1 그림 1 은 실시간 딥페이크가 무엇으로 이루어졌는지 보여 줍니다. 웹캠 화면이 왼쪽 위로 들어옵니다. 검출기가 얼굴을 찾고, 특징점이 찍히고, 얼굴이 정렬됩니다. 얼굴 교체기와 분할 모듈이 목표 인물의 얼굴을 만들어 내고요. 그다음 합성, 색 보정, 크기 조정이 그것을 원래 화면에 다시 붙입니다. 결과는 가상 카메라로 나가고, 상대방 눈에는 평범한 영상 통화로 보입니다.
그 부품들을 목록으로 정리해 보겠습니다. 논문 전체가 여기에 걸려 있거든요. 얼굴 검출기는 화면에서 얼굴을 찾습니다. 특징점과 정렬은 눈, 코, 입을 찍고 얼굴을 똑바로 세웁니다. 분할은 어느 픽셀이 얼굴인지 정하고요. 오토인코더가 목표 인물의 얼굴로 바꿉니다. 합성과 색 보정이 그것을 다시 붙이고 피부색을 맞춥니다. 그리고 이 모두가 카메라가 보내는 것을 받아 초당 30번쯤 돌아가야 합니다. 이 다섯 부품 하나하나가 동작을 시켜서 가짜를 깨뜨릴 수 있는 자리입니다.
가정한 위협이 아닙니다. FBI 는 편집된 영상이 아니라 영상 통화에서의 실시간 사칭을 경고했습니다. 중국에서는 친구를 사칭한 상대와 영상 통화를 한 뒤 620,000 달러를 보낸 일이 있었고요. 우크라이나 전 대통령을 사칭한 인물이 크렘린 비판자와의 녹화 통화에 들어가기도 했습니다. 달라진 점은 이 파이프라인이 일반 장비에서 돌아가게 됐다는 겁니다. 게다가 목표 인물의 사진도 많이 필요하지 않습니다.
논문 표 1 표 1 은 그런 파이프라인이 실시간 통화를 따라갈 수 있는지 봅니다. 열마다 장비 구성이 있고, 행은 초당 장면 수입니다. 빨강은 실시간 기준 아래, 초록은 그 위라는 뜻이에요. 저자들은 초당 15장을 기준선으로 잡습니다.
같은 숫자를 막대로 보겠습니다. 8코어 CPU 만으로는 초당 1.2장이라 아무도 속지 않습니다. RTX 3070 한 장을 더하면 23.5장으로 뜁니다. 와이파이 카메라로는 21.1장, LTE 휴대폰 카메라로는 20.2장이고요. 셋 다 저자들이 실시간이라고 부르는 15장 위에 있습니다. 그러니 이 위협은 데이터센터가 아니라 게임용 컴퓨터에서 돌아갑니다.
그러면 그냥 딥페이크 탐지기를 쓰면 되지 않을까요? 기존 탐지는 다 만들어진 영상을 받아 들여다봅니다. 상대가 없으니, 사칭하는 쪽은 모델을 다듬을 시간을 마음껏 쓸 수 있었던 거죠. 저자들은 이 위협 모델이 조용히 공격자 편을 들어 준다고 지적합니다. 챌린지와 응답은 그것을 뒤집습니다. 방어자가 동작을 요구하고 그것이 일어나는 것을 봅니다. 공격자가 고르지 않은 과제로요. 부담이 탐지기에서 사칭하는 쪽으로 넘어갑니다.
흐름은 간단합니다. 챌린지를 무작위로 고르고, 상대에게 하라고 하고, 응답을 보고, 점수를 매깁니다. 저자들은 챌린지 하나로 준비 없는 가짜를 15초 안에 벗겨 낼 수 있다고 보고합니다. 이것이 무엇이 아닌지도 봐 두세요. 생체 인증이 아니라서 상대에 대해 미리 알아 둘 것이 없습니다. 미리 찍어 둔 응답도 소용없습니다. 정확한 과제를 그 자리에서 고르니까요.
논문은 챌린지를 세 가지 성질로 정의합니다. 첫째, 실시간 딥페이크를 망가뜨리고, 되도록 도구 없이도 사람 눈에 보여야 합니다. 둘째, 장비 없이 큰 수고 없이 통화 중에 할 수 있어야 하고요. 셋째, 무작위로 바꿀 수 있어야 합니다. 고개를 왼쪽으로 45도, 아래로 30도 돌리고 멈추세요, 같은 식이죠. 정확한 숫자가 매번 바뀌고, 그것이 미리 녹화한 응답을 무력화합니다.
논문 그림 2 그림 2 는 전체 설정에서 중요한 점 하나를 설명합니다. 얼굴 교체는 사칭하는 사람과 목표 인물의 얼굴 형태가 비슷할수록 잘 됩니다. 왼쪽에 사칭자 두 명이 있는데, 한 명은 목표 인물과 얼굴 형태가 맞고 한 명은 아닙니다. 오른쪽이 그들이 만들어 낸 딥페이크입니다. 형태가 맞는 쪽이 훨씬 그럴듯한 결과를 냅니다. 그래서 이 연구는 사칭자와 목표를 비슷하게 짝지었습니다. 방어하는 쪽에는 더 어려운 조건이죠.
논문 표 2 표 2 는 챌린지 분류 체계입니다. 행이 갈래이고 옆에 예시가 있습니다. 왼쪽 열 묶음은 각 챌린지가 파이프라인의 어느 부품을 흔드는지 표시합니다. 오른쪽 묶음은 요청하기에 무례하지 않은지 같은 사용성을 매깁니다. 꽉 찬 동그라미는 완전히, 반쪽은 부분적으로, 빈 칸은 해당 없음을 뜻합니다.
네 갈래를 읽어 보겠습니다. 얼굴 가리기. 손이나 물건으로 얼굴 일부를 가려서 분할과 합성을 흔듭니다. 고개 움직임. 지정한 방향으로 돌리거나 일어서게 해서 얼굴 검출과 정렬을 흔들고요. 얼굴 변형. 볼을 누르거나 혀를 내밀거나 표정을 크게 바꿔서 오토인코더를 흔듭니다. 얼굴 조명. 플래시나 밝은 화면으로 색 보정을 흔듭니다. 각각 다른 부품을 때리기 때문에, 하나를 버텨 낸 생성기도 다른 하나에서는 무너집니다.
실제로 쓴 과제 여덟 가지입니다. 손으로 가리기, 선글라스로 가리기, 마스크로 가리기. 지정한 방향으로 고개 움직이기, 그리고 일어서기 같은 몸 전체 움직임. 손가락으로 얼굴 누르기, 혀 내밀기, 표정 크게 바꾸기. 그리고 조명, 얼굴에 플래시를 비추거나 화면 빛을 쓰는 것입니다. 가리기 묶음을 기억해 두세요. 결과적으로 가장 강한 것으로 드러납니다.
논문 그림 3 그림 3 은 상대가 무엇을 해야 하는지 어떻게 아는지 보여 줍니다. 화면 속 아바타가 먼저 그 동작을 해 보입니다. 사용자가 그것을 따라 하고, 화살표가 어느 쪽으로 돌라는지 알려 줍니다. 그림에는 얼굴을 비추는 플래시도 나와 있고요. 시범이 중요한 이유는, 과제를 잘못 이해한 사용자가 실패한 것처럼 보이기 때문입니다.
같은 생각을 코드로 적어 보겠습니다. 목록에서 챌린지를 무작위로 하나 고릅니다. 세부 설정도 무작위로 뽑습니다. 좌우 각도 마이너스 45, 상하 각도 마이너스 30, 3초 유지 같은 식이죠. 시범을 보여 주고 지켜봅니다. 시범은 제대로 된 수행을 얻어 내고, 그 수행 여부가 우리가 매길 신호의 절반입니다. 무작위로 바꾸는 것이 미리 답을 준비하는 것을 막아 줍니다.
논문 그림 4 그림 4 는 눈으로 바로 판단할 수 있는 결과입니다. 첫 열이 실제 목표 인물이고, 다음 세 열이 LIA, FSGAN, DeepFaceLab 입니다. 각 행이 챌린지 하나인데, 맨 위가 챌린지 없음이고 맨 아래가 플래시입니다. 챌린지가 없으면 셋 다 봐 줄 만합니다. 손이 얼굴을 가리거나 손가락이 볼을 누르는 순간 가짜들이 무너지죠. 이미지 옆 초록 막대는 품질 표시이고, 막대가 없으면 그 파이프라인이 아예 실패한 겁니다.
무엇을 봐야 하는지 짚어 드릴게요. 얼굴 앞을 지나가야 할 손이 얼굴 속으로 꺼지는 것을 보세요. 바뀐 영역의 경계가 번지기 시작하는 것도요. 변형 뒤에 피부가 떡처럼 뭉개지는 것도 보입니다. LIA 는 대부분의 챌린지에서 아예 실패해서, 저자들은 사람 평가에서 제외합니다. DeepFaceLab 이 가장 잘 버티는데, 특정 목표 인물의 데이터로 학습했기 때문입니다.
이제 데이터셋입니다. 이 논문의 진짜 노동이죠. 참가자 47명이 직접 와서 카메라 앞에서 챌린지 여덟 가지를 수행했습니다. 참가자마다 한 번씩 목표가 되고 나머지가 사칭자가 됩니다. 그렇게 사칭자와 목표의 짝이 2,162개 나옵니다. 그 짝들에 파이프라인 세 개를 돌려 영상 56,247개, 약 500 GB 가 나왔고요. 참가자들은 승인된 심의 절차에 따라 동의했고, 데이터는 학술 목적으로 공개됩니다.
논문 표 3 표 3 은 챌린지별, 생성기별 영상 수를 셉니다. 원본 영상이 409개이고, 파이프라인마다 18,000에서 19,000개입니다. 일부 줄은 2,162개에 못 미치는데, 생성에 실패한 짝이 있어서입니다. 챌린지마다 가짜 영상이 2,000개 안팎이라 뒤에 나오는 숫자를 믿을 수 있습니다.
첫 번째 평가는 사람입니다. 60명을 모집해 어떤 흔적이 생기는지 먼저 가르쳤습니다. 43명이 처음 보는 영상으로 낸 시험을 통과해 본 과제로 넘어갔고요. 자료는 약 10초짜리 영상 150개이고, 각 챌린지 갈래를 모두 담았습니다. 사칭자와 목표는 성별, 피부색, 얼굴 구조를 맞춰서 쉬운 단서를 없앴습니다. 한 사람이 45개를 판정해서 영상당 약 12.9번의 판정이 쌓였습니다.
논문 그림 5 그림 5 는 평가자들이 배운 네 가지 흔적입니다. (a) 에는 오른쪽 눈썹 근처에 경계 흔적이 있습니다. (b) 에서는 손이 얼굴 앞이 아니라 뒤로 사라집니다. (c) 는 얼굴의 세부가 뿌옇게 뭉개졌고요. (d) 에서는 선글라스가 프레임 사이에서 잠깐 사라지기 시작합니다. 그림의 빨간 표시가 흔적이 있는 자리를 알려 줍니다.
이 네 이름은 외워 둘 만합니다. 논문 뒤쪽에서 계속 쓰거든요. 경계 흔적은 바뀐 얼굴과 진짜 머리가 만나는 자리에 보이는 이음매입니다. 사라지는 물체는 손이나 펜이 얼굴 뒤로 사라지는 현상이고요. 피부 결 불일치는 세부가 뿌옇거나 플라스틱처럼 변하는 것입니다. 시간 불일치는 프레임 사이에서 무언가 깜빡이는 것이고요. 넷 중 셋은 동작을 시켜야 비로소 나타난다는 점을 보세요.
평가자는 영상마다 네 가지를 답했습니다. 수행 여부는 그 사람이 실제로 과제를 했는지 예 아니오로 답합니다. 사실감은 얼마나 가짜로 보이는지를 0에서 100% 사이 막대로 답하고요. 그다음 어떤 흔적이 보였는지, 얼굴 위 격자에서 어디에 보였는지를 답합니다. 저하 점수는 앞의 두 답 중 나쁜 쪽을 취합니다. 과제를 무시한 영상은 아무리 깨끗해 보여도 100% 가 됩니다.
논문 그림 6 그림 6 이 사람에 대한 핵심 질문에 답합니다. 위쪽은 점수 분포를 깔아 놓은 ROC 곡선입니다. 오른쪽의 주황 덩어리가 딥페이크, 왼쪽의 파란 쪽이 진짜 영상이에요. 아래쪽은 챌린지 갈래별 평균 저하 점수이고, 진짜 영상과 FSGAN, DeepFaceLab 을 비교합니다. 진짜 영상은 전반적으로 낮게 깔리고, 두 가짜는 챌린지를 시키면 올라갑니다.
핵심 숫자를 보겠습니다. 사람은 AUC 88.6% 로 진짜와 가짜를 가릅니다. 기준값 37% 에서 정확도 81.2% 고요. 챌린지를 더하자 DeepFaceLab 의 저하 점수가 25포인트 올랐습니다. 진짜 영상은 12포인트만 올랐고, 방어하는 쪽은 그 차이 속에서 삽니다. FSGAN 은 6포인트만 올랐는데, 챌린지 없는 영상부터 이미 가짜 같았기 때문입니다. 저자들은 조명 챌린지가 양쪽으로 사람을 헷갈리게 했다고도 적습니다.
논문 그림 7 그림 7 은 챌린지마다 어떤 흔적이 나오는지 보여 줍니다. 막대 세 개 묶음이 원본, FSGAN, DeepFaceLab 순서입니다. 짙은 파란 칸이 흔적 없음인데, 원본 줄에서 가장 큽니다. 가짜 쪽은 챌린지가 들어가는 순간 색깔 있는 칸들이 자리를 차지하죠. 가리기와 변형은 사라지는 물체를 만들고, 생성기마다 자기만의 흔적을 남깁니다.
논문 그림 8 그림 8 은 얼굴 어디에서 손상이 보였는지 보여 줍니다. 평가자들은 얼굴과 목 위에 놓인 18칸 격자에 흔적 위치를 표시했습니다. 맨 윗줄이 진짜 영상이고, 아래 두 줄이 FSGAN 과 DeepFaceLab 입니다. 진짜 영상은 옅고 흩어진 무늬를 얻습니다. 가짜는 얼굴 안쪽에 밝은 덩어리가 모이는데, 바로 얼굴이 교체되는 자리입니다.
사람 평가 결과를 믿을 수 있게 만드는 부분입니다. 평가자들은 가짜 영상에서 적어도 하나의 흔적을 92.7% 의 경우에 찾아냈습니다. 가리기와 변형에서는 사라지는 물체라고 46.8% 의 경우에 답했고요. 각 파이프라인 고유의 흔적까지 인정하면 67.8% 로 올라갑니다. 흔적을 맞게 지목한 전체 정확도는 80.2% 입니다. 그러니까 평가자들은 찍은 것이 아니라 맞는 것을 가리키고 있었습니다.
훈련받은 사람이 필요한 보안 검사는 규모가 커질 수 없습니다. 그래서 저자들은 두 부분으로 된 자동 점수를 만듭니다. 품질 모델이 영상에 점수를 매기고, 가짜가 진짜보다 얼마나 떨어지는지를 손실로 봅니다. 수행 검사기는 요청한 동작이 실제로 일어났는지를 답하고요. 최종 저하 점수는 둘 중 나쁜 쪽을 취합니다. 이게 중요한 이유는, 과제를 그냥 무시한 가짜에는 찾아낼 흔적이 없기 때문입니다.
품질 모델은 3D-ResNet18 입니다. 3차원 합성곱 신경망은 보통 동작 인식에 쓰여서, 한 장면이 아니라 움직임을 봅니다. 진짜 영상끼리는 당기고 가짜는 밀어내는 대조 손실로 학습합니다. 학습에는 표본당 32프레임, 47명 중 35명, DeepFaceLab 영상만 씁니다. 챌린지 아홉 줄 중 다섯 줄만 학습에서 봅니다. 나머지는 시험할 때 처음 보는 것이고, 그렇게 해야 제대로 된 평가가 됩니다.
수행 검사는 과제 종류마다 다른 검사기가 필요합니다. 가리기는 보이는 얼굴을 분할해서 가려진 비율이 오르내리는지 봅니다. 고개 움직임은 프레임마다 좌우와 상하 각도를 예측해 네 방향 모두에서 실제 움직임을 요구하고요. 변형은 손가락이나 혀가 얼굴의 맞는 자리에 왔는지 물체 검출기로 확인합니다. 표정은 표정 데이터로 학습한 모델이 표정이 얼마나 넓게 변했는지를 잽니다. 이 부분이 시스템에서 손이 많이 가는 곳이고, 저자들도 그렇게 적습니다.
논문 그림 9 그림 9 는 이 모델을 발표된 탐지기 둘과 비교합니다. SBI 와 FTCN 은 표준 딥페이크 데이터셋에서는 잘 합니다. 그런데 여기서는 곡선이 거의 대각선에 붙어 있어요. 저자들의 품질 모델은 그 위로 올라갑니다.
숫자로 보면 SBI 가 AUC 50.02%, FTCN 이 53.67% 입니다. AUC 50% 는 동전 던지기니까, 이 탐지기들은 거의 아무것도 말해 주지 않는 셈입니다. 저자들의 모델은 80.12% 에 이릅니다. 저자들은 챌린지 응답에 기존 탐지기가 배운 적 없는 신호가 들어 있다는 증거로 읽습니다. 다만 이 모델은 이 데이터로 학습했고 나머지는 아니라는 점은 감안해야 합니다.
논문 표 4 표 4 가 핵심 결과표입니다. 각 행이 챌린지 하나이고, 약한 것부터 강한 것 순서로 정렬돼 있습니다. 파이프라인마다 수행률 C, 품질 손실, 그리고 둘을 합친 저하 점수 M 이 나옵니다. 마지막 열이 세 파이프라인의 평균이고요. 별이 붙은 줄은 채점 모델이 학습 때 본 적 없는 챌린지입니다.
마지막 열을 막대로 그렸습니다. 챌린지가 없으면 저하 점수가 13.0 이라, 가짜가 멀쩡해 보인다는 뜻입니다. 고개 움직임이 26.5 로, 플래시가 49.1 로 올립니다. 표정 바꾸기가 61.3, 선글라스가 67.7 이고요. 그리고 강한 묶음입니다. 혀 내밀기 82.0, 마스크 82.6, 손으로 누르기 82.7. 가장 센 과제 하나는 손으로 얼굴을 가리는 것으로 91.4 입니다. 여덟 중 넷이 80을 넘고, 그 넷 중 셋은 학습에서 본 적 없는 챌린지입니다.
그 점수를 두 부분으로 나눠 볼 가치가 있습니다. 챌린지가 없으면 수행률은 100% 입니다. 지킬 것이 없으니까요. 챌린지 전체 평균으로는 수행률이 DeepFaceLab 38.1%, FSGAN 36.5%, LIA 35.6% 로 떨어집니다. 그러니까 대략 세 번 중 두 번은 가짜가 과제를 아예 해내지 못합니다. 과제를 해낸 영상에서도 품질이 16에서 21% 떨어지고요. 두 쪽이 같은 방향을 가리키니 합친 점수가 그렇게 높게 나오는 겁니다.
논문 그림 10 그림 10 은 과제의 폭을 넓힙니다. 마스크, 눈을 가린 손, 천장을 올려다보기. 그다음 얼굴 변형, 과장된 표정, 조명 바꾸기입니다. 한 칸에서는 얼굴 검출기가 포기하고 얼굴 없음이라고 보고합니다. 다른 칸에서는 분할이 손을 삼키고, 또 다른 칸에서는 만들어진 표정이 진짜 표정과 맞지 않습니다.
논문 그림 11 그림 11 은 고개 움직임이 왜 통하는지 설명합니다. 축은 고개가 돌아가는 방향인 좌우 각도와 상하 각도입니다. 등고선 한 쌍이 모델 하나가 좋은 품질을 내는 영역을 표시합니다. 한 방향으로만 학습한 모델은 자기 영역만 덮죠. 다양한 데이터로 학습한 모델은 훨씬 넓게 덮지만, 그래도 구멍이 남습니다.
그 구멍이 방어하는 쪽의 기회입니다. 얼굴 교체 모델은 학습 때 본 자세만큼만 좋습니다. 목표 인물이 고개를 모든 각도로 돌린 사진을 모으기는 어렵고요. 그래서 방어자는 사칭자가 덜 다뤘을 각도를 요구합니다. 손으로 얼굴을 가린 학습 데이터가 거의 없다는 점에서, 가리기 챌린지도 같은 논리입니다.
이제 바로 떠오르는 반박입니다. 사칭자가 이 논문을 읽고 준비하면 어떻게 될까요? 저자들은 바로 그것을 만들었습니다. DeepFaceLab 의 적응형 변형판이죠. 2M 번 넘게 학습하고, 큰 얼굴 데이터셋으로 1M 번 사전 학습을 더했습니다. 목표 인물 전용 분할 모듈도 붙였고요. 학습에만 3주쯤 걸립니다. 이 판은 가장 강했던 가리기 챌린지를 버텨 냅니다. 다만 목표 인물의 데이터가 많아야 하고, 현실에서는 동료가 아니라 유명인이라는 뜻입니다.
논문 그림 12 그림 12 는 그 더 잘 만든 가짜가 어떻게 보이는지 보여 줍니다. 막대가 없거나 짧았던 그림 4 와 비교해 보세요. 여기서는 막대가 더 높고, 품질이 더 좋다는 뜻입니다. 물체로 가려도, 손으로 눌러도, 조명을 바꿔도 버팁니다. 이런 상대에게는 챌린지 하나로는 더 이상 충분하지 않습니다.
논문 그림 13 그림 13 이 그 대응책입니다. 챌린지 하나가 아니라 여러 개를 이어서 요구하는 겁니다. 가로축은 지금까지 몇 개를 시켰는지이고요. 실선이 사람 점수, 점선이 자동 점수입니다. 사칭자가 순서를 밟아 갈수록 둘 다 올라갑니다.
그림에서 값을 읽으면, 사람 점수는 챌린지 하나 뒤에 57 근처에서 시작합니다. 둘째에서 80을 넘고, 넷째에서는 두 점수 모두 90에 가까워집니다. 참고로 앞에서 쓴 사람 판정 기준값은 37이었습니다. 그러니 과제 하나를 버틴 사칭자도 넷은 버티지 못합니다. 저자들은 이것을 단조로운 상승이라고 부르고, 적응형 공격자에 대한 답으로 내놓습니다.
논문 그림 14 그림 14 는 보안 논문이 잘 건너뛰는 질문을 던집니다. 사람들이 통화 중에 이 동작들을 정말 해 줄까요? 참가자들은 각 챌린지를 다섯 단계로 얼마나 기꺼이 할지 평가했습니다. 상자들이 왼쪽의 높은 의향에서 오른쪽의 낮은 의향 순으로 묶여 있습니다.
흐름은 짐작대로이고, 실제로 쓸 때 중요합니다. 고개 돌리기, 손으로 얼굴 가리기, 플래시는 요청하기 쉽습니다. 혀를 내밀거나 자기 얼굴을 누르는 것은 업무 통화에서 어색하고요. 그런데 어색한 것들이 대체로 더 강합니다. 그게 맞바꿈이죠. 제가 뽑은 설계 규칙은, 예상되는 생성기를 깨뜨리는 선에서 가장 점잖은 챌린지를 고르라는 것입니다.
한계는 분명히 적혀 있습니다. 데이터셋은 47명입니다. 다양하긴 해도 사람 얼굴 전체를 담기에는 멉니다. 모든 녹화는 협조적인 참가자와 함께 통제된 공간에서 이루어졌고요. 실제 통화에는 약한 네트워크, 야외 조명, 적극적으로 방해하는 사칭자가 있습니다. 채점기도 초기 단계라, 챌린지마다 검사기가 따로 있고 백본도 조율하지 않았습니다. 그래도 챌린지 하나가 준비 없는 가짜를 15초 안에 벗기고, 연속 챌린지가 준비된 쪽을 처리합니다.
이 논문을 우리 시리즈 안에 놓아 보겠습니다. 생성은 값싸졌습니다. 사진 한 장과 음성, 또는 게임용 그래픽카드에서 실시간으로 바뀌는 얼굴이죠. 픽셀만 보는 쪽은 지고 있습니다. 사후 탐지기는 새 생성기에 무너지고, 워터마크는 지워질 수 있어요. 이 논문이 더하는 지렛대는 상호작용입니다. 파이프라인이 학습한 적 없는 것을 요구하면, 보는 앞에서 가면이 흘러내립니다.
이제 제 평가입니다. 강점부터 보겠습니다. 첫째, 챌린지가 결과물이 아니라 이름이 붙은 부품을 공격합니다. 그래서 분류 체계가 특정 생성기보다 오래 갑니다. 둘째, 흔적이 사람 눈에 보이도록 설계됐습니다. 전문가가 아닌 사람에게 설명할 수 있는 검사는, 아무도 따질 수 없는 점수보다 값집니다. 셋째, 47명과 생성기 세 개로 직접 데이터를 모았고 공개했습니다.
이제 약한 부분입니다. 첫째, 적응형 사칭자가 몇 판은 이깁니다. 잘 학습된 모델은 가리기 챌린지를 버티고, 연속 챌린지라야 간격이 회복됩니다. 둘째, 신호의 상당 부분이 눈에 보이는 손상이 아니라 수행 여부입니다. 과제를 못 하는 가짜는 잡히지만, 가짜처럼 보인다는 주장보다는 약합니다. 셋째, 사용성이 가장 센 수단을 묶어 두고, 논문 자신의 그림이 그것을 보여 줍니다.
세 가지로 정리하겠습니다. 하나, 탐지를 대화로 바꾸세요. 동작을 요구하면 사칭자는 자기가 고르지 않은 과제 아래서 가짜를 유지해야 합니다. 둘, 얼굴을 가리면 가짜가 깨집니다. 그 과제 하나가 챌린지 없을 때의 13.0 대비 91.4 를 냈습니다. 셋, 과제를 이어 붙이세요. 하나는 준비 없는 상대, 넷은 준비된 상대를 감당합니다.
GOTCHA 는 여기까지입니다. 봐 주셔서 감사합니다.
| 항목 | 값 |
|---|---|
| 참가자 | 47명이 직접 와서 여덟 가지 동작 수행 |
| 데이터셋 | 영상 56,247개, 약 500 GB |
| 사람 성능 | AUC 88.6퍼센트, 정확도 81.2퍼센트 |
| 자동 채점 | AUC 80.1퍼센트, 기존 탐지기는 50퍼센트와 53.7퍼센트 |
| 가장 센 과제 | 손으로 얼굴 가리기, 저하 점수 91.4 (챌린지 없을 때 13.0) |
여섯 편을 지나오며 생성과 방어가 어떻게 주고받았는지 따라왔습니다.
생성 쪽은 재료를 계속 줄여 왔습니다. 영상 한 편에서 사진 네 장으로, 다시 사진 한 장으로요. 방어 쪽은 세 번 시도했습니다. 사후 탐지는 처음 보는 생성기에 약했고, 사진을 미리 지키는 방법은 이미 올라간 사진 앞에서 약했으며, 워터마크는 지워졌습니다.
이 편이 더한 것은 상호작용입니다. 결과물을 들여다보는 대신 상대에게 일을 시키면, 적어도 실시간 상황에서는 판이 뒤집힙니다. 물론 이것도 최종 해답은 아닙니다. 준비된 공격자는 챌린지 하나를 버티고, 연속으로 시켜야 다시 잡힙니다.
생성과 방어의 주고받기는 계속됩니다. 이 시리즈가 그 판을 읽는 눈이 되었으면 합니다.
영상을 함께 보실 분을 위해, 이 글의 장이 영상의 몇 번째 슬라이드에 해당하는지 적어 둡니다.
| 장 | 슬라이드 |
|---|---|
| 이 논문이 던지는 질문 | 1 ~ 4 |
| 실시간 딥페이크의 해부도 | 5 ~ 9 |
| 챌린지와 응답이라는 생각 | 10 ~ 17 |
| 데이터셋과 사람 평가 | 18 ~ 30 |
| 자동 채점 | 31 ~ 35 |
| 결과 읽기 | 36 ~ 38 |
| 왜 무너지는가 | 39 ~ 41 |
| 적응형 공격자와 대응책 | 42 ~ 47 |
| 한계와 시리즈 정리 | 48 ~ 53 |
로그인하시면 댓글을 쓰실 수 있습니다.
아직 댓글이 없습니다. 첫 댓글을 남겨 주시면 됩니다.