BLOG

딥페이크 기술

2021-12-20


딥페이크 기술

 

딥페이크(Deepfake)란?

테슬라 CEO 일론 머스크가 우스꽝스러운 춤을 추는 영상을 본 적이 있는가? 멋진 모델 사진에 본인의 얼굴을 합성해서 날씬하고 멋진 헤어스타일을 소유한 사람으로 만들어주는 앱을 사용해 본 적이 있는가? 그렇다고 대답했다면 이미 딥페이크 기술을 접해본 것이다. 딥페이크(Deepfake)는 딥러닝(Deep Learning)과 가짜를 뜻하는 페이크(Fake)의 합성어다. 딥러닝이라는 인공지능의 한 형태를 사용하여 가짜 이미지를 만드는 기술을 뜻한다. 이 기술은 이미지 검색, 음성 검색, 기계 번역 등 다양한 분야에 활용할 수 있다. 딥페이크는 딥러닝을 이용해 영상 속 인물의 입 모양, 표정, 목소리 등을 진짜처럼 구현한다. 이 글에서는 현재 개발된 딥페이크 기술과 활용에 대해 알아보고자 한다.

 

딥페이크 기술은 크게 4가지로 나눌 수 있다.

 

1. Face2Face : 한 사람의 표정 또는 감정을 다른사람의 얼굴에 전달하는 얼굴 재연 방법이다. 목표 영상의 얼굴을 그대로 유지하면서 원본 영상의 얼굴 표정을 목표 영상에 전송하는 방법이다. 해당 방법은 원본과 목표 두 개의 동영상 프레임들을 이용한다.

2. FaceSwap : 얼굴 부위를 원본 영상에서 목표 영상으로 전송하는 그래픽 기반 접근방식이다. 얼굴의 랜드마크를 탐지하여 얼굴 지역을 추출하여 3D 템플랫 포델을 만든 후, 혼합 형상 방법을 사용해 대상 이미지에 투영되어 이미지 혼합과 색상 보정을 통해 자연스럽게 만들어진다.

3. DeepFakes : 딥페이크는 일반적인 딥러닝에 기반을 둔 얼굴 교체 방법과 동의어로 사용되고 있으나, 이 방법은 목표 영상 속 얼굴을 원본 영상이나 이미지속의 얼굴로 바꾸는 얼굴 교체 방법이다. 하나의 공유 인코더를 공유하는 두 개의 오토인코더로 구성되어 있다. 인코더는 입력 데이터를 압축된 공간에 변환하는걸 의미하는데, 하나의 공유 인코더는 원본과 목표를 각각 재구성하도록 학습하고 각각 압축된 공간을 서로 바꿔 출력시킴으로써 원본 영상에 대해서 학습된 인코더와 디코더가 목표 얼굴에 적용된다.

4. NeuralTextures : 얼굴 재연 방법으로, 목표얼굴의 NeuralTextures를 측광 재구성 손실과 적대적 손실의 구성으로 학습한다.

 

이러한 딥페이크 기술은 다양한 분야에서 활용될 수 있다.

영상 제작분야에서 딥페이크 영상 기술로 특수 효과를 만들어 낼 수 있따. 할리우드 스튜디오 위너브라더스는 개봉예정인 영화 예고편에 팬들의 사진을 합성하는 서비스를 제공했다. 넷플릭스에서는 딥페이크 기술을 이용하여 주연 배우의 현재모습을 기반으로 과거를 재현하였다. 이를 통해 시청자들은 배우의 과거와 현재를 동시에 볼 수 있어 몰입감을 더했다.

교육분야에서도 딥페이크 기술이 활용될 수 있다. 지난 삼일절에는 윤봉길 의사, 안중근 의사, 유관순 열사 등의 생전 모습을 딥페이크 기술로 복원한 영상이 화제가 되었다. 역사 교과서에서 사진으로만 보던 자료에 생동감을 준 셈이다. 교육분야에서 활용될 딥페이크 기술은 교육효과나 관심을 상승시키는 긍정적 영향을 미칠 수 있다.

 

문제는 딥페이크가 긍정적인 시도에만 쓰이지 않는다는 것이다. 최근 전 세계적으로 정치인 및 연예인 동영상 합성 동영상에 사용되는 인공지능 기반의 딥페이크 기술은 점점 더 큰 문제가 되고 있다. 단순 재미, 유희 및 풍자를 넘어서 가짜 뉴스, 언론 조작, 폭동 생성, 및 음란물 생성에 악용되며 심각한 사회적, 법적 문제를 야기하고 있고, 인공지능 기술의 발전에 기생하여 더 빠르고 정교한 방법으로 변화할 것으로 예상된다. 이러한 사태에 대비하여 우리는 법적 규제나 교육이 시급한 상황이다. 기술이 발전하면서 다양한 플랫폼을 통해 많은 콘텐츠들이 생성되고 있다. 기술의 발전과 함께 올바른 기술 사용을 위해 개인과 사회의 노력이 필요하다.

 

이미지 출처: Adobe Stock

사업자등록번호 : 611-81-29261ㅣ업태 : 정보통신업ㅣ데이터분석 컨설팅업 ㅣseo_daeho@naver.com ㅣ 대표 :서대호

(본사)충청남도 천안시 서북구 두정역서5길 4, 403-417호, (지사)서울특별시 구로구 디지털로34길 55, 715호(구로동, 코오롱싸이언스밸리2차)  
문의 010-8598-7735 / 010-7130-2441