오픈소스 AI 활용해 제작 차단 어렵고 해외 플랫폼 통해 확산…수사 난항 속 국제 공조·플랫폼 책임 강화 필요
딥페이크는 AI를 이용해 특정 인물의 얼굴이나 음성을 실제처럼 정교하게 조작한 영상물을 만드는 기술이다. 성평등가족부 등이 발표한 ‘2025년 디지털성범죄 피해자 지원 보고서’에 따르면 딥페이크를 포함한 합성·편집 피해는 1616건 발생해 전년(1384건)보다 16.8% 증가했다.
딥페이크 범죄가 급증한 배경으로는 제작 장벽이 크게 낮아진 점이 꼽힌다. 과거에는 정교한 합성 영상을 만들기 위해 전문적인 편집 기술이 필요했지만 최근에는 누구나 내려받아 사용할 수 있는 오픈소스 AI 모델이 확산하면서 일반인도 손쉽게 합성물을 제작할 수 있다는 것이다.
오픈소스 AI는 소스 코드와 학습 모델 등이 공개돼 누구나 자유롭게 활용할 수 있는 형태의 AI다. 구글 등 빅테크 기업이 운영하는 생성형 AI 서비스는 음란물 생성 요청을 사전에 차단하는 안전장치를 두고 있지만, 개인이 제작한 오픈소스 AI는 특정 기업이 운영하는 서비스가 아니어서 일괄적으로 규제하기 어렵다. 특히 딥페이크 범죄의 경우 공개된 오픈소스 AI를 개인이 내려받아 목적에 맞게 수정·활용할 수 있기 때문에 딥페이크 제작을 사전에 막기 어렵다는 설명이다.
염흥열 순천향대 정보보호학과 명예교수는 “오픈소스 AI 모델이 한 번 공개되면 누구나 이를 내려받아 자신의 컴퓨터에서 실행하고 필요에 따라 수정할 수 있어 기술이 계속 확대 재생산된다”며 “특정 플랫폼을 차단하더라도 이미 전 세계 이용자에게 복제된 프로그램까지 회수할 수는 없어 딥페이크 제작 행위를 원천적으로 차단하기는 어렵다”고 설명했다.
실제로 온라인에는 오픈소스 AI를 이용한 딥페이크 제작 프로그램이 광범위하게 퍼져 있다. 타인의 얼굴을 다른 신체에 합성해 음란 이미지를 만드는 이른바 ‘누디파이(Nudify·누드 합성)’ 앱은 애플과 구글 앱 스토어에 정책상 금지된 뒤에도 여러 변형 버전이 계속 노출되고 있다. 딥페이크 제작에 활용 가능한 이들 앱의 다운로드는 수천 회부터 수만 회까지 이른다. 또 AI 프로그램을 모아둔 외국 사이트에서는 얼굴 합성과 영상 생성 기능을 갖추거나 성착취물 등 불법적인 영상 제작에 활용되는 프로그램을 손쉽게 찾아볼 수 있다.
해외에 서버를 둔 플랫폼은 딥페이크 영상물의 핵심 유통망 역할을 하고 있다. X(구 트위터)에서 ‘딥페’, ‘합사(합성사진)’ 등의 키워드를 검색하자 딥페이크 제작·판매를 홍보하는 게시글과 텔레그램 방 링크가 잇따라 나타났다. 이들은 플랫폼에 적발되지 않기 위해 해시태그나 링크, 메시지 기능 등을 이용해 이른바 연능(연예인 능욕), 지능(지인 능욕) 등의 딥페이크를 공유했다. 지난 4월에는 10대가 텔레그램을 이용해 특정인의 개인정보와 함께 딥페이크 성착취물을 게시한 사건도 있었다.
지난 1월 22일부터 시행된 AI 기본법은 AI를 이용해 사진·음성·영상 등을 제작한 경우 해당 콘텐츠가 AI에 의해 생성됐다는 사실을 표시하도록 규정하고 있다. 다만 생성형 AI가 남긴 워터마크는 다른 프로그램을 이용해 쉽게 제거할 수 있고, 텔레그램 등 음성적으로 유통되는 성착취물에는 적용이 쉽지 않아 실효성에 한계가 있다는 지적이 나온다.
업계에서는 딥페이크 제작 자체를 막기 어려운 만큼 국제 공조를 통해 확산을 억제하고 피해를 최소화해야 한다고 지적한다. 국가 간 사이버범죄 수사 협력을 위한 국제조약인 ‘부다페스트 사이버범죄협약’이 대표적이다. 미국과 일본 등이 가입한 이 협약은 회원국 간 전자증거 보전과 자료 제공 요청을 신속하게 처리할 수 있도록 하는 제도다. 해외 플랫폼을 통해 확산되는 딥페이크 성착취물 수사의 실효성을 높일 수 있다고 평가된다. 한국 정부도 협약 가입을 추진하고 있지만 아직 국회 비준 절차를 마치지 못했다.
국제 기준을 마련해 플랫폼 책임을 강화해야 한다는 목소리도 나온다. 염흥열 교수는 “자율규제만으로는 한계가 있다”며 “딥페이크 탐지 기술과 워터마크 기술 등에 대한 국제 표준을 마련하고, 이를 플랫폼 사업자에게 의무적으로 적용하도록 규제를 강화할 필요가 있다”고 말했다.
한승구 기자 win9@ilyo.co.kr