“남자 사진 넣어도 여성 나체 이미지 나오게 세팅”…딥페이크 AI 학습에 실제 인물 사진 쓰일 우려도
최신 기술을 이용해 여성의 옷을 벗겨준다는 한 딥페이크 애플리케이션(앱)의 광고 문구다. 추가금을 내면 사진이 아닌 영상을 만들 수도 있다. 딥페이크 업체들은 옷을 벗기는 것뿐만 아니라 원하는 옷을 입히고 심지어 사진 속 인물에게 다양한 포즈를 취하게 할 수도 있다며 자사가 보유한 AI(인공지능)의 품질을 홍보했다. 다만, 세계 최고의 기술력을 자랑한다는 이 사이트의 안내 문구 하단에는 “현재는 여성의 이미지만 처리할 수 있습니다”라고 쓰여 있다.
#남성 얼굴에 합성된 여성 누드
최근에는 누구나 허위 영상물을 만들 수 있도록 딥페이크 앱과 사이트들이 우후죽순 생겨나고 있다. 각 업체들은 앞다퉈 자사의 남다른 기술력을 자랑한다. 단순히 옷을 벗기는 것뿐만 아니라 특정 옷을 입히거나, 원하는 신체 부위에 문신을 새길 수도 있으며 실제 사진 속 인물이 취한 자세와는 다른 포즈를 취하게 할 수도 있다고 홍보한다.
주목할 만한 점은 이러한 딥페이크 앱들이 오로지 여성의 옷만 벗길 수 있도록 되어 있도록 설정되어 있다는 것이다. 남성의 사진을 넣으면 사진 속 남성의 얼굴은 그대로 두고 신체만 여성의 나체로 바꾼 합성물이 나오기도 했다.
실제로 기자가 취재를 위해 만든 가상의 남성 사진을 한 딥페이크 앱에 넣고 생성 버튼을 누르자 약 6초 뒤 양복차림의 남성의 몸은 지워지고 그 자리에 여성의 나체가 합성된 결과물이 생성됐다. 해당 업체는 취재가 진행되는 기간 “최신 기술을 도입해 다양한 포즈와 영상 기술이 개발됐으니 체험해보라”며 꾸준히 홍보 메시지를 보내던 곳이었다.
세계 최고의 기술력을 자랑한다고 하더니 어째서 이런 결과가 나오게 된 걸까. 이에 대해 업계 전문가들은 “처음부터 여성의 몸만 합성되도록 세팅해 놓았기 때문”이라고 말했다. 생성형 AI는 명령어에 입력된 내용대로 결과물을 만들도록 되어 있는데, 해당 업체에서 처음부터 모든 사진에 여성의 신체만 생성되도록 세팅해 두었다는 것이다. 한 현직 개발자는 “AI 딥누드 같은 앱의 주 소비자와 생성자는 남성이기 때문에 남성 신체에 대한 수요가 없다고 판단하여 세팅 값을 여성의 몸으로만 해 놓은 것으로 보인다”고 설명했다.
기자와 함께 다수의 딥페이크 사이트들을 분석한 AI 개발자들은 “어떤 사진을 넣어도 비슷한 여성의 나체가 합성될 것이다. 특별한 기술이라고 할 것이 전혀 없다. 대부분의 업체들이 홈페이지 디자인만 다른 수준일 뿐 가장 기본적인 AI 모델을 사용하고 있다”고 지적했다.
#'텔레그램 대화방'이 노리는 것
딥페이크의 기반이 되는 생성형 AI는 ‘생성적 적대 신경망(GAN)’이라는 기술이다. GAN은 이미지의 진위를 판단하는 ‘감별자’ 알고리즘과 이미지를 만들어 내는 ‘생성자’ 알고리즘을 대립시켜 영상을 조작한다.
업계에서는 화폐 위조범과 이를 잡는 경찰의 관계에 비유하기도 한다. 서로 쫓고 쫓기는 관계 속에서 가짜 화폐는 더 정교해지고, 이를 적발하는 수사기법도 고도화되면서 결과적으로 진짜와 판별이 불가할 정도의 가짜 화폐가 만들어지게 된다는 것이다. 이렇게 만들어진 생성형 AI는 명령어를 입력만 하면 자신이 학습한 자료를 토대로 결과물을 만들어 낸다.
이런 가운데 일부 업체가 운영하는 텔레그램 대화방이 AI의 학습 데이터를 모으기 위한 용도로 쓰일 수 있다는 지적도 나왔다. 취재 결과, 일부 업체들은 대화가 금지된 홍보용 방 이외에도 이용자들이 직접 사진을 올릴 수 있는 대화방을 직접 운영하고 있었다. 이 방에는 딥페이크의 결과물이 아닌 실제 여성들의 나체나 속옷 차림의 사진이 하루에도 수천 장씩 올라왔는데 운영자들은 일정 수량 이상의 사진을 올린 회원들을 대상으로 딥페이크 이용권이나 포인트를 지급하기도 했다. 이용자들은 무료 포인트를 받기 위해 더 많은 사진을 올렸다.
이에 대해 AI용 이미지 백신 솔루션을 제공하는 모피어스 컴퍼니의 김건희 CMO는 “생성형 AI 학습에 사용되는 데이터는 리얼 데이터일 때만 의미가 있다. 딥페이크의 결과로 나온 사진은 재학습 시켜봤자 큰 도움이 되지 않는다”며 “대화방에 회원들이 직접 찍은 사진이 올라오고 이를 대가로 포인트를 지급한다면 해당 사진들이 AI 학습에 쓰였을 가능성도 있다”고 말했다.
또 다른 현직 개발자 역시 “AI 품질은 전적으로 학습 데이터에 따라 좌우된다. 의도에 맞는 정확한 데이터를 얼마나 다양하게 가지고 있느냐에 따라 AI 성능이 결정되는데 이런 데이터를 얻는 것이 쉽지 않다. (대화방 사진이) 무분별하게 학습에 사용됐다면 윤리적인 문제가 크다. 결과물은 성인의 모습이더라도 학습 과정에서 미성년자 이미지가 포함돼 있을 수도 있다”고 지적했다.
한편 딥페이크를 이용한 허위 영상물 피해는 매년 늘어나고 있다. 한국여성인권진흥원이 4월 2일 발간한 ‘2023 디지털 성범죄 피해자 지원 보고서’에 따르면, 디지털성범죄피해자지원센터가 지난해 지원한 피해자 수는 8983명으로 2022년(7979명)보다 12.6% 늘었고 딥페이크 피해는 2022년보다 1.7% 증가한 것으로 나타났다. 특히 전체 피해자의 55.4%가 10·20대 여성이었다.
최희주 기자 hjoo@ilyo.co.kr
