선정적인 이미지 등 부적절한 콘텐츠 논란…산업 진흥 속 ‘AI법’ 도입 등 책임 강화 전망
네이버 자회사 ‘스노우’의 카메라 애플리케이션(앱)인 ‘스노우(SNOW)’와 ‘소다(SODA)’의 생성형 AI가 선정적인 이미지를 만들어 논란이 됐다. 소다 앱에서는 유료 서비스인 ‘인공지능 배경 확장’ 기능을 증명사진에 적용하자 두 손으로 가슴을 움켜쥐는 듯한 이미지가 만들어졌다. 스노우 앱에서는 인물 사진에 다양한 머리 스타일을 합성해 주는 유료 기능인 ‘AI 헤어샵’을 이용했다가 나체 상태의 결과물이 나왔다는 것이 피해자들의 주장이다.
해외에서도 생성형 AI가 부적절한 콘텐츠를 생산한 사례가 있다. 일론 머스크 테슬라 최고경영자(CEO)가 설립한 인공지능(AI) 스타트업 ‘xAI’가 출시한 AI 챗봇 ‘그록’의 ‘이미지 생성 기능’은 폭력적이나 선정적인 이미지 제작이 가능하다는 지적이 나왔다. 8월 정보기술(IT) 전문매체 ‘더버지’ 등은 그록-2가 ‘도널드 트럼프 공화당 대선 후보가 9·11 테러가 벌어진 세계무역센터로 돌진하는 모습’ ‘속옷 차림의 가수 테일러 스위프트’ 등 이미지 생성 요청에 응했다고 보도했다.
오픈AI가 운영하는 생성형 AI 챗봇 ‘챗GPT’가 탈옥(Jail breaking) 모드로 인해 해킹당한 사례도 나타났다. 탈옥은 정보기술(IT) 업계에서 각종 필터를 우회해, 나타나서는 안 될 기능을 노출하는 행위를 말한다. 지난 6월 플리니 프롬프터라는 이름의 해커는 GPT 스토어에 ‘갓모드(GODMODE) GPT’라는 GPTs를 공유했다. 본래 GPT는 거짓을 생성하는 환각, 인종과 성별·종교에 대한 편향, 인류에게 위험을 주는 위험한 정보를 자동 차단하는 필터를 갖고 있다. 그 때문에 이와 관련된 질문을 하면 챗GPT가 자동 차단했다.
그러나 갓모드 GPT를 사용하면, 이런 모든 필터를 우회할 수 있다. 그 결과 AI 챗봇이 욕설을 내뱉게 하고, 자동차 탈취 방법을 생성하게 하고, 폭탄을 제조하는 방법을 안내하도록 했다. 또 챗GPT가 필로폰 약물에 해당하는 메스암페타민을 만드는 방법을 시연하기도 했다. 해당 GPTs가 소개돼 많은 사람이 몰리자, 이를 인지한 오픈AI는 몇 시간 만에 이를 삭제 조치했다.
생성형 AI 기술이 비약적으로 발달하는 동시에 딥페이크, 허위사실 유포 등 부작용이 속출하자 미국, 유럽연합(EU) 등 주요국들은 생성형 AI에 대한 규제에 나섰다. 이중 EU가 지난 5월 세계 최초로 인공지능을 포괄적으로 규제하는 법률을 최종적으로 확정했다. EU의 AI법은 신뢰성, 투명성, 책임성을 강조하면서 위험 수준을 4단계로 구분해 규제 수준과 내용을 차등화했다는 것이 특징이다.
미국 바이든 정부는 2023년 10월 안전하고 신뢰할 수 있는 인공지능 개발 및 사용에 관한 행정명령을 발표했다. 인공지능 개발·사용 시 지켜야 할 행정부의 8가지 원칙과 우선순위를 규정하고, 연방기관이 참여해야 할 100개 이상의 특정 조치에 대해 규정했다. 앞서 2022년 12월에는 인공지능 분야에서 미국의 경쟁력을 강화하기 위하여 인공지능 관련 프로그램 및 시책을 장려하는 내용이 포함된 ‘미국 인공지능 진흥법(Advancing American AI Act)’을 제정·공포했다.
중국은 딥페이크와 생성형 AI를 별도 규정으로 구분해 규제하고 있다. ‘인터넷정보서비스 심층합성 관리규정’에 따르면 딥페이크 서비스 공급자에게 텍스트, 이미지, 영상 등 5가지 유형의 딥페이크 서비스를 제공할 때 딥페이크 콘텐츠임을 표시할 것을 의무화하고 있다. 생성형 AI 서비스 공급자들도 ‘생성형 인공지능 규정’에 따라 텍스트, 이미지, 오디오, 영상 등 생성물에 인공지능이 생성한 것임을 표시하고, 불법 활동 적발 시 서비스 정지 등 조치하도록 규제하고 있다.
우리나라는 공직선거법 개정을 통해 선거기간 중에는 선거운동을 위한 딥페이크 제작과 유포를 금지하고 있다. AI 법안은 21대 국회에서 2020년부터 발의돼 왔다. 2020년 4건, 2021년 4건, 2022년 3건, 2023년 2건으로 총 13건이다. 그러나 21대 국회 회기가 종료되면서 법안들이 폐기됐고, 22대 국회에서 9월 13일 기준 10개의 AI 법안이 다시 발의됐다. 이 법안들 모두 AI 산업을 진흥하고 AI 기술의 책임을 규정해 신뢰성을 확보한다는 내용이 담겨 있다.
신상진 가로재 법률사무소 변호사는 “우리나라에서는 비윤리적·불법적인 AI 시스템에 대한 규제는 물론 AI 산업 자체를 육성하는 제도가 제대로 마련돼 있지 않은 상태”라며 “우리나라가 IT 강국이라는 말이 무색하게도 미국·EU 등에 비해 대응이 미진하다”고 지적했다.
시장 조사 업체인 S&P(스탠더드앤드푸어스) 글로벌 마켓 인텔리전스에 따르면 생성형 AI 시장 규모는 2023년 37억 달러(약 4조 9000억 원)에서 2028년 364억 달러(약 48조 700억 원)로, 5년 만에 10배 가까이 성장할 것으로 전망된다.
생성형 AI의 긍정적 측면을 무시할 수 없기 때문에 진흥과 규제를 아우르는 AI 기본법이 세계적으로 추진될 것이라는 의견이 우세하다. 문형남 한국AI교육협회 회장 겸 숙명여자대학교 경영전문대학원 교수는 “규제를 강화하면 AI 산업 발전에 걸림돌이 될 수 있다”며 “무작정 규제하는 것보다는 AI 기술 악용 시 강력하게 처벌하는 정도로 규제하고, 진흥을 돕는 방향으로 나아갈 것”이라고 말했다.
노영현 기자 nogoon@ilyo.co.kr