생성형 인공지능(AI)의 이미지 편집·합성 기능이 고도화되면서 이를 악용한 딥페이크 성착취물 제작이 일상적인 위협으로 확산되고 있다.

12일 <메트로경제신문> 취재와 업계 분석을 종합하면, 최근 '누디피케이션(nudification)'이나 '디클로싱(De-Clothing)'으로 불리는 앱과 도구들이 딥페이크 성착취 범죄를 대량으로 만들어내고 있다. 이들 툴은 AI를 활용해 실제 인물의 사진을 나체 이미지로 합성하거나 조작하는 방식이다.

제작 문턱도 낮다. 다량의 나체 이미지를 AI에 학습시킨 뒤 얼굴 인식 알고리즘을 활용해 각도와 방향에 맞춰 합성하는 구조로, 일정 수준의 코딩 지식만 있으면 구현이 가능하다. 개발 과정에서 발생하는 기술적 문제는 깃허브(GitHub)에 공개된 오픈소스나 생성형 AI 도구를 참고해 해결할 수 있다. 이렇게 만들어진 봇 수백 개가 텔레그램 채널 등을 통해 유통되고 있으며, 일부 고도화된 툴은 유료로 거래되기도 한다.

이 같은 문제를 단적으로 드러낸 사례가 일론 머스크의 xAI가 개발한 생성형 AI '그록(Grok)' 논란이다. 그록은 본래 누디피케이션을 목적으로 한 서비스는 아니지만, 최근 업데이트 이후 이용자들이 단순한 명령어만으로 여성과 아동을 대상으로 한 딥페이크 성착취물을 생성할 수 있었던 것으로 드러났다.

전문가들은 이번 사태의 원인으로 그록의 윤리 설계와 안전장치 부족을 지목한다. 오픈AI의 챗GPT나 구글의 제미나이가 비교적 엄격한 콘텐츠 필터링 체계를 갖춘 것과 달리, 그록은 '덜 검열하는 AI'를 표방하며 성적 콘텐츠에 대한 관리·감시 시스템을 충분히 구축하지 않았다는 지적이다.

논란이 확산되자 엑스(X)는 이미지 생성 기능 제한과 유료화 전환에 나섰지만, 유럽연합(EU)과 영국 등 규제 당국은 이를 근본적인 해결책으로 보기 어렵다며 압박 수위를 높이고 있다. 영국 정부는 접속 차단 가능성까지 언급했으며, EU는 알고리즘을 포함한 불법 콘텐츠 관련 자료 보존 명령을 내렸다.

이러한 국제적 흐름 속에서 우리 정부도 오는 22일 시행되는 'AI 기본법'을 통해 대응에 나선다. AI 기본법은 생성형 AI 기반 제품과 서비스에 대해 사전 고지를 의무화하고, 생성 결과물에 워터마크 등 표시를 부착하도록 규정하고 있다.

다만, 이 같은 의무는 AI 사업자에게만 적용되며, 결과물을 활용하는 일반 이용자에게는 투명성 확보 책임이 부과되지 않는다. 해외에서도 미국 캘리포니아주는 표시 훼손에 대비한 탐지 도구 제공을 규정하고, 중국은 플랫폼 사업자의 관리 책임을 강화하는 등 AI 생성물 표시 의무를 확대하는 추세다.

그러나 현행 AI 기본법만으로는 딥페이크 피해자를 충분히 보호하기 어렵다는 지적이 나온다. 정보통신정책연구원(KISDI) 보고서에 따르면 정준화 국회입법조사처 입법조사관은 현행 법 체계가 '이용자 중심'으로 설계돼 있어, 생성물로 인해 직접적인 피해를 입는 당사자 보호가 상대적으로 취약하다고 분석했다. 딥페이크 범죄가 타인을 대상으로 피해를 발생시키는 구조임에도, 법적 안전장치는 사업자와 이용자 간 투명성 확보에 집중돼 있다는 것이다.

보고서는 보호 대상의 범위 재검토 필요성도 제기했다. 현행법은 생명이나 신체 안전에 중대한 영향을 받는 경우를 중심으로 위험을 정의하고 있지만, 실제 딥페이크 피해는 사기·기만에 따른 재산적 손실이나 명예훼손 등으로 나타나는 경우가 적지 않다. 특히 디지털 환경에 취약한 계층이 서비스 이용자보다 더 큰 위험에 노출될 수 있다는 점에서, 피해자 보호를 중심에 둔 추가적인 제도 보완이 필요하다는 지적이다.

IT업계 관계자는 "현재의 기술력으로는 워터마크를 삭제하거나 AI 생성물 탐지를 우회하는 기술적 편법이 얼마든지 가능하다"며 "정부의 제도 정비와 병행하여, 개발 단계에서부터 윤리적 가이드라인을 강제하는 '세이프티 바이 디자인(Safety by Design)'이 업계의 생존 전략이 되어야 한다"고 강조했다. 이어 "결국 기술을 만드는 기업이 상업적 자유도보다 사회적 책임을 우선시하지 않는다면, 법과 제도는 언제나 기술의 악용 속도를 뒤쫓는 데 그칠 것"이라고 덧붙였다.