AI가 불법영상 자동신고…전국 최초 도입

7개 언어로 해외 사이트도 신고

삭제율ㆍ정확도 획기적 향상

AI가 삭제한 청소년 성범죄동영상 예시. / 사진 : 서울시 제공

[대한경제=박호수 기자] 서울시가 디지털 성범죄 영상의 유포를 막기 위해 ‘AI 자동 삭제신고 시스템’을 전국 최초로 도입했다고 21일 밝혔다. 기존에 2∼3시간이 걸리던 삭제 절차가 6분 안팎으로 단축되면서 성범죄 영상의 온라인 확산을 막는 대응체계가 획기적으로 강화된다.

시에 따르면 이 시스템은 인공지능(AI)이 24시간 불법 영상물을 실시간 검출하고, 자동으로 채증 보고서를 작성해 해당 사이트에 보낼 삭제 요청 이메일까지 생성한다. 이메일은 삭제지원관이 최종 확인한 뒤 발송한다. 기술적으로는 멀티모달 대형언어모델(MLLM)과 셀레니움 기반 웹 자동화 도구가 활용됐다.

기존에는 삭제지원관이 모든 영상을 일일이 수작업으로 확인하고 채증ㆍ문서화를 거쳐 삭제 요청까지 직접 진행했다. 검출부터 삭제까지 30배 빠르게 처리할 수 있다고 시는 전했다.

특히, 피해 영상이 미국뿐 아니라 중국, 러시아, 베트남 등 해외에 서버를 둔 사이트에 유포되는 사례가 급증하는 점을 감안해 시는 7개 언어로 삭제 요청 이메일을 생성하도록 시스템을 설계했다.

삭제 요청을 받은 사이트는 전기통신사업법에 따라 즉시 삭제 및 접속 차단 조치를 해야 하며, 이를 이행하지 않으면 3년 이하의 징역 또는 1억원 이하의 벌금, 매출액 3% 이하 과징금 등의 처분을 받을 수 있다.

또한 자동 채증된 보고서는 텍스트ㆍ이미지ㆍURL 등 핵심 정보를 추출해 한글(HWP) 문서로 저장되며, 향후 수사나 사법 절차에서 법적 증거자료로 바로 활용될 수 있다.

지난 2023년 3월 시는 서울연구원과 협력해 ‘디지털 성범죄 AI 삭제지원 기술’을 개발하고, 이를 바탕으로 서울여성가족재단이 운영하는 ‘서울 디지털성범죄 안심지원센터’에서 24시간 모니터링과 삭제지원을 수행하고 있다.

AI 기술이 도입된 뒤 센터의 삭제지원 건수는 2022년 2509건에서 2023년 1만4256건으로 468% 증가했다. AI는 새벽 시간대에도 자동 모니터링이 가능해 피해자 보호를 위한 사각지대를 최소화할 수 있고, 삭제지원관이 피해 영상에 노출되며 겪는 정신적 스트레스도 줄일 수 있다.

센터는 지난 3년간 총 3650명의 피해자를 지원했으며, 총 지원건수는 6만4677건에 달한다. 이 가운데 상담이 39.98%, 삭제지원 36.12%, 수사ㆍ법률지원 20.20%이며, 작년 한 해에만 심리상담 지원이 1만5781건에 이르렀다.

피해자 연령은 10∼20대가 가장 많았으며, 특히 아동ㆍ청소년을 대상으로 한 디지털 성범죄가 눈에 띄게 늘고 있다. 2022년 아동ㆍ청소년 피해자는 전체의 16.2%(50명)였으나, 2024년엔 22.1%(624명)로 약 13배 증가했다.

더불어 ‘온라인 그루밍’ 피해도 급증했다. 2022년 19건에 불과했던 피해는 올해 370건으로 늘어나 20배 이상 증가한 것으로 나타났다. 이는 코로나19 이후 아이들이 온라인에서 더 많은 시간을 보내고, 그 공간이 성적 호기심이나 사회적 관계 형성의 수단으로 변질되면서 성인 가해자들이 이를 노린 계획범죄를 저지르고 있다는 분석이다.

김선순 서울시 여성가족실장은 “우리 사회를 충격에 빠뜨린 n번방 사건부터 최근의 딥페이크 범죄까지, 디지털 성범죄는 계속 진화하고 있다”며 “AI 기술을 통해 아동과 청소년이 디지털 범죄로부터 안전한 서울을 만들어 나가겠다”고 말했다. 

박호수 기자 lake806@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉