Apple은 샌프란시스코 시 변호사로부터 법적 압력을 받은 후 App Store에서 여러 AI 기반 “nudify” 앱을 제거했지만, 이 에피소드는 소수의 앱이 App Store 규칙을 위반했는지 여부보다 훨씬 더 큰 의문을 제기합니다.
진짜 문제는 애초에 이러한 앱이 세계에서 가장 엄격하게 통제되는 앱 마켓플레이스 중 하나에 진출한 이유입니다.
최근 논란은 샌프란시스코 시 검사 데이비드 치우(David Chiu)가 애플과 구글 모두에 합의되지 않은 AI 생성 누드 이미지를 생성할 수 있는 앱 배포를 촉진하고 있다고 비난하는 정지 서한을 보낸 이후 시작됐다. 법적 고지에 따르면, 회사들은 인앱 구매를 통해 이러한 앱에서 이익을 얻었으며, 캘리포니아 당국은 플랫폼이 그러한 서비스를 제공하는 개발자와의 관계를 끊어야 한다고 주장했습니다.
Apple은 이제 확인된 앱 중 일부가 이미 제거되었으며 추가 개발자가 App Store 정책을 준수하지 않을 경우 영구적으로 제거될 위험이 있음을 확인하면서 이에 대응했습니다.
Apple은 해당 앱이 규칙을 위반했다고 밝혔습니다. 비평가들은 전혀 등장하지 말았어야 했다고 말합니다.
WIRED의 조사 결과가 발표된 후 Apple은 9to5Mac에 포르노 또는 “누적화” 콘텐츠를 생성하거나 배포하도록 설계된 앱이 항상 앱 심사 지침을 위반했다고 밝혔습니다. 회사에 따르면 샌프란시스코 시 검사실이 강조한 앱 중 3개가 이미 앱 스토어에서 삭제되었으며, 그 뒤에 있는 개발자 계정은 종료되는 과정에 있습니다. Apple은 또한 4명의 추가 개발자에게 연락하여 정책 위반을 해결하지 않으면 플랫폼에서 제거될 것이라고 경고했다고 밝혔습니다.
Apple은 성명에서 “App Store는 사용자에게 안전하고 신뢰할 수 있는 장소로 설계되었습니다.”라고 밝혔으며, 신고 도구를 통해 신고를 받은 후 누드 앱을 적극적으로 거부하고 다른 앱을 제거한다고 덧붙였습니다. Apple은 또한 개발자가 자신의 애플리케이션 내부에서 생성된 콘텐츠에 대해 책임을 진다는 점을 거듭 강조했습니다. 사용자 생성 콘텐츠를 허용하는 앱에는 불쾌한 자료를 필터링하거나 App Store에서 위험을 제거하는 메커니즘이 포함되어야 합니다.
구글도 비슷한 조치를 취했습니다. 회사는 이미 누드화 기능을 제공하는 수백 개의 안드로이드 앱을 중단했으며 “누드화”와 같은 용어에 대한 플레이 스토어 검색을 제한했다고 밝혔습니다. 구글에 따르면 샌프란시스코 시 검사가 인용한 안드로이드 앱 5개도 플레이 스토어 정책을 위반했다는 이유로 삭제됐다.
다음은 9to5Mac에 제공된 Apple의 성명 전문입니다: “App Store는 사용자에게 안전하고 신뢰할 수 있는 장소로 설계되었으며 우리는 항상 음란물을 생성, 배포 또는 소비하도록 설계된 앱을 엄격히 금지해 왔습니다. ‘Nudification’ 앱은 우리의 앱 심사 지침에 위배되며, 우리는 이러한 앱 중 다수를 적극적으로 거부하고 사용자가 우리 보고 도구를 통해 신고한 경우를 포함하여 다른 많은 앱을 제거했습니다. 우리는 문제의 앱 중 3개를 제거했으며 우리 프로그램에서 개발자 계정을 종료하는 과정에 있습니다. 정책 위반을 해결해야 하거나 제거될 위험이 있는 다른 4명과 접촉하고 있습니다.”
AI 시대의 더 큰 과제는 절제이다
이번 법적 조치는 생성 AI가 노골적인 딥페이크 생성에 대한 장벽을 얼마나 획기적으로 낮췄는지에 대한 우려가 커지는 가운데 나온 것입니다. 전통적인 포르노와 달리 오늘날의 AI 기반 얼굴 교환 도구 중 상당수는 사진 한 장만 있으면 됩니다. 몇 초 안에 사용자는 자신도 모르게 또는 동의 없이 실제 사람을 묘사하는 조작된 누드 이미지나 노골적인 비디오를 생성할 수 있습니다.
당국은 그 결과가 개인 정보 침해를 훨씬 넘어선다고 말했습니다. 괴롭힘, 강탈, 명예 훼손, 정신 건강에 심각한 영향을 미치는 피해자들이 점점 더 많아지고 있습니다. 이전 조사에서는 상업적으로 이용 가능한 도구를 사용하여 AI로 생성된 미성년자의 성적 이미지를 수십 개의 학교에서 생성한 사건도 발견되었습니다. 시행을 특히 어렵게 만드는 것은 이러한 응용 프로그램 중 다수가 자신을 “누적화” 도구라고 공개적으로 광고하지 않는다는 것입니다. 대신, 그들은 자신을 무해한 AI 얼굴 교환 또는 사진 편집 앱으로 제시합니다. 노골적인 이미지 생성 기능은 설치 후나 인앱 구매 뒤에 숨겨져 있는 경우가 많으므로 자동화된 조정이 훨씬 더 어려워집니다.
올해 초 발표된 연구에 따르면 평범해 보이는 얼굴 교환 앱 중 다수가 그런 식으로 마케팅하지 않더라도 여전히 노골적인 딥페이크를 생성할 수 있는 것으로 나타났습니다. 많은 경우, 연구자들은 오용을 방지하는 안전 장치를 거의 또는 전혀 발견하지 못했습니다.
이러한 구별은 현재 Apple과 Google이 직면하고 있는 논쟁의 핵심이 되었습니다.
두 회사 모두 자사 정책에서 음란물과 성착취 콘텐츠를 명백히 금지하고 있다고 주장합니다. 그러나 비평가들은 AI 애플리케이션이 합법적인 기능 뒤에 유해한 기능을 위장할 수 있는 경우 정책만으로는 더 이상 충분하지 않다고 주장합니다. 또한 시 검찰청은 Apple과 Google이 이러한 앱에서 인앱 구매에 대한 수수료를 통해 재정적으로 이익을 얻고 있다고 주장하며 플랫폼 운영자는 앱이 사용자에게 도달하기 전에 해당 앱을 식별하고 제거할 더 큰 책임이 있다고 주장합니다.
Apple의 경우 최근 제거가 즉각적인 비판을 해결하는 데 도움이 될 수 있지만 더 광범위한 대화가 끝나지는 않을 것입니다. 생성 AI가 더 저렴해지고 빨라지고 점점 더 사실적인 합성 미디어를 생성할 수 있게 되면서 앱 리뷰는 더 이상 단순히 스크린샷이나 개발자 설명을 확인하는 일이 아닙니다. 이제 AI 모델이 설치 후 생성되도록 설득할 수 있는 내용을 식별해야 하는데, 이는 기존 조정보다 훨씬 더 어려운 작업입니다.
이러한 과제는 조만간 사라지지 않을 것이며, 세계 최대의 앱 스토어를 운영하는 회사들에 대한 질문도 마찬가지입니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요