OpenAI는 새로운 AI 기반 탐지 도구 세트, ChatGPT의 더욱 엄격한 개입, 개발자 및 법 집행 기관에 대한 추가 지원을 통해 온라인 아동 성 착취에 맞서기 위한 노력을 확대하고 있습니다. 11월 16일에 발표된 이 발표에는 AI 생성 이미지를 포함하여 잠재적인 아동 성적 학대 자료(CSAM)를 식별하도록 설계된 이미지 분류기와 유해한 행동이 확대되기 전에 중단하기 위한 조치가 포함되어 있습니다.
이러한 움직임은 생성적 AI가 합성 콘텐츠 생성을 더 쉽게 만들어 온라인에서 아동 보호를 담당하는 플랫폼과 조직에 새로운 과제를 제기함에 따라 이루어졌습니다. OpenAI는 최근의 노력이 기존 아동 안전 청사진을 기반으로 하며 조직이 학대를 감지하고, 신고에 대응하고, 조사를 지원하도록 돕기 위한 것이라고 밝혔습니다. 회사는 또한 문제를 개별 기술 플랫폼이 단독으로 해결할 수 있는 문제로 다루기보다는 아동 안전 기관 및 법 집행 기관과 협력하고 있습니다.
OpenAI, 검증된 조직에 CSAM 감지 도구 제공
새로운 이미지 분류기는 AI가 생성했을 수 있는 자료를 포함하여 잠재적인 남용에 대한 시각적 표시기를 찾습니다. 안전팀이 사람의 검토가 필요한 항목의 우선순위를 정하는 데 도움이 되도록 이미지에 점수를 할당합니다. OpenAI는 아동 안전 단체 및 기타 기술 회사를 포함하여 검증된 조직에 API를 통해 무료로 액세스를 제공하고 있다고 밝혔습니다.
초기 평가에 따르면 분류기는 검토가 필요한 이미지 수를 48%까지 줄이는 동시에 OpenAI의 기존 도구와 거의 동일한 수의 악의적인 이미지를 식별할 수 있는 것으로 나타났습니다. 새로운 시스템에 의해 신고된 이미지에는 남용이 포함될 가능성도 약 2배나 높았습니다.

외부 파트너는 자체 테스트에서 고무적인 결과를 보고했습니다. Fal은 인간 검토자들이 신뢰도가 높은 플래그의 72%를 새로운 CSAM으로 확인했으며, 인비디오 AI는 신고된 사례 4건 중 1건이 금지되었다고 보고했습니다. SafetyKit은 평가 결과 어린이를 성적으로 묘사하는 그림이나 애니메이션과 관련된 사례의 90%를 발견했다고 밝혔습니다.
OpenAI는 이 도구가 국립실종착취아동센터(NCMEC)의 지원을 받아 개발되었다고 밝혔습니다. 또한 플랫폼 간 정보 공유를 개선하기 위해 Tech Coalition 및 ROOST를 포함한 조직과 협력하고 있습니다.
ChatGPT는 조사관이 새로운 도구를 얻을 때 유해한 요청을 중단합니다.
OpenAI는 또한 사용자가 악의적인 자료를 찾으려고 할 때 ChatGPT에 새로운 경고를 도입합니다. 경고는 관련된 피해를 설명하고 사람들을 전문가 지원으로 안내합니다. 신고된 대화가 삭제되고 ChatGPT에 대한 액세스가 24시간 동안 정지됩니다. 위반이 반복되면 제한 기간이 길어지거나 계정이 폐쇄되거나 당국에 신고될 수 있습니다.

또한 회사는 콘텐츠 감지, 사용자 보고, 조정 및 에스컬레이션 절차를 다루는 개발자를 위한 실질적인 안전 지침을 발표했습니다. 이와 별도로, 승인된 아동 안전 조사관은 긴 채팅 로그와 법적 기록을 검토하고, 가능한 연결을 식별하고, 원본 자료에 연결된 타임라인을 구축하는 AI 도구를 받게 됩니다.
악의적인 콘텐츠를 탐지하는 것은 아동 보호의 한 부분일 뿐이므로 더 폭넓은 노력이 중요합니다. 플랫폼은 또한 오용을 방지하고 피해자를 지원하며 조사관이 증거에 따라 조치를 취할 수 있도록 도와야 합니다. OpenAI는 이러한 도구를 계속해서 개선하고 외부 조직과 협력할 것이라고 밝혔습니다. 그 효과는 실제 환경에서 얼마나 안정적으로 수행되는지, 그리고 심사를 받은 아동 안전 그룹이 이를 얼마나 광범위하게 사용할 수 있는지에 따라 달라집니다.
관련 보도:
관련 정보는 아래 링크에서 확인하세요