대부분의 AI 탐지기는 단어와 문장 패턴을 검사하여 AI가 생성한 텍스트의 숨길 수 없는 징후를 찾습니다. IdeaLens라는 새로운 도구는 이 문제를 해결하기 위해 다른 방법을 사용합니다. (TechXplore를 통해) 문구 자체가 아닌 그 뒤에 숨은 아이디어를 살펴봄으로써 AI가 생성한 연구를 찾아냅니다.
메릴랜드 대학, Google DeepMind, Simon Fraser 대학의 연구원들은 최종 초안을 작성한 사람이 누구인지에 관계없이 문서의 핵심 주장이 사람에게서 나온 것인지 아니면 기계에서 나온 것인지 확인하기 위해 IdeaLens를 구축했습니다.
IdeaLens는 AI가 생성한 아이디어를 어떻게 감지합니까?
연구 논문에 따르면 팀은 이미 AI 작성 또는 인간 작성으로 분류된 약 백만 개의 문서에 대해 IdeaLens를 교육했습니다. 그들은 언어 모델을 사용하여 원래 문구를 제거하고 각 문서를 핵심 주장의 간단한 개요로 줄였습니다. 이로 인해 시스템은 글쓰기 스타일 대신 아이디어를 통해 학습하게 되었습니다.
IdeaLens는 한 소스 또는 다른 소스에서 완전히 작성된 문서를 테스트했을 때 AI 생성 작업의 91%에 올바르게 플래그를 지정했습니다. 사람의 글을 잘못 식별한 경우는 0.6%에 불과하지만 여전히 Pangram과 같은 기존 탐지기에는 미치지 못합니다.
연구자들이 약간의 AI 편집을 받은 글쓰기를 테스트했을 때 IdeaLens는 인간이 생성한 문서의 95%를 인간으로 분류했는데, Pangram의 평균은 44%였습니다.
IdeaLens는 아이디어를 낸 사람을 확실하게 식별할 수 있습니까?
인간의 아이디어와 AI의 아이디어가 혼합된 경우의 결과는 흥미로웠습니다. AI가 상세한 인간 개요를 기반으로 텍스트를 작성할 때 Pangram과 같은 기존 탐지기는 AI 개입의 92%를 포착했지만 IdeaLens는 아이디어 자체가 인간이었기 때문에 7%만 포착했습니다. 이제 인간이 AI가 생성한 개요에서 단어를 썼을 때 IdeaLens는 AI 영향의 68%를 포착한 반면 Pangram은 8%만 포착했습니다.
연구원들은 인간이 생성한 아이디어가 더 구체적인 세부 사항, 검증 가능한 출처 및 인정된 한계를 갖는 경향이 있음을 발견했습니다. AI가 생성한 아이디어에는 일반적으로 일반적인 세부 정보, 검증할 수 없는 숫자, 포괄적인 주장, 의심스러울 정도로 완벽한 답변이 있습니다.
그러나 이 AI 탐지기는 아직 저자권 분쟁을 완전히 해결할 준비가 되어 있지 않습니다. IdeaLens는 일부 최신 AI 모델로 인해 여전히 어려움을 겪고 있으므로 팀은 저널과 강의실에서 더 광범위하게 사용할 준비가 되기 전에 더 많은 테스트가 필요하다고 말합니다.
관련 보도:
관련 정보는 아래 링크에서 확인하세요