현재 AI 탐지기를 사용하여 학생 및 연구원 제출물을 감시하는 모든 교육 기관에 대한 불편한 생각은 다음과 같습니다. 도구는 기관이 가정하는 것만큼 안정적으로 작동하지 않습니다.
이번 주 2026년 보안 및 개인 정보 보호에 관한 IEEE 심포지엄에서 플로리다 대학교 연구원들이 발표한 논문에서는 상업적으로 이용 가능한 AI 생성 텍스트 탐지기가 “학문적이거나 이해관계가 큰 상황에 배포하는 데 적합하지 않다”고 결론지었습니다.
이는 대학이 본질적으로 신뢰할 수 없는 도구의 결과를 기반으로 경력을 바꾸는 결정을 내리고 있다고 말하는 정중한 표현입니다.
연구 결과 실제로 무엇을 발견했습니까?
University of Florida의 컴퓨터 및 정보 과학 및 공학과 교수이자 임시 의장인 Patrick Traynor 박사는 가장 인기 있는 상용 AI 텍스트 감지기 5개를 테스트하는 팀을 이끌었습니다.
ChatGPT가 도착하기 전에 최고 수준의 보안 컨퍼런스에 제출된 약 6,000개의 연구 논문을 사용하여 LLM이 동일한 논문의 복제본을 만든 다음 두 세트를 모두 AI 탐지기를 통해 실행했습니다.
그 결과, 0.05%~68.6% 범위의 위양성률이 나타났고, 더욱 놀라운 것은 0.3%~99.6% 사이의 위음성률이 나타났습니다. 위 수치는 100%에 가깝습니다. 즉, 성능이 가장 낮은 탐지기가 AI가 생성한 거의 모든 텍스트를 놓쳤음을 의미합니다.
5개 탐지기 중 2개는 처음에는 잘 작동했지만 연구원이 LLM에 더 복잡한 어휘를 사용하여 출력을 다시 작성하도록 요청한 후 거의 쓸모가 없게 되었습니다(논문에서는 이를 어휘 복잡성 공격이라고 부릅니다).
이것이 학문적 성실성을 넘어 왜 중요한가요?
Trainnor는 다음과 같이 분명하게 말했습니다: “우리는 이러한 결정을 판단하는 데 이를 사용할 수 없습니다. 사람들의 경력이 여기에 달려 있습니다.” 제출된 AI 생성 글에 대한 비난은 연구자의 평판을 영구적으로 손상시킬 수 있지만, 그러한 비난을 하는 도구를 맹목적으로 신뢰할 수는 없습니다.
학술적 글쓰기에서 AI가 광범위하게 사용된다는 증거 자체가 신뢰할 수 없다는 주장이 제기됩니다. “학술 작업의 일정 비율이 AI에서 생성되었다고 주장하는 많은 연구에서 실제로는 이를 측정할 수 있는 도구가 없습니다.”라고 Traynor는 덧붙였습니다.
그의 연구는 단순히 도구를 비판하는 것이 아닙니다. 이는 정확성 여부에 대한 증거를 요구하지 않고 이러한 도구를 채택한 모든 기관의 체계적인 실사 실패를 폭로합니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요