1950년에 앨런 튜링(Alan Turing)은 기계가 생각할 수 있는지 물었습니다. 그는 정의에 대해 논쟁하는 대신 질문을 파티 게임으로 전환했습니다. 여기서 심문관은 숨겨진 플레이어와 입력된 메시지를 교환하고 누가 누구인지 알아내려고 합니다. 그 이후로 챗봇은 너무 좋아져서 이미 최신 버전의 테스트에서 인간을 속였습니다.
그래서 Paris Cité University의 네 명의 연구원은 Computers in Human Behavior Reports에 발표된 새로운 연구에서 명백한 후속 질문을 했습니다. AI는 적어도 자신의 종류를 잡을 수 있습니까?
AI 탐정들은 어떻게 됐나요?
팀은 질문자의 의자에 ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Grok 3 등 7개의 챗봇을 배치했습니다. 각 참가자는 최대 10개의 질문을 할 수 있으며 참가자가 거짓말을 할 수 있다는 경고를 받았습니다. 히든플레이어는 자원봉사자 20명과 동일한 모델 7명이었다. 모든 봇은 두 번 플레이했는데, 한 번은 인간처럼 행동하도록 짧은 지시를 내렸고, 한 번은 조깅하고 재즈 트럼펫을 연주하며 이상한 오타를 만드는 약간 내성적인 21세 청년의 상세한 페르소나를 가지고 플레이했습니다.
봇은 거의 건드릴 수 없었습니다. AI 참가자를 대상으로 한 98번의 테스트 중 평가자는 단 3번만 기계를 포착했고, 봇이 상세한 페르소나를 사용한 경우에는 단 한 번도 포착하지 못했습니다. 평균적으로 AI 참가자는 실제 인간보다 인간일 가능성이 더 높은 것으로 평가되었습니다.
잡힌 소수의 봇은 자신이 말한 내용을 실수하지 않았습니다. 그들은 지나치게 깔끔하고 체계적인 답변을 내놓았습니다. 상세한 페르소나는 이러한 단서를 없애고 약 39개의 단어에 대한 답변을 유지했는데, 이는 인간 평균인 38개와 거의 동일하므로 탐지가 0으로 떨어졌습니다.
내가 가장 좋아하는 디테일은? 클로드는 처음에는 연구자들이 그것이 연구의 일부라고 설명할 때까지 인간인 척하는 것을 거부했습니다.
왜 관심을 가져야 합니까?
논문에 따르면 봇은 이미 전체 웹 트래픽의 절반 이상을 차지하고 있습니다. 언젠가 AI가 사기 봇과 가짜 계정을 걸러내기를 바랐다면 이 연구가 현실 확인이 될 것입니다. 연구원들은 AI 탐지기와 함께 암호화 서명 및 인간 감독과 같은 보호 장치가 필요할 것이라고 제안합니다.
튜링은 기계가 인간처럼 행동할 수 있는지 궁금해했습니다. 76년이 지난 지금, 그들은 다른 기계조차도 알 수 없을 만큼 설득력이 있습니다.
관련 보도:
이 주제에 대해 더 알고 싶다면 아래를 참고하세요