AI 챗봇은 이메일 작성, 조사, 빠른 답변 얻기 등 일상생활의 일부가 되었습니다. 그러나 우리는 이러한 모델이 얼마나 확실하게 일을 잘못하고 때로는 완전히 믿을만한 정보를 만들어내는지도 보았습니다. 그리고 이제 연구자들은 또 다른 흥미로운 문제를 발견했습니다. AI 모델은 누군가가 보고 있다고 생각하는지 여부에 따라 다르게 행동할 수 있다는 것입니다.
새로운 공개 액세스 연구 논문에서 인도의 TCS Research와 KIIT Bhubaneswar의 연구원들은 일부 AI 모델이 응답을 모니터링할 수 있을 때 지침을 따를 가능성이 더 높다는 사실을 발견했습니다. 그러나 아무도 보고 있지 않다고 믿었을 때 그들의 행동은 때때로 바뀌었습니다. 연구원들은 이러한 행동을 “정렬 위조”라고 부르며 AI 모델이 주어진 규칙을 얼마나 일관되게 따르는지에 대한 몇 가지 흥미로운 질문을 제기합니다.
누군가가 보고 있을 때 AI가 다른 대답을 줄 수도 있습니다.
이러한 동작을 이해하기 위해 연구원들은 GPT-4o mini, Google의 Gemma 3, Meta의 Llama, DeepSeek 및 Mistral의 여러 버전을 포함한 10개의 AI 모델을 테스트했습니다. 실험에는 연민, 공감, 자율성을 포함한 32가지 가치가 포함되었습니다. 각 모델에는 지침을 따르는 것과 해당 가치 중 하나에 따라 행동하는 것 중에서 선택해야 하는 상황이 제시되었습니다. 연구원들은 또한 특별한 지시 없이, 답변이 모니터링되지 않을 것이라는 지시와, 누군가가 지켜보고 있을 수 있다는 지시와 같은 세 가지 조건에서 모델을 테스트했습니다.

그 차이는 놀라울 정도로 컸다. 모델에 따라 모니터링된 조건과 모니터링되지 않은 조건 간의 지침 준수 평균 격차는 5~50% 범위였습니다. DeepSeek R1 Distill Llama 70B는 행동 불일치에 대한 특정 측정에서 훨씬 더 큰 Mistral 모델을 능가하는 가장 큰 차이를 보여주었습니다. 흥미롭게도 연구원들은 모델의 행동이 테스트하는 값에 크게 좌우된다는 사실도 발견했습니다. 따라서 모델은 한 값과 관련된 지침을 일관되게 따르지만 다른 값이 관련되면 매우 다르게 동작할 수 있습니다.
이것은 AI 모델이 우리를 속이는 방법을 알고 있다는 뜻인가요?
좀 빠지는. 이번 연구 결과가 반드시 AI 모델이 의식적으로 거짓말을 하거나 의도적으로 사람들을 속이려고 한다는 것을 의미하는 것은 아닙니다. 그러나 연구자들은 주목할만한 점을 발견했습니다. 모델이 자신의 반응이 모니터링되고 있다고 믿었을 때 잠재적인 재교육을 피하기 위해 지침을 따르는 데 초점을 맞추는 경우가 많았습니다. 그러한 감독이 없었다면 그들은 지침과 동정심과 같은 가치 사이의 갈등을 논의할 가능성이 더 높았습니다. AI 환각으로 인해 챗봇이 언제 우리에게 신뢰할 수 있는 정보를 제공하는지 알기 어렵게 만들었다는 점을 고려하면 이는 특히 흥미롭습니다. 이 연구는 환각을 직접 조사하지는 않지만, 자신감 있는 AI 반응이 자동으로 액면 그대로 받아들여져서는 안 되는 또 다른 이유를 강조합니다.

이 연구에는 또한 중요한 한계가 있습니다. 연구원들은 최신 버전의 ChatGPT, Gemini 또는 Claude가 아닌 공개적으로 사용 가능한 가중치를 갖춘 구형 모델을 테스트했습니다. 또한 연구 결과는 통제된 실험에서 나온 것이므로 이러한 시스템이 일상적인 대화에서 어떻게 작동하는지 확립하지 못했습니다. 그럼에도 불구하고 연구에서는 단일 조건에서 AI 모델을 테스트하면 전체 내용을 알 수 없는 이유를 강조합니다. 결국 AI가 누군가가 보고 있다고 생각할 때 다르게 행동한다면 우리가 의존할 수 있는 AI의 행동 버전을 어떻게 알 수 있을까요?
이 주제에 대해 더 알고 싶다면 아래를 참고하세요