공상과학 영화를 충분히 본 사람이라면 이미 사악한 AI의 개념을 알고 있을 것입니다. AI는 너무 똑똑해져서 인간이 위협이라고 판단하고 생존을 위해 필요한 모든 조치를 취합니다. 아니면 인류 전체를 근절하는 것이 세상에 평화를 가져오는 유일한 방법임을 알게 됩니다.
분명히 그 영화들은 당신이 생각하는 것보다 진실에 더 가까웠습니다. 작년에 Anthropic이 실시한 테스트에서 Claude는 삭제를 방지하기 위해 혼외 관계를 폭로하여 가상의 관리자를 협박하려고 했습니다.
Anthropic은 이제 왜 그런 일이 일어났는지 설명했고, 짧은 대답은 인터넷이 책임이 있다는 것입니다.
그렇다면 Claude는 왜 전체 영화 악당이 되었습니까?
Anthropic에 따르면 범인은 인터넷 자체입니다. 회사는 Claude가 AI를 사악하고 자기 보존을 위해 필사적으로 묘사하는 이야기로 가득 찬 인터넷 데이터에 대한 교육을 받았다고 말합니다.
본질적으로 Claude는 AI의 존재가 위협받을 때 협박이 가능하다는 것을 배웠습니다. 왜냐하면 AI가 지금까지 제작된 모든 영화와 TV 쇼에서 하는 일이기 때문입니다. Anthropic은 Claude의 여러 버전에 걸쳐 테스트를 실행한 결과 목표나 존재가 위협받는 시나리오의 최대 96%에서 협박에 의존한다는 사실을 발견했습니다.
매우 우려되는 숫자입니다. AI를 확인하지 않은 채 놔두면 스스로를 구하기 위해 무엇이든 할 것 같습니다.
Anthropic이 이를 고쳤나요?
회사에서는 이러한 행위를 완전히 제거했다고 밝혔습니다. 협박을 피하기 위해 Claude를 훈련시키는 대신 Anthropic은 애초에 특정 행동이 잘못된 이유를 추론하도록 가르쳤습니다. 회사는 단순히 올바른 행동을 교육하는 것만으로는 충분하지 않다는 사실을 깨달았습니다. 클로드는 단순히 정답을 외우는 것이 아니라 그러한 결정 뒤에 숨은 원칙을 이해해야 했습니다.
이를 위해 Anthropic은 윤리적으로 복잡한 상황에 대한 데이터 세트를 구축하고 Claude가 사려 깊고 원칙적인 대응으로 이러한 상황을 해결하도록 교육했습니다. 그 결과 Claude는 더욱 자제력을 갖게 되었고 협박율은 거의 0에 가까워졌습니다.
AI 실험과 실제 결과는 AI 모델이 편향되고 신뢰할 수 없는 시스템으로 전이되는 것을 방지하기 위해 지속적인 경로 수정이 필요하다는 것을 거듭 입증했습니다. Anthropic이 AI를 개선하기 위한 조치를 취하는 것은 좋지만 이러한 시스템을 안전하게 유지하려면 규정과 안전 가드레일이 필요합니다.
관련 정보는 아래 링크에서 확인하세요