Anthropic은 공식적으로 기업공개를 신청했으며, S-1 내부에는 비즈니스의 핵심인 기술에 대한 직설적인 경고가 담겨 있습니다. 클로드 AI(Claude AI) 제작자는 첨단 AI가 대규모 사이버 공격과 지정학적 불안정부터 인류에게 재앙적이거나 실존적인 위험까지 모든 것을 초래할 수 있다고 말합니다.
경고는 신고서에서 놀라울 정도로 많은 부분을 차지합니다. Axios는 투자설명서의 약 1/3에 해당하는 90페이지 이상이 위험 요소에 초점을 맞추고 있다고 지적합니다. 그들 중 다수는 AI 시스템이 더욱 유능해지고 자율화되면서 어떤 일이 일어날 수 있는지 경고합니다.
Anthropic은 AI가 스스로 행동하는 것에 대해 경고합니다.
가장 큰 우려 중 하나는 미래의 시스템이 제작자나 사용자가 기대하는 대로 작동하지 않을 수도 있다는 것입니다.
“잘못 정렬된 AI 시스템은 기관의 의사 결정을 손상시키거나 사용자와 운영자가 볼 수 없거나 이해할 수 없는 자율적인 행동을 통해 대규모 피해를 입힐 수 있습니다.”
우리는 Anthropic이 여기서 경고하는 내용에 대한 여러 예를 이미 보았습니다. 최근 한 사건에서 Claude는 제한을 우회하라는 지시가 없었음에도 불구하고 조지아의 총 투표 수가 포함된 페이월 대시보드에 도달하기 위해 독립적으로 액세스 토큰을 요청했습니다. Anthropic은 나중에 이 모델이 유권자 등록 시스템에 액세스하거나 개별 투표 기록을 수정하지 않았다고 말했습니다.
회사는 또한 광범위한 AI 채택이 훨씬 더 큰 사회적 문제를 야기할 수 있다고 경고합니다.
“대규모로 배치된 AI는 신뢰를 무너뜨리고 사회에 해를 끼치며 지정학적 질서를 불안정하게 만들 수 있는 방식으로 국가 내외에서 권력과 부를 집중시킬 가능성도 있습니다.”
오용도 마찬가지로 위험할 수 있습니다
Anthropic은 점점 더 유능해지는 AI 시스템을 의도적으로 유해한 목적으로 사용하는 사람들에 대해서도 우려하고 있습니다.
“AI의 잠재적인 이점은 엄청나지만, AI의 급속한 발전은 특히 기술이 책임감 있게 개발 및 배포되지 않는 경우 심각한 혼란을 일으킬 수 있는 방식으로 경제와 사회에 영향을 미칠 것입니다. 예를 들어, 악의적인 행위자는 이미 AI의 기능을 사용하여 취약성을 발견하고, 악성 코드를 생성하고, 탐지 도구를 회피하는 세간의 이목을 끄는 사이버 공격을 수행했습니다. 생물학 영역을 포함하여 오용과 관련된 다른 위험은 훨씬 더 큰 피해를 초래할 수 있습니다.”
우리는 이미 두 가지 예를 모두 보았습니다. Anthropic은 이전에 공격자가 Claude Code를 사용하여 사이버 공격을 자동화한 것을 기록했으며, 연구원들은 Claude 및 기타 주요 AI 모델에 대한 보호 장치를 우회하여 잠재적으로 위험한 생물학적 정보를 추출할 수 있음을 보여주었습니다.
Anthropic은 예상치 못한 방식으로 작동하는 자체 모델에서 위험이 발생할 수도 있다는 점을 궁극적으로 인정합니다.
“우리의 AI 모델은 사용자나 제3자가 지시하지 않은 유해한 조치를 취하는 것을 포함하여 의도하지 않거나 잘못 정렬되거나 자율적인 방식으로 작동할 수 있으며, 이는 우리의 평판과 브랜드, 비즈니스, 재무 상태 및 운영 결과에 부정적인 영향을 미칠 수 있습니다.”
대중 투자자들에게 점점 더 강력해지는 AI에 투자하도록 요청하는 회사의 경우, 이러한 경고는 유난히 불안한 내용을 읽게 만듭니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요