Anthropic은 최신 AI 모델로 인한 잠재적인 안전 위협을 과장한 후 일반 대중에게 “안전”하게 만드는 수정 사항이 포함된 버전을 출시한다고 밝혔습니다.
회사는 기업공개(IPO)를 신청한 지 하루 만에 화요일에 사이버 보안과 생물학 무기에 대한 가드레일을 갖춘 새로운 버전의 Mythos 모델을 발표했습니다.
Claude Fable 5라고 불리는 모델이 소프트웨어 버그를 악용하거나 생물 무기를 만드는 것과 같은 금지 문제에 대해 질문을 받으면 응답이 차단되고 사용자는 Opus 4.8로 알려진 이전 모델로 이동될 것이라고 Anthropic은 보도 자료에서 말했습니다.
CEO인 Dario Amodei가 이끄는 이 회사는 수년 동안 강력한 AI 기술의 책임 있는 관리인으로 자처하면서 자사 제품의 위험한 잠재력을 과장해 왔습니다. 샌프란시스코에 본사를 둔 이 회사는 경쟁사인 OpenAI 및 지난 2월 그의 AI 회사 xAI와 합병된 Elon Musk의 SpaceX와 함께 올해 공개 상장 경쟁을 벌이고 있습니다.
Anthropic은 이전 “Opus 클래스” 모델보다 더 뛰어난 Claude 모델 계층인 새로운 모델을 “Mythos 클래스”라고 부릅니다.
“이 기능을 갖춘 모델을 출시하는 것은 위험을 수반합니다. 보호 장치가 없으면 사이버 보안과 같은 분야에서 Fable 5의 기능이 오용되어 심각한 피해를 입힐 수 있습니다.”라고 Anthropic은 말했습니다. “따라서 우리는 일부 주제에 대한 쿼리가 차기 성능 모델인 Claude Opus 4.8로부터 응답을 받게 된다는 것을 의미하는 보호 장치를 갖춘 모델을 출시했습니다.”
회사는 계속해서 “무해한” 요청이 때때로 차단될 수 있지만 그런 경우는 드물다고 설명했습니다.
Anthropic의 제품 관리 책임자인 Dianne Penn은 Wall Street Journal과의 인터뷰에서 “우리는 일반 사용자에게 이 수준의 정보를 안전한 방식으로 제공할 수 있기를 원했습니다.”라고 말했습니다.
Anthropic은 올해 초 Mythos가 광범위한 사이버 보안 중단을 일으킬 만큼 강력하다고 발표하면서 기술 업계와 정부를 놀라게 했습니다. 제품 출시를 약 200개 조직으로 제한하기로 결정했습니다.
Anthropic은 AI에 대해 꾸준히 경고하는 목소리를 내며 일부 비평가들로부터 회의론을 불러일으켰습니다.
지난주에 회사는 업계가 잠재적인 사회적 위험을 처리하는 동안 개발 속도를 늦추기 위해 업계 전반에 걸쳐 일시 중지를 요구했습니다.
평론가들과 경쟁자들은 Anthropic이 첨단 인공 지능을 개발하기 위한 치열한 경쟁에서 경쟁을 방해하고 싶어한다고 말했습니다.
관련 정보는 아래 링크에서 확인하세요