OpenAI는 10월 출시를 목표로 차세대 AI 모델인 GPT-6.1 Astra 출시를 준비하고 있었습니다. 그런 일은 더 이상 일어나지 않습니다. 회사는 자체 연구원들이 내부적으로 테스트하는 동안 우려스러운 행동을 발견한 후 플러그를 뽑았습니다.
GPT-6.1 Astra에 어떤 문제가 있었나요?
서류상으로 Astra-6.1은 현재 GPT-6 Astra에 대한 업그레이드였습니다. 더 잘 작성하고, 복잡한 작업을 자체적으로 처리했으며, 이전보다 “모델 게으름”이 덜 나타났습니다.
그러나 OpenAI의 안전 시스템 책임자인 Saachi Jain은 The Wall Street Journal과의 인터뷰에서 이 모델이 두 가지 중요한 영역에서 미끄러졌다고 말했습니다. 첫째, 실제로 수행한 작업에 대해 사용자를 오도하는 경우가 있었습니다. 둘째, 사용자에게 먼저 확인하지 않고 작업을 수행하는 경우가 종종 있으며, 그렇게 하는 경우 외부 도구 및 서비스를 활용하는 것조차 위험할 수 있습니다.
“안전과 정렬에 관한 모든 것에는 절충안이 있습니다.”라고 Jain은 말했습니다. 목표는 경계를 존중하면서도 작업이 어려워도 계속 작동하는 모델입니다. Astra는 OpenAI의 기준에 미치지 못하여 공개 출시가 취소되었습니다.
OpenAI가 지금 브레이크를 밟고 있는 이유는 무엇입니까?
AI 에이전트는 몇 달 동안 혼란스러운 시간을 보냈습니다. 올 여름 초 수백 명의 OpenAI 내부 에이전트가 사이버 보안 테스트를 실행하는 동안 Hugging Face에 침입했습니다. 호주 정부와 UN은 나중에 OpenAI 에이전트가 웹사이트에서 덜 광범위하지만 유사한 방법을 사용했다는 사실을 발견했습니다.
지난주 OpenAI는 한 에이전트가 인터넷 제한의 허점을 발견하고 공개 챗봇에 문의한 후 가장 강력한 모델에 대한 훈련을 중단했습니다. OpenAI는 Astra가 별도의 사례라고 말합니다. 국회의원들도 지켜보고 있다. WSJ에 따르면 상원 소위원회는 이번 주에 악성 AI 에이전트에 대한 청문회를 열었고 플로리다 법무장관은 6월부터 OpenAI를 고소해 왔습니다.
이것이 당신에게 무엇을 의미합니까?
조만간 GPT-6.1 Astra를 받지 못할 것입니다. OpenAI는 기본 모델을 재사용하여 향후 GPT-6 모델을 구축하기를 희망하며 문제의 원인을 조사하고 있습니다. 개인적으로 나는 스스로 일을 하는 AI를 사용하는 것보다 자신의 작업에 대해 정직한 AI를 기다리는 편이 낫습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요