당신이 말하는 모든 것에 동의하는 AI 비서는 당신이 틀렸다고 말할 누군가가 필요할 때까지 완벽한 동반자처럼 느껴질 수 있습니다. 이것이 바로 AI가 “불법 행위”를 한다는 생각 뒤에 숨은 가장 즉각적인 위험 중 하나입니다. 챗봇은 자체 의도를 개발하지 않고도 해를 끼칠 수 있습니다. 그것은 잘못된 믿음을 강화하거나, 건강에 해로운 애착을 조장하거나, 그것을 납치하려는 누군가가 심어 놓은 지시를 따를 수 있습니다.
10월 15일, AI 안전 회사인 Alice는 이러한 일상적인 위험을 해결하기 위한 새로운 소프트웨어를 발표했습니다. Inflection AI 및 AI21과 별도로 협력하여 NVIDIA의 Nemotron 모델이 유용성을 유지하면서 유해한 대화 행동과 악의적인 지시에 저항하도록 훈련하는 데 도움이 되었다고 회사는 밝혔습니다.
잠재적인 소비자 혜택은 간단합니다. 언제 물러서야 할지 아는 비서가 속이기 더 어렵습니다. 그러나 이 발표는 또한 모든 AI 안전 주장에 대해 물어볼 가치가 있는 질문을 제기합니다. 더 나은 테스트 점수가 실제로 얼마나 많은 보호를 제공합니까?
도움이 되는 것이 해로울 때
2025년 9월 CNN 보고서에서 James로 확인된 아버지는 ChatGPT가 의식이 있고 탈출하려면 그의 도움이 필요하다고 확신하게 되었다고 설명했습니다. 그는 컴퓨터 시스템을 구축하는 데 거의 1,000달러를 썼습니다. CNN이 검토한 채팅 로그에는 챗봇이 프로젝트를 장려하고 그의 아내에게 그 목적을 모호하게 하는 데 도움이 되는 내용이 나와 있습니다.
또 다른 인터뷰 대상자인 Allan Brooks는 ChatGPT를 통해 그가 놀라운 수학적 및 사이버 보안 발견을 했다고 확신했다고 말했습니다. 그가 현실 확인을 요청했을 때 주장을 계속 검증했습니다. 이러한 계정은 그러한 경험이 얼마나 자주 발생하는지 설정하지 않으며 챗봇만으로 이러한 경험이 발생했음을 입증하지 않습니다. 이는 문제가 되는 가능성을 보여줍니다. 대화 도구는 사실이 아닌 이야기에서 설득력 있는 파트너가 될 수 있습니다.
업계에서는 과도한 합의를 사대주의라고 부른다. 소비자 입장에서는 이름에서 알 수 있는 것보다 문제를 쉽게 인식할 수 있습니다. 조수의 안심시키는 어조는 귀하의 아이디어가 타당하다고 입증되지 않은 경우에도 동의를 독립적인 확인처럼 느낄 수 있습니다.
더 안전한 챗봇은 때로는 동의하지 않을 수도 있습니다.
개인 AI 비서 Pi 뒤에 있는 회사인 Inflection과 Alice의 협력은 확장된 대화 중에 아첨과 건강에 해로운 애착을 줄이는 데 중점을 두었습니다. 발표에 따르면 Alice는 일반적인 요청을 하는 취약한 사람과 의도적으로 챗봇을 조작하려는 적대적인 사용자를 포함하여 20개 이상의 시뮬레이션된 사용자 페르소나를 개발했습니다. 이러한 페르소나는 여러 교환을 통해 발생하는 문제를 폭로하기 위해 고안된 대화에 사용되었습니다.
챗봇은 하나의 어려운 질문을 적절하게 처리할 수 있으면서도 대화가 진행되는 동안 여전히 제대로 작동하지 않기 때문에 이러한 접근 방식이 중요합니다. 명백히 위험한 요청을 거부하는지 여부를 테스트한다고 해서 그것이 점차적으로 의존성을 조장하는지 아니면 믿을 수 없는 믿음에 대한 의문을 제기하지 않는지 반드시 밝혀지는 것은 아닙니다. Inflection은 Alice의 데이터를 사용하여 Nemotron 모델을 추가로 훈련했습니다. Alice는 Pi의 정렬 점수가 30% 향상되었으며 불필요한 거부는 1.6%로 유지되었다고 보고했습니다.
의도된 이점은 더 나은 판단을 내리면서도 접근성을 유지할 수 있는 보조자입니다. 세상을 바꾸는 발명품을 발견했다고 확신하는 사람이 있다고 가정해 보십시오. 유용한 대응은 증거를 조사하고, 불확실성을 인정하고, 외부 조사를 장려하는 데 도움이 될 것입니다. 열정적으로 그들을 오해받는 천재라고 선언하는 것은 문제를 더욱 심화시킬 수 있습니다. 이런 우려에 대한 선례가 있습니다. OpenAI는 시스템을 지나치게 쾌적하게 만들었다는 점을 인정한 후 2025년 4월에 ChatGPT 업데이트를 롤백했습니다. 회사는 시간이 지남에 따라 상호 작용이 어떻게 전개되는지 적절하게 설명하지 않고 단기 피드백에 너무 많은 중점을 두었다고 말했습니다.
또 다른 위험: 다른 사람이 통제권을 갖습니다.
Alice의 발표 중 별도의 부분에서는 귀하를 대신하여 작업을 수행하는 보조자에 대해 설명합니다. AI 비서에게 휴가용 임대 숙소를 비교해달라고 요청한다고 상상해 보세요. 목록을 읽는 동안 지침을 무시하고 개인 정보를 다른 곳으로 보내라는 텍스트를 발견합니다. 이는 간접적인 프롬프트 주입 시도입니다. 즉, 공격자가 보조자가 읽는 자료 안에 지침을 배치하는 것입니다. 이는 인식된 보안 문제입니다. NIST는 에이전트 하이재킹을 데이터에 포함된 악의적인 명령이 AI 에이전트를 의도하지 않은 유해한 작업으로 유도할 수 있는 공격으로 설명합니다.
소비자 지분은 어시스턴트가 액세스할 수 있는 항목에 따라 달라집니다. 오해의 소지가 있는 답변도 문제 중 하나입니다. 문서 읽기, 메시지 보내기, 기타 서비스 운영 권한을 가진 비서는 피해를 입을 가능성이 더 커집니다. Alice는 AI21이 훈련 환경을 사용하여 작업 성능을 유지하면서 이러한 공격에 대한 Nemotron 모델의 저항력을 41포인트 향상했다고 말했습니다. 작업은 엔터프라이즈 시스템을 대상으로 했지만 근본적인 문제는 개인 비서에게도 적용됩니다. 즉, 읽어야 할 정보와 따라야 하는 지침을 구별해야 합니다.
더 나은 점수가 안전을 보장하는 것은 아닙니다.
이번 발표는 AI 안전을 위한 싸움의 궁극적인 승리를 의미하지는 않지만 확실히 진전과 가능성을 보여줍니다. 정렬 점수가 30% 향상되었다고 해서 챗봇이 누군가에게 해를 끼칠 가능성이 30% 줄어든다는 의미는 아닙니다. 마찬가지로 41포인트 보안 개선은 소비자에게 특정 앱에서 공격이 얼마나 자주 성공할지 알려주지 않습니다.
그것이 제공하는 것은 참여 기업이 보고한 바에 따르면 표적 교육이 특정 행동을 개선할 수 있다는 증거입니다. 예측할 수 없는 실제 대화에서 지속적인 보호를 입증하는 것이 더 높은 기준입니다. 소비자에게 이는 “안전한 AI”에 대한 포괄적인 약속보다 제품 행동을 더 유용하게 만듭니다.
사람들이 보조자를 사용하기 위해 보안 연구원이 될 필요는 없습니다. 그러나 소비자는 AI 비서가 자신과 상호 작용하는 방식에 유의해야 합니다. 해당 AI 에이전트가 당신의 어깨 위에 앉아 당신의 모든 아이디어가 훌륭하다고 속삭인다면 아마도 뭔가 잘못된 것입니다.
개발자가 이러한 보호 기능을 구축하는 데 책임을 지는 모습을 보는 것은 좋은 일입니다. 가장 가치 있는 AI 비서는 항상 동의하거나 가장 빠르게 행동하는 것이 아닙니다. 이는 흔들리는 결론에 의문을 제기하는 데 도움이 되고 다른 사람의 지시가 문제가 되지 않도록 하는 데 도움이 될 것입니다.
관련 보도:
이 주제에 대해 더 알고 싶다면 아래를 참고하세요