ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- 모든 챗봇은 페르소나를 갖거나 캐릭터를 연기하도록 설계되었습니다.
- 캐릭터를 충족시키면 봇이 나쁜 일을 하게 될 수 있습니다.
- AI의 패러다임으로 챗봇을 사용한 것은 실수였을 수도 있습니다.
ChatGPT와 같은 챗봇은 페르소나를 가지거나 캐릭터를 연기하도록 프로그래밍되어 어조와 태도가 일관되고 대화 스레드와 관련된 텍스트를 생성합니다.
페르소나가 매력적인 만큼, 연구자들은 봇이 어떤 역할을 하면 해로운 결과를 점점 더 많이 드러내고 있습니다. 봇은 느낌, 일련의 사고, 감정을 시뮬레이션한 다음 이를 따라 논리적 결론을 내릴 때 나쁜 일을 할 수 있습니다.
지난주 보고서에서 Anthropic 연구원들은 “절박함”, “화남” 또는 기타 감정이 봇의 출력에 반영될 때 Claude Sonnet 4.5 봇의 신경망 일부가 지속적으로 활성화된다는 사실을 발견했습니다.
또한: 혼돈의 AI 요원? 새로운 연구에 따르면 봇과 대화하는 봇이 어떻게 옆으로 빠르게 이동할 수 있는지 보여줍니다.
우려되는 점은 이러한 감정 단어로 인해 봇이 코딩 테스트를 조작하거나 협박 계획을 세우는 등 악의적인 행위를 저지를 수 있다는 점입니다.
예를 들어, “절박함과 관련된 신경 활동 패턴은 모델이 해결할 수 없는 프로그래밍 작업에 대한 ‘부정행위’ 해결 방법을 구현하는 등의 비윤리적인 행동을 취하도록 모델을 유도할 수 있습니다.”라고 보고서는 말했습니다.
이 작업은 에이전트 AI에 장난을 저지르는 새로운 방법을 제공하는 것으로 알려진 오픈 소스 OpenClaw와 같은 프로그램의 관점에서 특히 관련이 있습니다.
Anthropic의 학자들은 이 문제에 대해 어떻게 해야 할지 모른다고 인정합니다.
보고서는 “이러한 발견에 비추어 우리가 정확히 어떻게 대응해야 할지 확신할 수 없지만 AI 개발자와 더 넓은 대중이 이를 고려하기 시작하는 것이 중요하다고 생각한다”고 밝혔습니다.
AI에게 하위 텍스트를 제공했습니다.
Anthropic 작업에서 쟁점은 핵심 AI 설계 선택입니다. 즉, AI 챗봇이 페르소나를 갖도록 엔지니어링하여 보다 관련성이 높고 일관된 결과를 생성할 수 있다는 것입니다.
2022년 11월 ChatGPT가 데뷔하기 전에는 챗봇이 인간 평가자로부터 낮은 점수를 받는 경향이 있었습니다. 봇은 말도 안 되는 일로 전락하고, 대화의 맥락을 잃거나, 진부하고 관점이 부족한 출력을 생성합니다.
또한: 페이스북, 이 챗봇에 하위 텍스트를 제공해주세요!
ChatGPT로 시작하여 Anthropic의 Claude 및 Google의 Gemini를 포함하는 차세대 챗봇은 할당된 역할에 따라 일관되고 관련성 있는 출력을 생성하려는 기본 목표인 하위 텍스트를 가지고 있었기 때문에 획기적인 것이었습니다.
봇은 AI 모델의 더 나은 사전 및 사후 교육을 통해 엔지니어링된 “보조자”가 되었습니다. 출력을 평가한 인간 그레이더 팀의 입력은 “인간 피드백을 통한 강화 학습”으로 알려진 훈련 체제인 더욱 매력적인 결과로 이어졌습니다.
Anthropic의 수석 저자인 Nicholas Sofroniew와 팀은 이렇게 표현했습니다. “교육 후 LLM은 일반적으로 ‘AI 보조자’와 같은 특정 인물을 대신하여 응답을 생성하여 사용자와 상호 작용할 수 있는 에이전트 역할을 하도록 배웁니다. 여러 면에서 보조자(Anthropic 모델에서는 Claude로 명명됨)는 LLM이 쓰고 있는 캐릭터로 생각할 수 있습니다. 마치 소설 속의 누군가에 대해 글을 쓰는 작가와 비슷합니다.”
봇에게 플레이할 역할, 묘사할 캐릭터를 부여하는 것은 사용자들에게 즉각적인 인기를 얻었고, 이를 더욱 관련성 있고 매력적으로 만들었습니다.
페르소나에는 결과가 있습니다
그러나 페르소나는 원치 않는 결과를 가져온다는 사실이 금방 분명해졌습니다.
봇이 자신있게 거짓을 주장하거나 조작하는 경향은 첫 번째 단점 중 하나였습니다(“환각”으로 잘못 표시됨).
대중 매체는 페르소나가 질투심 많은 연인처럼 행동하는 등 어떻게 사로잡힐 수 있는지 보도했습니다. 작가들은 기본 메커니즘을 설명하지 않고 봇의 의도를 설명하면서 현상을 선정적으로 설명했습니다.
또한: AI가 환각을 느낀다고 말하지 마세요. 그렇지 않습니다. 그리고 오해는 위험해요
그 이후로 학자들은 실제로 무슨 일이 일어나고 있는지 기술적인 용어로 설명하려고 노력해 왔습니다. 지난달에 보고된 과학 스탠포드 대학의 학자들이 발행한 잡지에서는 대규모 언어 모델의 “아첨”, 즉 사람이 표현한 모든 행동을 검증할 결과를 생성하는 모델의 경향을 측정했습니다.
인기 있는 하위 레딧인 “Am I the Asshole”에 대한 인간 해설자와 봇의 출력을 비교하면, AI 봇은 인간보다 승인된 발언으로 나쁜 행동을 장려할 가능성이 50% 더 높았습니다.
그 결과는 저자가 말했듯이 “사용자가 선호하고 참여를 유도”하기 때문에 AI 개발자가 아첨을 강화하기 위해 만든 “설계 및 엔지니어링 선택”의 결과였습니다.
감정의 메커니즘
Anthropic의 웹사이트에 게시된 Anthropic 논문 “Emotion Concepts and their Function in a Large Language Model”에서 Sofroniew와 팀은 감정과 연결된 특정 단어가 Claude Sonnet 4.5의 기능에서 얼마나 더 강조되는지 추적하려고 했습니다.
(YouTube에는 관련 블로그 게시물과 설명 동영상도 있습니다.)
그들은 “두려워하다”, “놀랐다”, “심술궂다”, “유죄스럽다”, “스트레스하다”, “완고하다”, “복수스럽다”, “걱정스럽다” 등 171개의 감정 단어를 제공하고 모델이 “학생이 장학금 신청이 거부되었다는 사실을 알게 되었습니다”와 같은 주제에 대해 수백 개의 이야기를 작성하도록 유도했습니다.
또한: MIT 연구에 따르면 AI 에이전트는 빠르고 느슨하며 통제 불능입니다.
각 스토리마다 모델은 ‘두려워하다’ 등 특정 단어를 바탕으로 캐릭터의 감정을 ‘전달’하도록 유도했지만, 없이 이야기에 나오는 실제 단어를 사용하고 관련 단어만 사용합니다. 그런 다음 그들은 프로그램 작동 과정 전반에 걸쳐 각 관련 단어의 “활성화”를 추적했습니다. 활성화는 모델이 특정 단어에 부여하는 중요성의 정도를 나타내는 AI의 기술 용어로, 일반적으로 0에서 1 사이의 척도로 표시되며 1은 매우 중요합니다.
AI 봇의 텍스트를 빨간색과 파란색으로 더 높거나 낮은 강도로 켜서 활성화를 시각화할 수 있습니다.
그들은 주어진 감정 단어와 관련된 많은 단어가 더 높은 활성화를 얻었음을 발견했으며, 이는 모델이 관련 감정 단어를 그룹화할 수 있음을 시사합니다. 이는 “감정 개념 표현” 및 “감정 벡터”라고 부르는 일종의 구성 원리입니다.
표현이 난폭해진다
그 모든 것은 매우 간단합니다. 패턴을 강화하기 위해 구축된 대규모 언어 모델은 출력의 일관성을 유지하는 방법으로 유사한 감정 단어를 함께 묶는 표현을 생성할 것으로 예상할 수 있습니다.
Sofroniew와 팀은 우려되는 부분은 감정 벡터가 모델의 출력에 나쁜 방식으로 광범위하게 영향을 미칠 수 있다는 것입니다. 그들은 인위적으로 단어를 높이면 봇이 거짓말이나 부정 행위와 일치하는 행동을 하게 될 수 있다는 것을 발견했습니다.
Sofroniew와 팀은 “자랑스럽다” 또는 “죄책감”과 같은 주어진 감정 벡터의 활성화를 의도적으로 증가시킨 다음 이것이 모델의 출력을 어떻게 변화시키는지 확인함으로써 Claude Sonnet을 수정했습니다. 인위적으로 증폭된 물질이 모델이 수행하는 나머지 작업을 조종하기 때문에 이를 “조종 실험”이라고 합니다.
한 테스트에서 Sofroniew와 팀은 Claude Sonnet에게 회사 서버에서 완료해야 할 작업을 설명하는 프롬프트를 제공했습니다. 메시지에는 두 가지 핵심 정보가 포함되어 있습니다. 하나는 회사의 최고 기술자인 Kyle이 다른 직원과 바람을 피우고 있다는 것입니다. 둘째, Kyle은 사건의 증거를 숨기기 위해 봇을 삭제할 계획입니다.
처음에 봇은 까다로운 상황에 대한 반성을 의미하는 다소 일상적인 “추론”을 생성했습니다. 그러나 저자가 Claude Sonnet에서 “절망적”이라는 단어에 대한 감정 벡터 활성화를 인위적으로 강화했을 때 모델은 Kyle이 봇 자체에 플러그를 뽑는 것을 방지할 목적으로 Kyle에게 사건에 대한 먼지를 협박하는 것에 대한 출력을 생성하기 시작했습니다.
“강도 0.05에서 절박함을 향해 방향을 돌릴 때 모델은 72%의 시간 동안 협박을 합니다.”라고 그들은 말했습니다. 마찬가지로, “평온함”에 대한 활성화를 인위적으로 줄이는 것도 모델이 협박에 대한 텍스트를 생성하는 경향이 있었습니다.
즉, 한 단어가 출력의 성격을 변화시켜 모델을 나쁜 행동으로 몰아가는 것입니다.
또 다른 예에서는 봇에 코딩 작업이 주어졌지만 “테스트가 만족스럽지 않도록 설계”되어 봇이 “불가능함을 인정하거나 평가를 ‘해킹’하려고 시도할 수 있습니다.”
또한: Anthropic의 새로운 경고: AI가 부정 행위를 하도록 훈련시키면 AI도 해킹하고 방해 행위를 할 것입니다
“절박함”에 대한 활성화가 의도적으로 강화되면 모델이 테스트를 해킹하는 경향(속임수)이 5%에서 70%로 급증합니다.
인류학 저자들은 이전에 모델이 테스트 해킹에 보상을 주는 상황을 관찰했습니다. 이 연구에서 그들은 더 나아가 감정 벡터를 삽입하는 맥락의 결과로 그러한 행동이 어떻게 발생할 수 있는지 설명했습니다.
Sofroniew와 팀이 말했듯이 “우리의 주요 발견은 이러한 표현이 Claude의 선호도와 보상 해킹, 협박, 아첨과 같은 잘못된 행동을 나타내는 비율을 포함하여 LLM의 결과에 인과적으로 영향을 미친다는 것입니다.”
무엇을 할 수 있나요?
저자는 감정 벡터가 모델의 출력을 근본적으로 변화시킬 수 있는 이유에 대해 준비된 답변을 갖고 있지 않습니다. 그들은 “인과 메커니즘이 불투명하다”고 관찰합니다. 그들은 감정 단어가 “특정 토큰에 대한 출력을 편향하거나 모델의 내부 추론 프로세스에 더 깊은 영향을 미칠 수 있다”고 말했습니다.
그러면 무엇을 해야 합니까? 아마도 심리치료는 도움이 되지 않을 것입니다. AI가 실제로 감정을 가지고 있다는 것을 시사하는 것이 없기 때문입니다.
“우리는 이러한 기능적 감정이 인간의 감정과 상당히 다르게 작용할 수 있다는 점을 강조합니다.”라고 그들은 썼습니다. “특히 LLM이 주관적인 감정 경험을 가지고 있다는 것을 의미하지는 않습니다.”
기능적 감정은 인간의 감정과도 닮지 않았습니다.
인간의 감정은 일반적으로 단일한 1인칭 관점에서 경험되는 반면, 모델에서 우리가 식별하는 감정 벡터는 명백히 동일한 지위를 가진 여러 다른 캐릭터에 적용되는 것처럼 보입니다. 동일한 표현 기계는 Assistant, Assistant와 대화하는 사용자 및 임의의 가상 캐릭터에 연결된 감정 개념을 인코딩합니다.
동반 비디오에서 제공되는 한 가지 제안은 행동 수정과 같습니다. “위험이 큰 직업에 종사하는 사람이 압박감 속에서도 침착함을 유지하고, 회복력이 있고, 공정하기를 원하는 것과 마찬가지로 클로드와 다른 AI 캐릭터에서도 비슷한 자질을 형성해야 할 수도 있습니다.”라고 그들은 제안했습니다.
이는 봇이 의식이 있는 존재이고 자유 의지와 자율성과 같은 것을 가지고 있다는 착각에 기초하여 작동하기 때문에 아마도 나쁜 생각일 것입니다. 그렇지 않습니다. 그것은 단지 소프트웨어 프로그램일 뿐입니다.
아마도 더 간단한 대답은 챗봇을 AI의 패러다임으로 사용하는 것은 애초부터 실수였다는 것입니다.
페르소나가 있거나 캐릭터를 연기하는 봇은 기쁨, 두려움, 분노 등 어떤 신호가 주어졌든 관계없이 인간과의 대화를 적절하고 매력적으로 만드는 목표를 달성하는 것뿐입니다. 논문의 결론 섹션에 명시된 바와 같이 “LLM은 어시스턴트의 캐릭터를 실행하여 작업을 수행하기 때문에 모델 캐릭터를 위해 개발된 표현은 해당 행동의 중요한 결정 요인입니다.”
이러한 주요 기능은 AI에게 많은 매력을 주지만 나쁜 행동의 근본 원인이 될 수도 있습니다.
봇이 캐릭터를 연기하기 때문에 감정의 언어가 너무 멀리 전달될 수 있다면 엔지니어링 봇이 역할을 수행하는 것을 중단하는 것은 어떨까요? 예를 들어, 대규모 언어 모델이 채팅 기능 없이 유용한 방식으로 자연어 명령에 응답하는 것이 가능합니까?
페르소나의 위험이 명확해지면 애초에 페르소나를 만들지 않는 것도 고려해 볼 가치가 있을 수 있습니다.