아마 떠돌아다니는 팁을 본 적이 있을 것입니다. AI에게 해당 분야의 전문가처럼 행동하라고 말하면 더 나은 답변을 얻을 수 있습니다. 이는 대중적인 조언이며 때로는 효과가 있습니다. 그러나 새로운 연구에 따르면 AI 페르소나를 사용하는 것이 생각만큼 효과적이지 않을 수 있다고 합니다.
캘리포니아 대학의 연구원들은 6개 언어 모델에 걸쳐 12개의 서로 다른 페르소나를 테스트했습니다. 페르소나는 수학 및 코딩 전문가부터 창의적인 작가 및 안전 모니터에 이르기까지 다양했습니다. 목표는 AI가 전문가로 행동하도록 지시받았을 때 얼마나 잘 수행되는지 알아보는 것이었습니다.
결과는 엇갈렸습니다. 페르소나를 채택하면 AI가 더욱 전문적으로 들리고 규칙을 더 잘 따르게 되었습니다. 그러나 이는 또한 AI가 사실을 기억하는 능력을 더욱 저하시켰습니다. 연구에 따르면 AI 페르소나를 사용하면 지식 검색 모드가 아닌 지시 따르기 모드로 전환되며, 그 절충안으로 인해 정확성이 저하됩니다.
해결책은 무엇입니까?
이 문제를 해결하기 위해 연구원들은 의도 기반 자체 모델링을 통한 페르소나 라우팅(Persona Routing via Intent-based Self-Modeling)을 의미하는 PRISM을 개발했습니다. 항상 페르소나를 사용하거나 전혀 사용하지 않는 대신, PRISM은 AI가 스스로 무엇이 최선인지 결정하도록 가르칩니다.
질문을 하면 PRISM은 두 가지 답변을 생성합니다. 하나는 기본 모드에서, 다른 하나는 페르소나에서 생성됩니다. 그런 다음 두 가지를 비교하고 특정 쿼리에 대해 더 나은 성능을 발휘하는 답변을 제공합니다.
기본 답변이 이긴 경우에도 전문가 답변은 삭제되지 않습니다. 대신 추론 스타일은 LoRA 어댑터라는 경량 구성 요소에 저장되며 AI는 나중에 필요할 때 이를 그릴 수 있습니다. 이 솔루션은 간단해 보이지만 효과적입니다.
프리즘은 어땠나요?
PRISM은 AI가 지시 사항을 얼마나 잘 따르고 도움을 주는지 측정하는 테스트인 MT-Bench에서 AI의 전체 점수를 1~2점 높였습니다. 글쓰기 및 안전 작업에는 페르소나가 도움이 되었습니다. 원시 지식 질문의 경우 페르소나를 건너뛰는 것이 더 나은 선택임이 입증되었습니다.
연구원들은 더 많은 페르소나로 PRISM을 테스트하고 더 나은 답변을 제공할 수 있는 능력을 개선할 계획입니다. 아직은 초기 단계지만 이로 인해 우리가 AI를 활용하는 방식이 바뀔 수 있습니다.