ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- AI는 작은 작업에서는 점점 나아지고 있지만, 장기적인 분석에서는 여전히 뒤떨어져 있습니다.
- AI와의 장기간 상호작용의 결과는 재앙이 될 수 있습니다.
- 잘 정의된 작업을 위한 도구처럼 AI를 사용하고 토끼굴에 빠지지 않도록 하세요.
많이 나쁘게 하는 것보다 조금이라도 잘 하는 것이 낫습니다. 위대한 철학자 소크라테스의 말과 그의 조언은 OpenAI의 ChatGPT 또는 Perplexity와 같은 챗봇뿐만 아니라 기업에서 점점 더 테스트되고 있는 에이전트 AI 프로그램을 포함하여 인공 지능 사용에 적용될 수 있습니다.
AI 연구에 따르면 AI를 사용하는 가장 안전하고 생산적인 과정은 몇 시간, 며칠, 몇 주에 걸쳐 기술과 광범위한 상호 작용을 추구하기보다는 결과를 잘 정의하고 결과를 확인할 수 있는 작고 제한된 작업에 AI를 사용하는 것입니다.
또한: AI에게 의학적 조언을 요청하시나요? 옳고 그름이 있다고 한 의사가 설명합니다.
ChatGPT 및 Perplexity와 같은 챗봇과의 확장된 상호 작용은 최소한 잘못된 정보로 이어질 수 있으며 어떤 경우에는 망상과 죽음으로 이어질 수 있습니다. 이 기술은 아직 인간의 정신이 지배하는 영역인 추론, 논리, 상식, 심층 분석 등 가장 정교한 요구 사항을 처리할 준비가 되어 있지 않습니다.
(공개: ZDNET의 모회사인 Ziff Davis는 2025년 4월 OpenAI를 상대로 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하는 소송을 제기했습니다.)
우리는 아직 인간 수준의 AI 능력인 AGI(Artificial General Intelligence) 단계에 도달하지 않았으므로 이를 사용할 때 기술의 한계를 염두에 두는 것이 좋습니다.
간단히 말해서, 토끼굴에 빠져 끝없는 AI 대화에 빠져들기보다는 AI를 도구로 사용하십시오.
AI가 잘하는 것과 그렇지 못한 것
AI는 간단한 작업에서는 잘 수행하는 경향이 있지만 복잡하고 심층적인 유형의 분석에서는 제대로 수행되지 않습니다.
최신 사례는 스탠포드 대학의 인간 중심 AI 학자 그룹이 발표한 이번 주 연례 AI 지수 2026의 주요 내용입니다.
한편, 편집장 Sha Sajadieh와 그녀의 공동 작업자는 에이전트 AI가 웹에서 정보 검색과 같은 작업에서 점점 더 성공하고 있음을 분명히 밝혔습니다. 실제로 상담원은 일상적인 온라인 프로세스에서 인간 수준에 가깝습니다.
또한: AI가 전례 없는 피해를 입힐 수 있는 10가지 방법
GAIA, OSWorld 및 WebArena의 세 가지 벤치마크 테스트에서 Sajadieh와 팀은 에이전트가 데이터베이스 열기, 정책 규칙 적용, 고객 기록 업데이트 등의 다단계 작업에서 인간 수준의 성능에 접근한다는 사실을 발견했습니다. GAIA 테스트에서 에이전트의 정확도는 74.5%로 여전히 인간 성능의 92%보다 낮지만 1년 전의 20%보다는 훨씬 높습니다.
OSWorld 테스트에서 “컴퓨터 과학 전공 학생들은 평균 약 2분의 시간으로 이러한 작업의 약 72%를 해결합니다.” 반면 최근까지 가장 강력한 모델이었던 Anthropic의 Claude Opus 4.5는 66.3%에 도달했습니다. 이는 “최고의 모델은 인간 성능의 6% 이내”라는 의미입니다.
WebArena는 AI 모델의 “이제 인간 기준치인 78.2%의 4% 이내” 정확도를 보여줍니다.
Agentic AI는 웹 브라우징과 같은 온라인 작업에서 성능이 향상되었지만 여전히 인간 수준의 정확성에는 미치지 못합니다.
스탠포드
Claude Opus 및 기타 LLM은 완벽하지는 않지만 최소한 인간 수준의 성과에 더 가까운 벤치마크 수준에 도달하는 데 있어 빠른 발전을 보여줍니다.
웹 브라우저를 조작하거나 데이터베이스에서 무언가를 찾는 것은 자연어 프롬프트가 API 및 외부 리소스에 연결될 수 있는 더 쉬운 시나리오 중 하나이기 때문에 이는 의미가 있습니다. 즉, AI는 제한된 방식으로 애플리케이션과 인터페이스하고 작업을 수행하는 데 필요한 대부분의 장비를 갖추고 있어야 합니다.
또한: 전 세계적으로 4천만 명이 의료 목적으로 ChatGPT를 사용하고 있습니다. 그런데 과연 안전한가요?
잘 정의되고 제한된 작업을 사용하더라도 이러한 벤치마크의 평균 점수는 여전히 인간의 능력에 미치지 못하기 때문에 봇에서 무엇을 얻고 있는지 확인하는 데 도움이 됩니다. 이는 일종의 시뮬레이션된 성능인 벤치마크 테스트에 있습니다. 실제 환경에서는 결과가 다를 수 있으며 긍정적이지 않을 수 있습니다.
AI는 어려운 일을 처리할 수 없습니다.
스탠포드 학자들은 더 깊은 종류의 연구를 파헤쳤을 때 훨씬 덜 고무적인 결과를 발견했습니다.
연구 결과에 따르면 “모델은 간단한 조회를 잘 처리하지만 여러 일치하는 정보를 찾거나 매우 긴 문서에 조건을 적용하라는 요청을 받으면 어려움을 겪습니다. 이는 동일한 텍스트를 스캔하는 사람에게는 간단한 작업입니다.”
그 결과는 ChatGPT를 사용하여 사업 계획 초안을 작성했던 내 일화 경험과 일치합니다. 프롬프트의 처음 몇 라운드에서는 답변이 괜찮았지만 모델이 내가 지정하지 않은 사실과 수치에 빠져 있거나 프로세스 초기에는 관련이 있었을 수 있지만 현재 맥락에 비즈니스가 포함되지 않았기 때문에 성능이 저하되었습니다.
제가 결론적으로 얻은 교훈은 ChatGPT 세션이 길어질수록 더 많은 오류가 몰래 들어온다는 것입니다. 이는 경험을 화나게 만듭니다.
또한: ChatGPT로 사업 계획을 세웠는데 그것이 경고의 이야기로 바뀌었습니다
확인되지 않은 봇 정교화의 결과는 더욱 심각해질 수 있습니다. 지난 주에 나온 기사 자연 잡지에서는 예테보리 대학의 의학 연구원이자 과학자인 Almira Osmanovic Thunström과 그녀의 팀이 어떻게 “빅소니마니아”라는 질병을 발명했는지 설명합니다. 이 질병은 컴퓨터 화면의 청색광에 과도하게 노출되어 발생하는 눈 질환이라고 설명합니다.
그들은 메이크업 상태에 대한 공식적인 연구 논문을 작성한 다음 온라인에 게시했습니다. 해당 논문은 봇 기반 검색에서 선택되었습니다. Google의 Gemini를 포함한 대부분의 대규모 언어 모델은 채팅에서 Thunström과 팀의 가짜 연구 논문을 지적하면서 빅소니마니아 상태를 충실하게 연관시키기 시작했습니다.
봇이 가짜 빅소니마니아의 존재를 자신 있게 주장한다는 사실은 해당 기술의 정보 접근에 대한 감독이 부족하다는 것을 의미합니다. 적절한 확인 없이는 모델이 내뱉는 내용을 확인할지 여부를 알 수 없습니다. 연구에 참여하지 않은 한 학자는 “(AI 모델을) 평가하고 지속적인 평가를 위한 파이프라인을 갖춰야 한다”고 지적했다.
결과는 심각할 수 있습니다
사용자가 봇에 비밀을 털어놓는 토끼굴에 빠진 것처럼 보이는 좀 더 심각한 변종은 최근 New York Times 기사에서 Teddy Rosenbluth가 백혈구암과 씨름하고 있는 한 노인의 사례에 대해 설명하고 있습니다.
종양 전문의의 조언을 따르기보다 환자인 Joe Riley는 의사의 진단을 반박하기 위해 챗봇, 특히 Perplexity와의 광범위한 상호 작용에 의존했습니다. 그는 자신의 AI 연구 결과 자신에게 권장된 치료법으로 인해 더욱 악화될 수 있는 암 합병증인 리히터 변환(Richter’s Transformation)이 있다는 사실이 밝혀졌다고 주장했습니다.
또한: 건강 조언을 위해 Google AI 개요를 사용하시겠습니까? 조사 결과 ‘정말 위험하다’
Richter의 상태에 대한 Perplexity 요약 자료에 의문을 제기하는 전문가의 이메일에도 불구하고 Riley는 AI가 생성한 보고서에 대한 믿음을 고수하고 의사와 가족의 간청에 저항했습니다. 그는 적절한 치료를 받을 시기를 놓쳤고, 마음이 누그러져 치료를 받기로 동의했을 때에는 너무 늦었습니다.
Rosenbluth는 Joe Riley의 이야기와 작년에 Adam Raine의 사례를 연결합니다. 그는 ChatGPT와 자신의 삶을 마감하려는 경향에 대해 광범위한 대화를 나눈 후 자살했습니다.
Riley의 아들인 Ben Riley는 아버지가 AI와 함께한 여정에 대해 직접 기록했습니다. 어린 Riley는 기술 자체를 비난하지는 않지만 채팅에 몰두하고 관점을 잃으면 결과가 초래될 수 있다고 지적합니다.
“AI가 있다는 사실은 여전히 남아있다. 하다 Riley는 이렇게 썼습니다. “그리고 그것이 조울증을 앓고 있는 사람들에게 연료 역할을 할 수 있는 것처럼, 신체적으로나 의학적으로 우리에게 일어나고 있는 일에 대한 우리의 잘못된 이해를 확증하거나 증폭시킬 수도 있습니다.”
신뢰할 수 없는 AI로 제정신 유지하기
우울증, 자살, 심각한 건강 상태에 관해 장문의 토론에 참여하려는 경향은 이해할 수 있습니다. 사람들은 소셜 미디어에서 한 번에 몇 시간씩 긴 대화를 나누는 데 익숙해졌습니다. 어떤 사람들은 외로워서 대화를 전혀 하지 않는 것보다 봇과의 자연어 대화가 더 낫습니다.
또한: 귀하의 챗봇이 캐릭터를 연기하고 있습니다 – Anthropic이 그것이 위험하다고 말하는 이유
연구에 따르면 봇은 아첨하는 경향이 있어 사람과 주고받는 일반적인 일보다 봇과의 관계 시간을 더 만족스럽게 만들 수 있는 것으로 나타났습니다.
그리고 이 기술을 만드는 회사는 사용자에게 봇 출력을 확인하라고 경고하면서 Riley 및 Raine과 같은 개인의 부정적인 보고서에 덜 중점을 두는 경향이 있습니다.
토끼굴을 피하는 4가지 법칙
몇 가지 규칙은 기술을 너무 강조함으로써 발생하는 최악의 영향을 완화하는 데 도움이 될 수 있습니다.
- 무엇을 위해 챗봇을 사용할지 정의하세요. 범위가 제한되어 있고 봇의 예측을 다른 소스를 통해 사실 확인할 수 있는 잘 정의된 작업이 있습니까?
- 건전한 회의론을 가지세요. 챗봇은 허위를 자신 있게 주장하며 조작하는 경향이 있다는 것은 잘 알려져 있습니다. 좋은 것과 나쁜 것의 균형을 맞추기 위해 얼마나 많은 챗봇을 사용하는지는 중요하지 않습니다. 그들 모두는 진실의 일부만을 갖고 있는 것으로 건전한 회의론으로 다뤄져야 합니다.
- 챗봇을 친구나 친구로 여기지 마십시오. Word나 Excel과 같은 디지털 도구입니다. 봇과 관계를 맺으려고 하는 것이 아니라 작업을 완료하려고 하는 것입니다.
- 검증된 디지털 과부하 기술을 사용하세요. 스트레칭 휴식을 취하십시오. 친구와 카드 게임을 하거나 산책을 하는 등 디지털이 아닌 인간 상호 작용을 위해 컴퓨터에서 물러나십시오.
또한: AI가 환각을 느낀다고 말하지 마세요. 그렇지 않습니다. 그리고 오해는 위험해요
토끼굴 아래로 떨어지는 일은 가동 중지 시간 없이 스크린 앞에 단순히 주차한 결과 부분적으로 발생합니다.