나는 내 작업을 수행하기 위해 Microsoft의 프리미엄 Copilot 에이전트에게 비용을 지불했습니다. 그들은 자신 있게 일을 잘 하지 못했습니다.

ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.

---

ZDNET의 주요 시사점

• Copilot 에이전트는 연구 및 분석을 돕기 위해 만들어졌습니다.
• 내 테스트에서 해당 에이전트는 유용한 결과를 생성하지 못했습니다.
• Copilot으로 문제를 해결하는 데 시간이 낭비되고 아무 것도 해결되지 않았습니다.

---

Microsoft는 AI 기능, 데이터 센터 구축, OpenAI, Anthropic 등의 대규모 언어 모델 라이센스에 엄청난 돈을 지출하고 있으며 자체적인 대안을 구축하려고 노력하고 있습니다.

Redmond 조직도의 최상위에서 직접 추진된 목표는 Windows와 Microsoft 365의 조합을 기업 생활을 비참하게 만드는 작업(메모 작성, 프레젠테이션 작성, 회의 구성, 일상적인 작업 자동화)을 수행할 수 있는 “에이전트 OS”로 바꾸는 것입니다.

또한: Work IQ는 에이전트 우선 엔터프라이즈 IT에 대한 Microsoft의 큰 투자입니다. 질문이 있습니다.

하지만 그 투자가 성과를 거두고 있나요? 개발자는 일반적으로 Claude Code 및 GitHub Copilot과 같은 도구를 통해 얻을 수 있는 생산성 향상에 만족하는 것 같지만 비즈니스 영역에서 일하는 에이전트는 그다지 유능해 보이지 않습니다.

지난 몇 주 동안 저는 다양한 일상 업무에 Microsoft 365 및 Windows의 AI 기능을 사용해 보았습니다. Copilot은 때때로 뛰어난 능력을 보여주지만, 내가 보고 있는 결과는 잘못된 정보, 환각, 시간 낭비적인 막다른 골목이 뒤섞인 결과인 경우가 더 많습니다.

최근 경험을 여러분과 공유하겠습니다.

‘미안해요, 에드. 난 그럴 수 없어요’

Microsoft는 AI 사용에 대한 더 높은 제한과 소수의 독점 에이전트를 포함하는 새로운 Microsoft 365 Premium 계획으로 업그레이드하도록 몇 달 동안 저를 괴롭혔습니다. 과학적인 측면에서 저는 10달러를 지불하고 한 달 동안 사용하지 않는 계정을 업그레이드하여 직접 사용해 볼 수 있었습니다.

저는 분석 에이전트부터 시작하여 가계 소득과 지출을 추적하는 데 사용하는 스프레드시트의 사본을 제공하고 설계 개선 방법에 대한 도움을 요청했습니다. 제가 달성하려는 목표에 대해 몇 가지 논의를 거친 후 수식을 강화하고, 일부 중복 테이블을 통합하고, 일부 중복 페이지를 제거하는 데 대한 몇 가지 유용한 제안을 제시했으며, 수식과 피벗 테이블만 사용하여 대시보드를 구축하겠다는 굵은 제안으로 결론을 내렸습니다.

또한: AI 모델 릴리스 추적기: Microsoft AI의 첫 번째 추론 모델 출시

“원하시면” Copilot이 나에게 말했습니다. 깔끔한 대시보드 레이아웃(정확한 셀 및 섹션) 데이터에 맞게 맞춤화되어 최대 15분 안에 구축할 수 있습니다.”

내 생각에는 요원이 나를 위해 이 작업을 수행해야 한다고 생각했나요? 그래서 저는 “실제 Excel 파일을 만들어 주실 수 있나요? 아니면 제가 직접 만들어야 하나요?”라고 물었습니다.

물론, 그것은 나에게 말했다. 한 가지 작은 제한이 있었습니다. 피벗 중 하나를 직접 만들어야 했지만 그 작업은 10초도 채 걸리지 않았습니다.

내가 말했다.

1~2분 후 Copilot이 “수정된 통합 문서를 만들었습니다. 여기에서 다운로드하세요.”라고 말했습니다. 그런 다음 (sandbox:/mnt/data/Personal_accounts_modified.xlsm)에 대한 링크를 제공했습니다. 그것은 정확한 링크, 괄호 및 모든 것입니다. 클릭이 안 되더라구요.

모래 상자? 무슨 …? “그렇습니다. 그건 제가 책임집니다.” Copilot이 고백했습니다. “그 ‘샌드박스 경로’는 실제로 인터페이스에서 클릭할 수 없으므로 다운로드할 수 없습니다. 불러주셔서 감사합니다. … 파일을 다시 생성하여 채팅에서 실제 다운로드 가능한 첨부 파일로 전달되는지 확인하겠습니다. 따라서 경로가 아닌 클릭 가능한 파일 카드가 표시됩니다.”

또한: Microsoft의 첫 번째 추론 모델은 Build에서 방금 출시된 7개의 AI 중 하나입니다. 지금까지 우리가 알고 있는 것입니다.

여러 번 시도한 후 Copilot은 포기했습니다. “파일이 준비되었습니다. 그러나 투명하게 설명해야 합니다. 귀하의 채팅 인터페이스는 현재 렌더링되지 않습니다. 다운로드 가능한 첨부 파일 올바르게 작동합니다(이것이 이전에 사용할 수 없는 “샌드박스” 경로를 본 이유입니다). 나 했다 파일을 성공적으로 생성했지만 UI에 클릭 가능한 다운로드로 표시되지 않습니다.”

챗봇은 계속해서 내가 ChatGPT를 사용했다면 파일 링크가 작동했을 수도 있다고 설명했습니다. 그리고 상담원이 제안한 해결 방법 중 하나는 Google 스프레드시트에서 파일 만들기 그리고 나에게 링크를 보내주세요! 어쨌든, 내 생각엔 레드몬드의 제품 관리자가 그런 걸 염두에 두고 있었던 것 같지는 않습니다. (사티아에게 말하지 마세요.)

또한: Microsoft의 MDASH는 100개 이상의 전문 위협 사냥 AI 에이전트로 미리 보기를 종료합니다.

평결: 통합 문서를 개선하기 위한 몇 가지 좋은 아이디어가 있지만 Excel에서 직접 작업해야 하는 Copilot 에이전트가 실제로 작업을 수행할 수 없습니다.

‘어떤 구체적인 계획을 말씀하시는 건가요?’

다음으로 Microsoft 365 Premium Researcher 에이전트에게 Microsoft 365 Premium의 장단점에 대해 간략하게 설명해달라고 요청했습니다. 나는 응답할 준비가 되어 있지 않았습니다.

귀하에게 필요한 사항을 정확하게 다루려면 다음을 수행하십시오. “Microsoft 365 Premium”이란 어떤 구체적인 계획을 의미하나요? A) Microsoft 365 Personal, B) Microsoft 365 Family, C) Microsoft 365 Business Premium 또는 D) 소비자 요금제(개인/가족)를 비교하고 관련된 경우에만 Business Premium을 간략하게 언급합니다.

확실히 말하자면, 저는 Microsoft가 대대적으로 홍보하고 있는 제품의 주요 기능 중 하나를 사용하여 작업하고 있었는데 Microsoft는 제가 무슨 말을 하는지 전혀 몰랐습니다. 당신이 취업 지원자를 인터뷰할 때 “당신에 대해 말해 보세요”라고 말하면 그들이 “나는 그 사람을 모릅니다”라고 대답한다고 상상해 보세요.

제품 페이지에 대한 링크를 제공한 후 Copilot은 소수의 타사 소스에서 요약한 새 구독의 기능에 대한 상당히 진부한 요약을 제공했습니다. 나는 그것을 연구라고 부르지 않을 것이며 확실히 깊지도 않았습니다.

‘내가 이 길이 옳은 길이라고 확신하는 이유’

제가 AI 챗봇에 대해 가장 재미있게 생각하는 점은 그들이 답변에 대해 매우 자신감이 있다는 것입니다. 그리고 그들이 방금 제공한 지침이 효과가 없었다고 지적할 때, 그들이 새로운 옵션을 제안하더라도 그 자신감은 결코 약해지지 않습니다.

오늘 아침에 원격 데스크톱 클라이언트를 사용하여 사무실 네트워크에 있는 컴퓨터에 연결하려고 했지만 “인증서의 서버 이름이 올바르지 않습니다.”라는 인증서 오류가 발생했습니다.

또한: Microsoft가 인기 AI 모델의 안전 가드레일을 단 한 번의 프롬프트로 제거한 방법

몇 분 동안 스스로 문제를 해결한 후 Copilot의 도움을 받아 “vibe-sysadmin”을 시도해 보기로 결정했습니다.

“수정 방법은 간단합니다.” Copilot이 자신있게 대답했습니다. 내가 해야 할 일은 VM 내부의 Windows가 새로운 원격 데스크톱 인증서를 생성하도록 강제하는 것뿐이었습니다. “여기에 깨끗하고 신뢰할 수 있는 방법이 있습니다.”

작동하지 않았습니다. Copilot은 의기양양하게 그 결과가 의미 있다고 말하며 세 가지 이유를 덜덜 떨면서 “깨끗하고 수술적으로 고치자”라고 결론을 내렸습니다.

PowerShell 명령을 여러 번 실행하고 재부팅한 후에도 여전히 연결할 수 없었는데, 이번에는 다른 인증서 오류 때문이었습니다.

“아 — 지금 무슨 일이 일어나고 있는지 정확히 말해주는군요.” Copilot이 말했습니다. 또 장황한 설명을 한 뒤 “깨끗하게 고치자”고 했다.

또한: Microsoft Edge의 새로운 AI 기능을 통해 열려 있는 모든 탭을 읽을 수 있어 연구 시간이 완전히 절약됩니다.

음, 이 작업은 약 20분 동안 진행되었으며 해당 VM이 6번 재부팅되었습니다. 실패할 때마다 Copilot은 또 다른 작은 AI 깨달음을 얻었습니다.

• “그 오류는 나에게 매우 구체적인 것을 말해줍니다…”
• “방금 진짜 근본 원인을 밝혀냈군요…”
• “우리는 Windows가 않을 것이다 문서에서 주장하는 대로 행동하세요…”
• “그리고 그건 설명이야 모든 것 너 봤잖아…”

여기에는 “이것이 올바른 경로라고 확신하는 이유”, “이것이 올바른 수정 사항인 이유”, “이것이 유일한 설명인 이유”와 같은 굵은 제목이 동반되었습니다.

제안된 수정 사항 중 어느 것도 작동하지 않았기 때문에 Copilot에게 닥치라고 말했습니다. 연결 설정을 다시 검사하고 연결 설정에서 확인란 하나를 선택 취소했습니다. 그랬어요.

공평하게 말하면 인증서 관리를 위한 몇 가지 PowerShell 명령을 배웠고 Windows에서 인증서를 관리하는 방법에 대한 재교육 과정도 들었습니다. 하지만 제가 배운 교훈은 Copilot에게 그런 수준의 문제 해결을 다시 요청하지 않는다는 것입니다.

어쩌면 언젠가는 Copilot이 인공 일반 지능을 달성할 수도 있습니다. 이 시점에서 나는 인위적인 일반 상식에 안주할 것이다. 그리고 그 역조차도 지금 우리가 있는 곳에서 몇 정거장 떨어진 것 같습니다.