이메일 초안을 작성하는 AI 비서는 사용자에게 검토할 텍스트를 남깁니다. 메시지 전송, 기록 업데이트, 파일 변경 권한을 부여하면 작업이 더 복잡해집니다. 요청을 이해하고, 올바른 조치를 선택하고, 실제로 발생한 일을 확인해야 합니다.
항소는 사용자의 작업이 적습니다. 그러나 완료된 모든 작업을 처음부터 재구성하고 확인해야 하는 경우 해당 작업 중 일부는 단순히 이동되었습니다. AI 에이전트를 고려하는 사람이라면 스스로 다시 수행하지 않고도 얼마나 많은 작업을 넘겨줄 수 있는지에 대한 실질적인 질문이 있을 수 있습니다.
한 AI 회사의 엔지니어들은 폴더 간 이동 후 파일 위치를 혼동하는 코딩 에이전트에 대해 설명했습니다. 각 파일의 전체 경로를 사용하는 도구가 필요하여 테스트에서 문제가 해결되었습니다.
에이전트에게 메소드 제공
갑자기 느리게 실행되기 시작하는 소프트웨어를 생각해 보세요. 에이전트는 코드를 읽고 성능 측정값을 검색할 수 있습니다. 검사할 변경 사항, 중요한 단서, 유용한 수정 사항으로 간주할 사항을 결정하는 방법은 여전히 필요합니다.
Meta의 소프트웨어 엔지니어인 Tommy Tran은 인프라 효율성을 위해 에이전트 플랫폼에서 이 문제를 해결했습니다. 그는 LeadDev에게 동일한 아키텍처 내에서 소프트웨어 개선 사항 찾기와 성능 문제 조사를 결합했다고 말했습니다.
Tran은 수석 효율성 엔지니어와 협력하여 조사 방법을 포착했습니다. 그는 “그들이 실행하는 점검, 신뢰하는 신호, 조사 순서”를 기록했다고 LeadDev에 말했습니다. 이는 특정 종류의 문제를 통해 상담원을 안내하는 재사용 가능한 지침, 즉 기술이 되었습니다.
그는 시스템을 검사하고 조치를 취하는 데 사용되는 도구와 이러한 지침을 분리했습니다. 그러면 전문가들은 도구를 안정적으로 유지하면서 조사 방법을 개선할 수 있습니다. 따라서 상담원이 작업 중에 상담할 수 있는 전문 지식이 됩니다.
Tran이 공동 집필한 Engineering at Meta 기사 구분을 설명합니다. 도구는 코드, 성능 데이터 및 구성 기록을 검색합니다. 기술은 상담원이 조사 방법을 결정하는 데 도움이 됩니다. 예를 들어 느린 함수가 형식 간의 데이터 변환을 처리하는 경우 기술은 데이터 구조의 최근 변경 사항을 확인하도록 지시할 수 있습니다.
이는 이 특정 설정 이상으로 유용할 수 있습니다. 스프레드시트에 액세스한다고 해서 조수에게 비즈니스가 수익을 정의하는 방법을 알려주는 것은 아닙니다. 고객 기록에 액세스해도 환불이 정당화되는 상황은 설명되지 않습니다. 이러한 결정에는 대리인이 사용할 수 있는 지침과 증거가 필요합니다.
제안된 수정 사항에는 여전히 결정이 필요합니다.
Tran은 또한 플랫폼의 자율성 주위에 경계를 설정했습니다. LeadDev 인터뷰에 따르면 인간 엔지니어는 실제 시스템 변경에 대한 승인을 유지하는 동안 제안된 수정 사항을 조사하고 준비합니다.
Meta의 계정은 핸드오프의 준비 과정을 설명합니다. 에이전트는 관련 문서, 이전 수정 사항의 예 및 최적화 확인 기준을 수집합니다. 소프트웨어 변경으로 인해 속도가 느려지는 경우 제안된 수정 사항은 검토를 위해 해당 변경 사항을 작성한 엔지니어에게 전달됩니다.
회사는 자동 진단을 통해 약 10시간의 수동 조사를 약 30분으로 줄일 수 있다고 보고합니다. 그것은 진단 수치입니다. 제안된 변경 사항을 검토하고 이를 사용하는 것은 추가 단계입니다.
Meta가 보고한 진단 시간은 이 워크플로의 의도된 이점을 보여줍니다. 엔지니어는 상담원이 조사를 완료한 후 제안된 수정 사항을 받습니다. 전체 작업에서 얼마나 많은 시간이 절약되는지는 제안서가 검토 중에 있는지 여부에 따라 달라집니다.
인간의 승인에도 시간과 주의가 필요합니다. 검토자는 변경된 사항과 그것이 어떻게 도움이 될 수 있는지를 포함하여 제안서를 평가하기 위한 충분한 맥락이 필요합니다. 사람들이 평가할 수 있는 것보다 더 빠르게 제안을 생성하는 시스템은 새로운 백로그를 생성할 수 있습니다. 조사 속도와 함께 인계의 질도 고려해 볼 가치가 있습니다.
AI 엔지니어는 코딩 에이전트와 관련하여 구별합니다. 자동화된 테스트는 코드가 작동하는지 확인하는 데 도움이 되는 반면, 사람의 검토는 더 광범위한 시스템 요구 사항에 중요합니다. 통과된 테스트와 승인은 서로 다른 질문에 답합니다.
남은 작업 측정
일반 사용자의 경우 덜 기술적인 형태에서도 동일한 문제가 나타납니다. 이메일 도우미는 누구에게 연락할지, 무엇을 보낼지 표시해야 합니다. 파일 편집 보조자는 변경 사항을 쉽게 검사할 수 있도록 해야 합니다. 유용한 질문 중 하나는 전체 작업을 반복하지 않고도 결과를 확인할 수 있는지 여부입니다.
비용에도 동일한 조사가 필요합니다. 일부 AI 회사의 개발자는 에이전트가 더 나은 작업 성능을 위해 추가 대기 시간과 비용을 교환할 수 있다는 점을 언급하면서 요구 사항을 충족하는 가장 간단한 접근 방식부터 시작하는 것이 좋습니다. 더 많은 자율성은 특정 직업을 평가하기 위한 선택입니다.
보다 완전한 비교를 통해 에이전트의 시도, 작업 확인에 소요된 시간, 수정 사항 및 여전히 필요한 수동 단계를 설명할 수 있습니다. 빠른 첫 번째 시도로 인해 수리 작업이 길어지면 거의 이점을 얻을 수 없습니다. 범위가 더 좁은 시스템이라도 맡은 부분을 안정적으로 완료한다면 여전히 가치가 있을 수 있습니다.
이는 사용자가 시도하는 다음 에이전트를 판단하기 위한 실질적인 표준을 제공할 수 있습니다. 명확한 권한, 눈에 보이는 결과, 시스템이 도움을 요청하는 이해 가능한 지점을 찾으세요. 확인 후 시간과 노력이 절약되고 수정 사항이 계산된다는 이점이 있습니다.
디지털 트렌드는 외부 기여자와 협력합니다. 모든 기고자 콘텐츠는 Digital Trends 편집진이 검토합니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요