AI를 사용하여 코딩하는 Android 앱 개발자의 경우 올바른 모델을 선택하는 것이 까다로울 수 있습니다. 모든 모델이 동일하게 구축되는 것은 아니며, 많은 모델이 Android 개발 워크플로에 맞게 특별히 교육되지 않았습니다. 이 문제를 해결하기 위해 Google은 개발자가 실제 Android 코딩 작업에서 다양한 AI 모델이 얼마나 잘 수행되는지 이해하는 데 도움이 되는 새로운 벤치마크를 도입했습니다.
Android Bench라고 불리는 새로운 벤치마크는 LLM(대형 언어 모델)이 일반적인 Android 개발 작업을 얼마나 잘 처리하는지 평가하기 위해 설계되었습니다. Google은 벤치마크가 GitHub 공개 프로젝트의 실제 작업을 사용하여 모델을 평가하고 모델에게 실제 풀 요청을 재현하고 개발자가 Android 앱을 구축하는 동안 직면하는 것과 유사한 문제를 해결하도록 요청한다고 설명합니다. 그런 다음 결과를 확인하여 실제로 문제가 해결되었는지 확인합니다.
간단히 말해서, 벤치마크는 AI 모델에서 생성된 코드가 표면적으로만 올바르게 보이는 것이 아니라 실제로 문제를 해결하는지 확인합니다. 이는 Google이 실제 Android 개발 문제를 해결하는 데 있어 다양한 모델이 실제로 얼마나 유용한지 측정하는 데 도움이 됩니다.
Android Bench의 첫 번째 버전에서 Google은 “에이전트나 도구 사용에 초점을 맞추지 않고 순수하게 모델 성능을 측정”할 계획이었습니다. 결과는 모델이 벤치마크 작업의 16%~72%를 성공적으로 완료하는 등 큰 격차를 강조합니다. 회사는 이러한 결과를 게시하면 개발자가 모델을 비교하고 실제로 실제 Android 코딩 문제를 처리할 수 있는 모델을 선택하기가 더 쉬워질 것이라고 말했습니다.
벤치마크는 개발자를 안내하는 것 외에도 AI 회사가 Android 개발에 대한 모델의 이해를 향상하도록 유도할 수도 있습니다. 이러한 노력을 지원하기 위해 Google은 GitHub에 Android Bench의 방법론, 데이터 세트 및 테스트 프레임워크를 게시했습니다. 시간이 지남에 따라 복잡한 Android 코드베이스를 탐색하고 개발자가 앱을 보다 효과적으로 구축하고 수정하는 데 더 나은 기능을 갖춘 AI 도구가 탄생할 수 있습니다.