Google은 Android 앱 코드 작성에 가장 적합한 AI 모델을 측정하는 방법을 변경했으며, 업데이트로 인해 개발자가 도구를 선택하는 데 사용하는 순위가 뒤섞였습니다. 3월에 출시된 회사의 Android Bench 리더보드는 이제 Harbor라는 새로운 테스트 시스템에서 실행됩니다. Google은 이 도구가 이전에 사용했던 더 오래되고 일반적인 테스트 도구를 대체하며 이전 코드를 Jetpack Compose로 업데이트하거나 웨어러블 기기 네트워킹을 처리하는 등 실제 Android 작업에서 모델이 어떻게 작동하는지 더 잘 읽을 수 있다고 말합니다.
새로운 모델이 목록의 상위권을 뒤흔들었습니다.
테스트 도구가 변경되었으므로 Google은 이를 통해 모든 모델을 다시 실행했습니다. Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus 및 Qwen 3.7 Max를 포함한 8개의 새로운 모델이 리더보드에 추가되었습니다.
이제 Claude Fable 5가 84.5%의 점수로 1위에 올랐고, GPT 5.5가 80.2점, Claude Sonnet 5가 76.2점으로 그 뒤를 이었습니다. 무료 개방형 모델 중에서 GLM 5.2는 72.2%로 선두를 달리고 있으며 Kimi K2.7 Code는 70.4%로 앞섰습니다. Google의 Gemini 3.1 Pro는 73.7%의 점수로 5위를 차지했습니다. 코딩 작업에 적합한 모델을 선택하기 위해 Android Bench를 참고했다면 Android Bench 웹사이트로 가서 새로워진 리더보드를 확인하세요.
이제 개발자는 자체 테스트 작업을 제출할 수 있습니다.
Google은 지난 3월 Android Bench를 출시했을 때 투명성을 위해 테스트 방법론과 테스트 하네스를 GitHub에 게시했습니다. 이제 개발자가 자신의 Android 개발 작업을 벤치마크에 기여할 수 있도록 함으로써 이러한 개방형 접근 방식을 더욱 발전시키고 있습니다. 개발자는 선호하는 모델을 사용하여 직접 테스트를 실행하고 결과를 커뮤니티와 공유할 수도 있습니다.
OpenAI가 최근 출시한 GPT-5.6 Sol, Terra 및 Luna와 같은 더 많은 새로운 모델이 등장함에 따라 순위가 변경될 가능성이 가장 높습니다. Android 코딩을 위한 AI 도구를 선택하는 경우 현재 리더보드를 영구 순위가 아닌 스냅샷으로 취급하고 다음 프로젝트에 커밋하기 전에 다시 확인하세요.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요