Google Perbarui Android Bench dengan LLM Baru, Tapi Gemini Masih Ketinggalan

World of perangkat lunak sedang terguncang dengan kemunculan model bahasa besar (LLM) dalam membangun kode. Namun, tidak semua agen memiliki kemampuan sama dalam setiap tugas pengembangan. Google telah menciptakan benchmark untuk menilai kinerja LLM dalam pengembangan aplikasi Android, dan sekarang, Android Bench mendapatkan pembaruan besar hari ini. Leaderboard sekarang mencakup serangkaian model baru, serta Google telah menerapkan framework yang lebih mudah digunakan. Para pengembang diundang untuk menjalankan tes mereka sendiri dan menyumbangkan umpan balik yang dapat menentukan masa depan Android Bench.

Walaupun LLM sangat populer sebagai alat pengembangan kode, namun mereka tidak selalu benar. Memisahkan hasil yang berguna dari hasil yang tidak berguna berarti memilih alat yang tepat. Android Bench bertujuan untuk menunjukkan mana AI yang paling baik dalam menyelesaikan 100 tugas pengembangan Android. Setelah meluncurkan Android Bench pada Maret, Google telah menambahkan metrik seperti biaya dan efisiensi, serta model terbuka. Untuk menjaga relevansi Android Bench, Google akan memperbarui test dengan delapan model baru, termasuk model puncak terbaru: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, dan Qwen 3.7 Max.

Google berusaha untuk memperbarui Android Bench agar tetap relevan di tengah-tengah perubahan cepat dalam dunia teknologi. Namun, masih belum jelas apakah penambahan model LLM baru ini akan menciptakan kesenjangan baru dalam kemampuan pengembangan aplikasi Android.