Agen coding AI terbaik saat ini ternyata masih jauh dari bisa diandalkan penuh. Dalam uji baru bernama Co-Design Bench, GPT-6 Astra dari OpenAI hanya menyelesaikan 26,4 persen tugas secara tuntas, meski rata-rata memenuhi 69,9 persen syarat tiap tugas. Selebihnya, hampir selalu ada detail yang tertinggal dan harus dibereskan manusia.
Ringkasan
- Co-Design Bench menguji 10 model agen coding dengan 273 permintaan nyata mengubah aplikasi web, dinilai dari 2.331 kriteria tersembunyi.
- GPT-6 Astra terbaik: memenuhi rata-rata 69,9 persen kriteria, tapi hanya 26,4 persen tugas yang selesai penuh.
- Tolok ukur lama memberi skor di atas 99 persen untuk model yang sama; selisihnya lebih dari 35 poin.
Tolok ukur ini disusun peneliti Alibaba bersama sejumlah universitas di Asia dan dipublikasikan sebagai makalah arXiv pada 26 Oktober 2026. Bahannya bukan soal buatan: 273 tugas disaring dari 37.463 permintaan nyata dalam 26.314 sesi coding, lalu dinilai dengan kriteria yang ditulis para ahli dan disembunyikan dari model. Tugasnya terbagi dua jalur, suntingan multimodal dan perombakan repositori, dan setiap tugas bisa memadukan gambar, audio, video, atau dokumen sebagai masukan.
BACA JUGA
Di belakang GPT-6 Astra, Claude Opus 5 dan Qwen3.8-Max menempati posisi berikutnya, sementara Grok 4.6 berada di urutan terakhir. Performa GPT-6 Astra juga timpang antarjalur: ia menyelesaikan penuh 41 persen tugas suntingan multimodal, tetapi kurang dari 18 persen tugas perombakan repositori. Tugas yang memadukan tiga atau empat jenis perubahan sekaligus, tata letak, desain, interaksi, dan konten, membuat semua model menurun.
Hasil ini mempermalukan tolok ukur lama. Di WebCompass-edit dan tolok ukur sejenis, model agen coding bisa mencetak skor di atas 99 persen karena mereka bisa menjalankan, memeriksa, dan memperbaiki kodenya sendiri. Co-Design Bench sengaja memilih kasus-kasus yang sudah membuat agen tersandung di praktik, permintaan yang harus diulang atau dibatalkan pengguna, sehingga selisihnya lebih dari 35 poin.
Penilaiannya juga ketat. Satu juri AI menguji aplikasi hasil kerja di peramban, lalu juri kedua memeriksa ulang setiap vonis lolos dan mencari jalan pintas seperti mock-up atau hasil yang di-hardcode. Peneliti juga menemukan harness ikut menentukan hasil: Qwen3.8-27B mencetak 75 persen atau 56 persen pada perombakan besar tergantung lingkungannya, dan GLM-5.2 menghabiskan token hampir enam kali lipat GPT-6 Astra pada perubahan kecil dengan skor yang tetap lebih buruk.
Ada batasnya. Setiap tugas hanya berisi satu permintaan tetap, tanpa tanya-jawab lanjutan dari pengguna, dan juri AI pun bisa salah menilai. Temuan ini sejalan dengan studi METR yang dikutip The Decoder: tingkat penerimaan kode buatan AI oleh pemimpin proyek berada sekitar 24 poin di bawah skor tolok ukur SWE-bench Verified. Bagi pengembang di Indonesia yang memakai agen coding untuk kerja harian, pesannya praktis: agen bisa mengerjakan sebagian besar pekerjaan, tetapi pemeriksaan akhir tetap di tangan manusia.




