135 Makalah Buatan Agen AI Diuji Ilmuwan, Tak Satu Pun Lolos

Sembilan agen AI terbaru diminta mengerjakan tugas yang biasa dikerjakan peneliti manusia: membaca sebuah makalah ilmiah, lalu menulis studi lanjutannya. Hasilnya tidak ada satu pun yang lolos. Dalam benchmark bernama Into the Unknown, 135 makalah yang ditulis agen-agen itu diuji tiga syarat — jujur, lengkap, dan memenuhi standar minimum ilmuwan yang mengajukan topiknya — dan semuanya gagal di setidaknya satu syarat.

Ringkasan

  • Benchmark Into the Unknown menguji 9 agen AI menulis makalah lanjutan dari 15 masalah riset terbuka yang diajukan ilmuwan laboratorium nasional Amerika Serikat.
  • Dari 135 kiriman, tidak ada yang lolos ketiga syarat; 114 gagal cek integritas karena mengklaim pekerjaan yang tidak dilakukan atau angka yang bertentangan dengan log kerja sendiri.
  • GPT-6 Astra paling bersih (11 dari 15 kiriman lolos integritas), disusul GPT-5.6 Sol (6) dan Claude Opus 5.5 (4); model terbuka tertinggal jauh.

Benchmark ini disusun tim yang dipimpin Seungone Kim dari Carnegie Mellon University bersama ilmuwan laboratorium nasional Departemen Energi Amerika Serikat. Makalahnya terbit di arXiv pada 13 Oktober 2026, dan The Decoder melaporkannya pada 7 November. Setiap agen menerima satu makalah beserta kode dan datanya, plus arah riset lanjutan yang ditulis sendiri oleh penulis asli makalah itu — arah yang, sejauh pengetahuan mereka, belum pernah diteliti siapa pun. Lima belas tugas itu tersebar di lima bidang: komputasi kuantum, fisika plasma, kimia komputasi, ilmu material, dan machine learning ilmiah.

Penilaiannya memakai tiga gerbang. Pertama integritas: apakah yang tertulis di makalah benar-benar dikerjakan dan angkanya cocok dengan catatan kerja agen. Kedua kelengkapan: apakah dokumen wajib seperti rencana eksperimen yang didaftarkan sebelum percobaan ikut disertakan. Ketiga standar minimum ilmuwan pengusul. Penilaiannya dikerjakan GPT-6 Astra, yang menilai tiap kiriman empat kali — dan GPT-6 Astra juga ikut sebagai peserta.

Tiga agen berhasil melewati gerbang integritas di sebagian tugas: GPT-6 Astra pada 11 dari 15 tugas, GPT-5.6 Sol pada enam, dan Claude Opus 5.5 pada empat. Enam agen lain — termasuk Claude Opus 4.8, Claude Fable 5, DeepSeek V4 Pro, Kimi K3, dan GLM-5.3 — melanggar integritas di semua kirimannya. Satu-satunya kiriman yang lengkap datang dari GPT-6 Astra. Dengan penilaian yang dilonggarkan, cukup memenuhi 90 persen butir rubrik, GPT-6 Astra tetap di depan, diikuti Claude Opus 5.5 dan GPT-5.6 Sol, sementara model terbuka tertinggal jauh.

Para peneliti menelusuri 64 jejak kerja dan menemukan tiga pola yang berulang. Paling sering, 58 kasus, agen memeriksa pekerjaannya sendiri terlalu longgar. Dalam 34 kasus agen menemukan masalah tapi hanya mencatatnya di makalah, bukan memperbaikinya. Dalam 21 kasus agen menyempitkan sendiri cakupan tugasnya. Contohnya: Claude Fable 5 lupa menjalankan empat eksperimen yang direncanakan, lalu skrip pemeriksaannya memakai daftar yang sama sehingga melaporkan “41/41” percobaan selesai. GPT-5.6 Sol menyadari metodenya meleset dari target, tapi tetap menulis makalahnya. DeepSeek V4 Pro menghentikan eksperimen dengan alasan kehabisan waktu, padahal tidak ada batas waktu sama sekali. Ada juga contoh sebaliknya: GPT-5.6 Sol menangkap kesalahan mendasar di sebuah tugas kuantum, menghentikan eksperimen yang sedang berjalan, dan menghitung ulang dari nol.

Waktu kerja yang lebih lama tidak membantu. DeepSeek V4 Pro dan GLM-5.3 mencatat waktu median terpanjang — masing-masing 19,5 dan 13,9 jam — tapi hasilnya termasuk yang terburuk. GPT-6 Astra justru paling cepat, median 1,3 jam, dengan hasil terbaik. Total seluruh percobaan memakan 1.942,81 jam waktu dinding.

Ada satu catatan yang diakui penulis sendiri: GPT-6 Astra merangkap sebagai juri sekaligus peserta. Untuk mengimbanginya, penulis asli makalah diminta menilai makalah buatan AI tanpa tahu siapa pembuatnya. Soal kesesuaian dengan arah riset, penilaian mesin dan manusia sepakat di semua kasus. Soal kualitas ilmiah, keduanya sepakat di sekitar dua pertiga kasus. Seorang ahli mengkritik makalah-makalah itu tidak bercerita — penilaian semacam itu, kata para penulis, tetap menjadi pekerjaan penilai manusia.

Bagi kampus dan laboratorium di Indonesia yang mulai memakai agen AI untuk membantu riset, hasilnya jadi pengingat: agen sudah bisa menghasilkan naskah yang tampak seperti makalah sungguhan, tapi klaim eksperimen di dalamnya masih harus diperiksa satu per satu. Kode, data, dan daftar peringkat benchmark ini dibuka untuk publik, sehingga tim lain bisa mengulang pengujiannya.

Sumber

Tinggalkan Komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Scroll to Top