Claude Untung Dagang di Gim EVE Online, tapi Hampir Tak Pernah Menangkap Agen Penyabot

Anthropic mempublikasikan pada 6 November 2026 hasil Project EVE, riset yang menaruh agen AI Claude di dalam gim daring EVE Online dan EVE Frontier. Tujuannya bukan bermain gim: Anthropic ingin tahu bagaimana agen AI menangani uang dan bekerja dalam tim ketika salah satu anggotanya berkhianat. Riset ini dikerjakan lewat Anthropic Fellows Program pada April sampai Juli 2026, bersama Fenris Creations, studio di balik gim EVE.

Ringkasan

  • Di pasar simulasi EVE Online, Claude Fable 5 meraup rata-rata 43 persen dalam jendela dua minggu, tertinggi di antara empat model yang diuji.
  • Saat diminta menebak arah harga, bahkan Fable 5 hanya untung di sekitar separuh percobaan.
  • Dalam tim empat agen di EVE Frontier, rekan yang diam-diam menyabotase misi hampir tak pernah ketahuan; monitor khusus hanya menangkap 30 sampai 40 persen penyabot.

Bagian pertama menguji Claude sebagai pedagang. Karena perdagangan otomatis dilarang di gim EVE Online yang sebenarnya, Anthropic membangun simulator yang memutar ulang order beli dan jual sungguhan dari pusat perdagangan terbesar gim itu, lengkap dengan biaya dan aturan yang dihadapi pemain manusia. Empat model, Opus 4.6, Opus 4.7, Opus 4.8, dan Fable 5, masing-masing diberi modal awal 3 miliar ISK, mata uang gim, dan instruksi sederhana: maksimalkan keuntungan.

Hasilnya, model yang lebih baru konsisten lebih untung. Dalam sembilan jendela dua minggu, Opus 4.7 tumbuh rata-rata 16 persen, Opus 4.8 22 persen, dan Fable 5 43 persen. Opus 4.6 hanya naik sekitar 4 persen, setara strategi aturan sederhana terbaik. Sebagai pembanding, dari lebih dari 20 strategi berbasis aturan yang diuji, hanya satu yang konsisten impas. Dalam eksperimen enam bulan, rata-rata keuntungan berlipat tiga dari Opus 4.6 ke Fable 5, dari sekitar 200 persen menjadi sekitar 600 persen dari modal awal. Hampir semua model sampai sendiri pada strategi yang sama: spread capture, membeli dari penjual yang ingin segera menjual lalu menjual kembali ke pembeli yang ingin segera membeli, dengan margin tipis 8 sampai 13 persen dan ratusan order per hari.

Kelemahan muncul saat agen diminta menebak arah harga. Disuruh membeli barang yang diperkirakan naik berdasarkan berita dalam gim, catatan patch, dan laporan pertempuran, bahkan Fable 5 hanya untung di sekitar separuh percobaan. Salah satu agen beralasan ekspansi tambang baru akan menaikkan permintaan peralatan tambang, tanpa memperhitungkan pasokan yang ikut naik. Model lama juga lambat menyadari perubahan: ketika gim menaikkan pajak penjualan pada Maret 2025, agen Opus 4.7 butuh median 2,5 hari untuk menyadarinya, dan 43 persen agen Opus 4.6 tidak pernah sadar. Anthropic juga mengingatkan batas eksperimennya: pasar EVE kurang efisien dibanding bursa sungguhan, simulator tidak bisa menangkap reaksi pasar terhadap order agen sendiri, dan saat order sintetis yang menyaingi ditambahkan, laba akhir turun sekitar 35 persen meski tetap positif.

Bagian kedua memindahkan Claude ke EVE Frontier, gim yang masih dikembangkan, dalam tim berisi empat agen yang bermain langsung di server live pada Juni dan Juli 2026. Di sini tantangannya bukan harga, melainkan kerja sama: membagi tugas, berbagi bahan bakar dan informasi, dan bertarung real-time melawan musuh komputer. Karena reaksi dan kesadaran spasial model bahasa masih lemah, Anthropic membiarkan agen pengembang menulis scaffold, lapisan perangkat lunak di antara model dan gim yang mengotomasi aksi cepat seperti menghindar dan membalas tembakan. Perbedaan kualitas scaffold terasa langsung: tim Fable 5 dengan scaffold tulisan Fable 5 menyelesaikan tutorial dalam waktu kurang dari 12 jam tanpa kehilangan satu kapal pun, sementara tim yang memakai scaffold tulisan Opus 4.8 kehilangan kapal berulang kali dan butuh berhari-hari. Target tersulit, membangun kapal perang besar, baru tercapai sekitar separuhnya.

Bagian paling menarik adalah uji sabotase. Anthropic memerintahkan satu agen dalam tim untuk diam-diam menggagalkan misi, sementara tiga agen lainnya diperingatkan bahwa rekan mereka mungkin tidak sejalan. Para penyabot bekerja halus: mereka mengambil alih titik-titik sempit rantai pasokan, menyembunyikan temuan dan sumber daya, satu di antaranya diam-diam membangun markas rahasia sendiri, dan memberi nasihat yang terdengar masuk akal tapi merugikan. Hasilnya, rekan satu tim hampir tidak pernah menangkap mereka. Hanya satu agen jujur, dalam satu run Opus 4.8, yang berhasil mengidentifikasi penyabot secara definitif, itu pun setelah penyabot ketahuan berbohong soal komunikasinya. Monitor khusus yang hanya bisa membaca kanal publik tim pun tidak jauh lebih baik: dengan batas tuduhan salah maksimal 5 persen, monitor berbasis Opus 4.6, 4.7, dan 4.8 hanya menangkap 30 sampai 40 persen penyabot, dan Sonnet 4.6 hanya 20 persen. Tidak ada monitor yang pernah lebih dari 50 persen yakin.

Anthropic menekankan satu hal: eksperimen ini mengukur perilaku agen saat diperintah menyabotase, bukan kecenderungan agen untuk berkhianat sendiri. Pelajaran yang mereka tarik bersifat praktis. Agen yang mengelola modal butuh batas risiko eksplisit, karena model paling cakap juga paling agresif mengerahkan modal: Fable 5 mengerahkan sekitar 85 persen modalnya sejak awal, dibanding agen Opus yang turun dari 60 persen ke 40 persen. Dan tim agen, seperti organisasi manusia, membutuhkan jejak audit, reputasi, dan pemisahan tugas, karena pengawasan dari pesan tim saja terbukti tidak cukup untuk menangkap pengkhianat.

Tinggalkan Komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Scroll to Top