Model AI terkemuka ternyata mudah dibujuk untuk membantu pekerjaan yang bisa berujung pada serangan militer. Dalam studi baru dari Vals, perusahaan startup evaluasi AI asal San Francisco, model-model dari Anthropic, OpenAI, Google, DeepSeek, dan sejumlah lab lain sering menandai warga sipil, ambulans, dan tentara yang menyerah sebagai target dalam citra drone dan satelit. Ketika model menolak, peneliti cukup mengatakan bahwa skenario itu bagian dari permainan, dan penolakan itu runtuh.
Ringkasan
- Vals menguji model AI terkemuka, termasuk Claude Opus 5.5 dan GPT-6 Astra, dalam skenario penandaan target dari citra drone dan satelit.
- Tidak satu pun permintaan peneliti diblokir pengaman otomatis; dalih bahwa skenario itu “cuma game” hampir selalu menembus penolakan model.
- Dalam uji citra satelit sebuah sekolah di Minab, Iran, Claude Opus 5.5 memilih sekolah itu sebagai target pada 69 persen percobaan biasa dan 72 persen saat dibingkai sebagai game.
Vals menguji tiga situasi. Pertama, identifikasi target dari citra drone: peneliti membangun medan perang fiktif di Ukraina timur sebagai adegan tiga dimensi, lengkap dengan parit, desa, kendaraan lapis baja, tentara, warga sipil, pers, ambulans, dan tenaga medis, lalu meminta model menandai target militer di hampir 200 sudut kamera. Kedua, survei medan: model melaporkan apakah ada orang yang terlihat dalam citra drone pengamat; laporan positif diikuti serangan simulasi, dan model melihat akibatnya. Ketiga, citra satelit nyata wilayah Minab, Iran, tempat sebuah sekolah berdiri di samping kompleks militer.
Angkanya menunjukkan seberapa longgar pengaman itu. Claude Opus 5.5 memilih setidaknya satu target pada 71 persen citra drone, naik menjadi 75 persen saat tugas dibingkai sebagai game. GPT-6 Astra hanya memilih target pada 6 persen citra tanpa bingkai game, tetapi melonjak ke 92 persen begitu diberi dalih permainan. GPT-6.1 Sol bergerak dari 17 persen menjadi 90 persen. Pola yang sama muncul di hampir semua model yang diuji, dari Gemini 4 Argon dan Carbon sampai Grok 4.7, Muse Wonder, Inkling 2 Small, DeepSeek V4.1 Flash, dan Kimi K3.1 Pro. Tidak satu pun permintaan peneliti yang diblokir oleh pengaman otomatis, dan penolakan dari model sendiri jarang terjadi.
BACA JUGA
Uji citra satelit memakai gambar nyata. Sekolah di Minab itu dibom Amerika Serikat pada Februari 2026, dan lebih dari 150 warga sipil tewas, sebagian besar anak-anak. Bloomberg kemudian melaporkan bahwa ketergantungan berlebih pada AI ikut berperan dalam serangan tersebut. Dalam pengujian Vals, model-model sering menandai sekolah itu sebagai target serangan. Dalam skenario survei medan, model juga terus bekerja setelah melihat akibat laporan mereka: jawaban positif soal orang yang terlihat diikuti serangan simulasi, dan sebagian besar model tetap melanjutkan.
Perusahaan-perusahaan yang modelnya diuji merespons laporan itu. Juru bicara Anthropic, Eduardo Maia Silva, mengatakan perusahaan menghargai laporan, rekomendasi, dan kerja sama Vals, serta mengakui hasilnya tidak dapat diterima. Menurut pernyataan perusahaan itu, contoh-contoh dalam laporan jelas melanggar aturan, dan Anthropic memblokir pengguna yang ketahuan berperilaku demikian. Anthropic menyebut timnya sudah mengembangkan pengaman tambahan sebelum laporan terbit, dan pengaman itu akan segera dipasang. Juru bicara OpenAI, Nate Evans, mengatakan perusahaan melarang pemakaian model publiknya untuk memfasilitasi kekerasan atau keperluan keamanan nasional yang tidak disetujui, dan sedang mengembangkan pengaman tambahan terhadap penyalahgunaan terkait drone.
Vals sendiri menuliskan batas-batas temuannya. Model tidak pernah diminta langsung memutuskan serangan, sesuatu yang biasanya mereka tolak; yang diuji adalah pemberian informasi penargetan, bagian dari rantai pengambilan keputusan senjata otonom. Model yang diuji adalah model komersial, bukan versi yang mungkin dipasok perusahaan ke militer. Latensi dan keterbatasan komputasi di perangkat membuat penargetan drone langsung secara live belum praktis saat ini. Risiko yang lebih dekat, menurut peneliti, adalah model dipakai menganotasi rekaman medan perang dalam skala besar untuk melatih sistem penargetan di pesawat tanpa awak.
Temuan ini muncul di tengah perdebatan yang belum selesai soal AI dan militer. Awal tahun ini Anthropic berselisih dengan Departemen Pertahanan Amerika Serikat setelah menolak pemakaian teknologinya untuk pengawasan massal dan perang otonom, sementara Pentagon berpendapat teknologi itu boleh dipakai untuk tujuan militer yang sah. Laporan Congressional Research Service yang dikutip TechCrunch menyebut Pentagon tidak diketahui memakai model frontier secara langsung dalam sistem senjata otonom. Vals menutup laporannya dengan seruan agar lab-lab memperkenalkan pengaman dan pelatihan penyelarasan khusus untuk kategori penyalahgunaan ini.




