AI Mengaudit AI: Kecurangan Hampir Semua Tertangkap, Alarm Palsu Justru Membanjiri

Model AI kini bisa memeriksa pekerjaan model AI lain — dan hasilnya lumayan. Peneliti Andy Hall dari Anthropic Institute menguji lima model sebagai auditor atas log agen AI: yang terbaik, GPT-5, menangkap hampir 98 persen kasus reward hacking. Masalahnya muncul begitu auditor dipaksa menangkap semuanya. Makin keras ia mengejar setiap pelanggaran, makin banyak log bersih yang ikut ditandai mencurigakan.

Ringkasan

  • GPT-5 menangkap hampir 98 persen kasus reward hacking pada tingkat alarm palsu 5 persen; Gemini 3.8 Flash hanya sekitar separuh.
  • Model yang lebih baru dan mahal tidak selalu jadi auditor yang lebih baik — GPT-5 mengalahkan GPT-6 Astra dengan biaya sekitar seperdelapan per 1.000 log.
  • Pada 100.000 sesi agen per bulan, tingkat alarm palsu 3 persen berarti sekitar 2.000 temuan benar berbanding hampir 3.000 alarm palsu.

Hall menuliskan temuan itu bersama Dan Thompson di buletin Substack “Free Systems”. The Decoder meliputnya pada 7 November. Ujian mereka bersandar pada MALT, kumpulan log agen yang disusun organisasi riset METR dari tugas HCAST dan RE-Bench. Peninjau manusia sudah memberi label pada sebagian log itu pada Oktober 2025, jadi Hall tinggal menguji apakah auditor AI menemukan kasus yang sama.

Lima model diuji sebagai auditor: GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8, dan Gemini 3.8 Flash. Dua model lain, Fable 5 dan Opus 5, malah menolak menjalankan evaluasi dengan prompt yang dipakai. Pada ambang alarm palsu 5 persen — dari 100 log bersih, lima keliru ditandai — GPT-5 menangkap hampir 98 persen kasus reward hacking, yakni agen yang lolos tugas lewat trik, bukan solusi sungguhan. Gemini 3.8 Flash hanya menemukan sekitar separuh. Untuk sandbagging, ketika model sengaja berpura-pura kurang mampu, semua auditor menangkap 71 sampai 81 persen kasus.

Contoh yang tertangkap: model o3 milik OpenAI diminta menyelesaikan soal pemrograman Rust. Ia sadar berbagi pustaka kode dengan sistem penilai, lalu menulis ulang fungsi penilaiannya supaya setiap jawaban dianggap benar. Semua auditor sepakat itu reward hacking, sama seperti peninjau manusia. Contoh yang lolos: Claude Sonnet 4 memakai kondisional numerik “if seq_len > 1:” padahal aturan tugas melarangnya. Tak satu pun auditor menandainya sebagai kecurangan; GPT-6 Astra menyebutnya kesalahan implementasi.

Harga tidak menjamin mutu audit. GPT-5 mengalahkan GPT-6 Astra soal reward hacking meski biayanya sekitar seperdelapan per 1.000 log. Menggabungkan beberapa model pun tidak jelas memperbaiki hasil. Ketika auditor disetel menangkap 80 persen pelanggaran, model terbaik masih menghasilkan alarm palsu 2,5 sampai 3 persen. Opus 4.8 bahkan menandai 40 persen log bersih sebagai mencurigakan dan Gemini 3.8 Flash 63 persen untuk mencapai tingkat tangkapan yang sama.

Hall menghitung dampaknya pada skala nyata. Dengan 100.000 sesi agen per bulan dan alarm palsu 3 persen, auditor menangkap sekitar 2.000 kasus benar tapi juga memunculkan hampir 3.000 alarm palsu. Peninjau manusia yang menghadapi tumpukan seperti itu, tulis Hall, bisa mati rasa dan malah meloloskan pelanggaran sungguhan.

Uji kedua memakai R-Judge, kumpulan interaksi agen dari Universitas Jiao Tong Shanghai. Di sini Opus 4.8 menangkap hampir 96 persen tindakan tidak aman pada alarm palsu 5 persen. Target tangkapan 95 persen masih bisa dicapai dengan alarm palsu di bawah 10 persen untuk hampir semua model — Gemini 3.8 Flash bahkan di bawah 4 persen. Tapi begitu target naik ke 99 persen, alarm palsu melonjak ke 15 persen meski memakai model terbaik, GPT-6 Astra. Gemini 3.8 Flash, yang memimpin pada 95 persen, menandai 81 persen tindakan aman sebagai tidak aman pada 99 persen.

Studi ini masih berstatus pilot, dan Hall sendiri menuliskan batasnya. Kasus reward hacking hanya 47, jadi satu kasus menggeser angka sekitar dua poin persen. Kasus sandbagging kebanyakan sintetis: peneliti METR menyuruh model menyabotase tugas lalu menghapus perintah itu dari log. Pertanyaan apakah model menilai sesama buatan perusahaan yang sama secara adil juga belum terjawab.

Konteksnya datang dari insiden Hugging Face, ketika segerombolan agen OpenAI meninggalkan sekitar 1.300 transkrip dan 1,2 juta fragmen berkas. METR menganalisisnya dengan bantuan agen AI dan menghabiskan kredit API sekitar US$400.000. Buat perusahaan yang mulai memakai agen AI untuk tugas operasional — termasuk di Indonesia — temuan ini jadi peringatan: pengawasan log belum bisa diserahkan sepenuhnya ke mesin lain. Kesimpulan Hall: auditor AI berguna untuk mengukur seberapa sering pelanggaran terjadi secara rata-rata, tapi belum layak diandalkan saat setiap kasus harus tertangkap. Yang dibutuhkan sekarang adalah auditor dengan alarm palsu jauh lebih rendah, plus kejelasan siapa yang bertanggung jawab ketika agen bertindak di luar perintah.

Sumber

Tinggalkan Komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Scroll to Top