OpenAI mengungkap Performance Factory, sistem internal berbasis agen Codex yang menyelidiki dan memperbaiki penurunan kinerja ChatGPT tanpa menunggu insinyur turun tangan lebih dulu. Sistem yang berjalan di cloud ini sudah dipakai menjaga kecepatan ChatGPT, dan dalam waktu sedikit lebih dari tiga bulan mencatat lebih dari 1.700 investigasi.
Ringkasan
- Performance Factory mengubah setiap penurunan kinerja menjadi tugas yang dikerjakan agen Codex: menyelidiki, menemukan akar masalah, mengusulkan perbaikan, lalu memverifikasi pemulihan.
- Dalam tiga bulan lebih, sistem ini mencatat 1.700 investigasi dan menemukan akar masalah pada lebih dari 600 kasus, rata-rata 17 investigasi otomatis per hari.
- Keputusan akhir tetap di tangan insinyur: hanya 15 perbaikan yang masuk persis seperti ditulis Codex, dari sekitar 400 usulan perbaikan.
Alur pertamanya, Regression Workflow, bekerja dari peringatan otomatis. Saat sebuah metrik melewati ambang, sistem membuka tugas. Agen Codex lalu mencari tahu kapan penurunan dimulai dan permintaan mana yang terdampak, kemudian memeriksa perubahan kode, log, dan trace untuk menemukan penyebabnya. Setelah diagnosis lolos tinjauan, Codex menulis perbaikan dan membuka pull request. Insinyur meninjau dan memutuskan apakah kode itu digabungkan. Setelah perbaikan diterapkan, agen lain memeriksa apakah kinerja sudah kembali ke titik awal.
BACA JUGA
Sistem ini terdiri dari empat komponen: task service yang menyimpan tugas dan alurnya, dispatch loop yang menugaskan agen saat sebuah tugas siap dikerjakan, API internal yang menjalankan Codex di cloud, dan subscriptions yang membangunkan agen saat ada peristiwa eksternal, misalnya komentar review di GitHub atau deployment yang selesai. Para insinyur mendefinisikan alur lewat berkas konfigurasi dan prompt Markdown. Agen bekerja dengan identitas layanan tersendiri sehingga izinnya bisa dibatasi dan setiap tindakannya terlacak.
Sebelum menjadi pabrik seperti sekarang, tim kinerja OpenAI melewati beberapa tahap. Awalnya insinyur memeriksa metrik dan log secara manual, dengan lebih dari 30 alat khusus. Codex kemudian menjadi mitra yang bisa ditanya mengapa sebuah layanan melambat, tapi insinyur masih harus mengarahkan. Tim lalu merangkum prosedur investigasi itu menjadi skill Codex bernama perf-forensics, sampai akhirnya peringatan bisa langsung memicu sesi Codex di cloud tanpa perantara manusia.
Angka-angka yang dibagikan OpenAI menunjukkan jarak antara menemukan penyebab dan benar-benar memperbaikinya. Dari 600 lebih kasus yang sampai ke akar masalah, sekitar 400 berlanjut ke usulan perbaikan. Sekitar 50 perbaikan yang akhirnya dikirim dipengaruhi atau sama dengan saran agen, sementara 15 perbaikan masuk persis seperti pull request yang ditulis Codex. Dalam tinjauan manual terhadap 100 saran akar masalah, tim menilai 70 persen akurat dan 30 persen sisanya masih perlu penyempurnaan atau belum sepenuhnya membuktikan hubungan sebab-akibat.
OpenAI juga menambahkan lapisan pengaman berupa adversarial review: sesi Codex terpisah yang bertugas membantah diagnosis pertama. Peninjau itu memeriksa ulang asumsi, menguji penjelasan alternatif, dan memeriksa apakah metrik pulih saat perubahan yang dicurigai dibatalkan. Sekitar 25 persen diagnosis dikembalikan untuk penyelidikan lanjutan. Dalam satu kasus, agen menuding galat unduhan gambar sebagai penyebab percakapan ChatGPT gagal, padahal peninjau menemukan layanan internal pencari berkas sudah pulih sementara permintaan gambar masih gagal, sehingga diagnosis itu tidak menjelaskan kegagalan yang berlanjut.
Perbaikan terbukti lebih sulit daripada diagnosis. Agen kadang mengusulkan perubahan yang lebih rumit dari yang dibutuhkan atau menimbulkan masalah baru, misalnya menambah cache yang mempercepat respons tapi membuat data basi. Karena itu OpenAI juga menerapkan adversarial review untuk usulan perbaikan. Ke depan, tim menjajaki tes sintetis agar agen bisa mengukur perbaikan sebelum diajukan ke insinyur, serta kemungkinan mengirim perbaikan berisiko rendah tanpa persetujuan manusia. Performance Factory sendiri bukan produk: ini sistem internal OpenAI, dan penulis postingnya, Okay Zed dan Cyrus Forbes, menekankan bahwa hambatan saat ini justru antrean tinjauan insinyur.




