GPT-6 Astra Raih 66,7 Persen di BioBasicsBench, Tolok Ukur Baru OpenAI untuk AI di Laboratorium

OpenAI memperkenalkan BioBasicsBench, tolok ukur baru yang menguji kemampuan agen AI membaca bukti mentah dari pekerjaan laboratorium sehari-hari. Tolok ukur yang dikembangkan bersama perusahaan bioteknologi Ligo ini berisi 100 tugas dari eksperimen nyata, dan model terbaru OpenAI, GPT-6 Astra, memimpin dengan rata-rata 66,7 persen dari kredit yang tersedia.

Ringkasan

  • OpenAI dan Ligo merilis BioBasicsBench: 100 tugas wet-lab dari data eksperimen asli, bukan grafik makalah.
  • GPT-6 Astra meraih rata-rata 66,7 persen pada pengaturan penalaran tertinggi, di atas GPT-6.1 Sol (62,0 persen) dan GPT-5.6 Sol (43,8 persen).
  • OpenAI menegaskan skor yang lebih tinggi belum berarti model bisa diandalkan untuk mengambil keputusan di laboratorium.

Lima bidang yang diuji meliputi metode protein, pencitraan dan sitometri, kuantifikasi dan assay, metode asam nukleat, serta kloning molekuler. Bukti yang harus dibaca agen bukan ringkasan rapi, melainkan gambar gel dan blot, foto pelat koloni, tumpukan gambar mikroskop, bacaan sequencing, ekspor instrumen, foto meja lab, sampai video protokol. Setiap tugas dipasangkan dengan rubrik penilaian yang ditulis para ahli, lalu ditinjau seorang ilmuwan Ligo yang tidak menulis tugas itu, seorang ilmuwan wet-lab bergelar doktor dari luar, dan satu putaran tinjauan internal terakhir.

Tujuh model OpenAI diuji dalam 37 kombinasi model dan pengaturan penalaran, lima kali percobaan untuk tiap tugas, menghasilkan 18.500 jawaban yang dinilai. Skor yang dilaporkan adalah mean reward, rata-rata kredit rubrik yang diraih, bukan persentase tugas yang diselesaikan penuh. Pada pengaturan xhigh, penalaran tertinggi yang dilaporkan untuk ketujuh model, GPT-6 Astra mencatat 66,7 persen dengan interval kepercayaan 95 persen 60,3–73,1 persen, memakai rata-rata 4.704 token keluaran per tugas. GPT-5.6 Sol, pembanding dari generasi sebelumnya, meraih 43,8 persen dengan 9.099 token per tugas.

Keunggulan Astra terlihat pada tiga contoh yang dipaparkan OpenAI. Pada satu tugas pencitraan sel, GPT-5.6 Sol menyimpulkan sel mati dari sinyal pewarna, padahal jendela deteksi pewarna kedua tumpang tindih dan kecerahan saja tidak cukup untuk menyimpulkan. Astra mengenali keraguan itu dan meminta kontrol yang memisahkan kedua sinyal. Pada tugas kloning, Sol mendasarkan kesimpulan pada pelat kontrol negatif yang kosong, sementara Astra memperhatikan pelat itu berlabel kanamycin, antibiotik yang berbeda dari ampicillin yang dipakai dalam eksperimen, dan menolaknya sebagai kontrol yang sah. Pada tugas lain, sel yang tampak hilang dari gambar mikroskop ternyata hanya efek z-stack, pemindaian pada berbagai kedalaman, yang dikenali Astra sementara Sol mencari penjelasan biologis.

OpenAI juga memaparkan kegagalan Astra. Pada tugas colony-PCR, Astra memilih lajur 4, 6, 7 dan 8 dengan asumsi produk PCR yang lebih besar menandai kloning berhasil, padahal tafsir acuan memilih lajur 5, 9 dan 10; kesalahan itu akan berujung pada pemurnian plasmid yang salah. Pada tugas lain Astra menggeneralisasi vakuola selalu tampak lebih gelap, mengabaikan vakuola yang tampak lebih terang pada gambar yang sama. Saat menghitung koloni, Astra gagal memisahkan koloni yang berdekatan, melewatkan koloni yang terlihat, dan menandai agar kosong, sehingga jumlahnya meleset sekitar 12 persen di atas acuan.

“Higher benchmark scores do not yet mean models can make reliable judgments in the lab,” tulis OpenAI. Semua model yang diuji berasal dari OpenAI sendiri, jadi tolok ukur ini belum membandingkan Astra dengan model pesaing, dan tidak ada tolok ukur kinerja manusia yang dipublikasikan bersama pengumuman ini. OpenAI menyebut pemantauan kemampuan ini juga akan menginformasikan penilaian dampaknya terhadap biosafety dan biosecurity. Bagi laboratorium yang mulai memakai agen AI, pelajarannya konkret: bukti yang tampak meyakinkan tetap harus diperiksa ulang pada kontrolnya, dan jawaban yang salah bisa terlihat rapi.

Sumber

Tinggalkan Komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Scroll to Top