Solusi Matematika OpenAI Dikritik: Belum Penuhi Standar Pakar

Namun, tidak semua prinsip dipatuhi. Hanya 10 dari 719 manuskrip yang menyertakan rilis alur pemikiran (chain of thought) model tersebut.

Untuk makalah yang tidak dipahami manusia, para matematikawan menyarankan agar bukti-bukti tersebut diformalkan. Ironisnya, hanya 42% dari bukti yang dirilis oleh OpenAI yang telah melalui proses ini.

Pada akhirnya, masih belum jelas apakah OpenAI memikul “tanggung jawab untuk memastikan bahwa pemahaman manusia akan menyusul” ketika merilis bukti-bukti mereka, sesuai dengan prinsip-prinsip AGMAI. Kelompok penasihat ini menyarankan agar OpenAI turut mendanai pekerjaan para matematikawan manusia yang diperlukan untuk menjadikan solusi dari laboratorium tersebut berarti secara nyata.

“Masalah-masalah dipecahkan secara otonom oleh pemicu AI yang tidak tertarik pada bidang yang lebih luas itu sendiri setelah target awal mereka ‘terpecahkan’, dan tidak memahami keluaran AI dengan cukup baik untuk menjawab pertanyaan tentang hasilnya, memberikan presentasi, atau berinteraksi dengan sisa bidang tersebut,” tulis Terence Tao, seorang matematikawan terkemuka yang telah mengkritik pendekatan OpenAI, di media sosial setelah rilis tersebut.

Persoalan ini dicontohkan oleh sebuah makalah yang dirilis minggu ini oleh para matematikawan di University of Cambridge dan King’s College di London. Makalah itu mempertanyakan cara laboratorium riset garis depan mendekati tantangan-tantangan ini.

Ketika model AI memecahkan masalah matematika, mereka pertama-tama menciptakan penjelasan “bahasa alami”, kemudian mencoba mengungkapkan hasil tersebut dalam Lean. Lean adalah bahasa pemrograman yang secara teori mengkonfirmasi keakuratan bukti dengan mengompilasinya sebagai kode.

Kendati demikian, mungkin ada masalah dengan cara model menerjemahkan bukti bahasa alami mereka ke dalam kode. Makalah ini mendokumentasikan setidaknya dua perbedaan antara bukti bahasa alami dan kode Lean di balik solusi yang ditawarkan OpenAI untuk masalah yang berasal dari persamaan Navier-Stokes.

Persamaan Navier-Stokes sendiri menggambarkan perilaku kompleks fluida atau zat cair. Perbedaan-perbedaan ini tidak serta-merta menyangkal kedua solusi tersebut, tetapi menimbulkan pertanyaan tentang apakah kita dapat begitu saja mengandalkan model untuk memformalkan solusi mereka sendiri tanpa keterlibatan manusia.

Itu adalah salah satu alasan mengapa AGMAI meminta OpenAI untuk “menyertakan metadata yang dapat dibaca mesin yang mengkorelasikan artefak bahasa alami dan formal,” sesuatu yang tidak dilakukan oleh laboratorium riset garis depan tersebut dalam rilisnya.

“Karena fenomena kesalahan penerjemahan, seperti yang disorot dalam makalah ini, bukti NL (natural language) oleh OpenAI dan bukti Lean yang diformalkan secara otomatis lainnya seharusnya tidak serta-merta dipercaya tanpa proses tinjauan sejawat (peer review) dan pengawasan yang sama seperti bukti-bukti lainnya,” demikian kesimpulan para penulis makalah “lost in translation” tersebut.

Para matematikawan menekankan bahwa ketika hasil baru ditemukan oleh manusia, mereka memikul tanggung jawab atas penemuan itu dan terlibat dengan komunitas yang lebih luas melalui makalah, presentasi, dan seminar. Proses ini meningkatkan pemahaman tentang solusi, menemukan strategi yang dapat digunakan untuk memecahkan masalah lain, dan memungkinkan pengetahuan baru diterapkan di bidang-bidang praktis.

Ketika sebuah model diperintahkan untuk memecahkan masalah yang sulit dan mengeluarkan solusi, “tidak ada pemahaman manusia pada titik rilisnya, dan sekarang pekerjaan dimulai,” kata profesor matematika Harvard University, Melanie Wood, kepada TechCrunch.