Solusi Matematika OpenAI Dikritik: Belum Penuhi Standar Pakar

Pengembangan kecerdasan buatan (AI) oleh OpenAI dalam memecahkan masalah matematika kompleks kembali menjadi sorotan, setelah dikritik karena dianggap belum sepenuhnya memenuhi standar yang ditetapkan oleh komunitas ahli, khususnya terkait aspek pemahaman manusia.

Kritik ini muncul menyusul rilis ratusan klaim solusi dari OpenAI untuk sejumlah masalah matematika tersulit di dunia. Laboratorium riset garis depan itu sebelumnya menyatakan telah berkonsultasi dengan kelompok penasihat yang terdiri dari para matematikawan elite untuk menghindari kontroversi serupa yang pernah terjadi saat salah satu modelnya berhasil memecahkan masalah lama di bidang tersebut.

Namun, OpenAI dinilai gagal memenuhi standar tersebut. Para matematikawan secara khusus menekankan pentingnya pemahaman manusia terhadap hasil matematis, sebuah aspek krusial yang diabaikan.

Situasi ini kian mengkhawatirkan setelah sebuah makalah baru menyoroti celah antara penjelasan bahasa alami (natural language) dan solusi yang diformalkan secara ekspresif terhadap persoalan bernilai jutaan dolar yang konon telah dipecahkan oleh model OpenAI.

Kelompok Penasihat Matematika dan Kecerdasan Buatan (AGMAI), yang berpusat di Institute for Advanced Studies, Princeton University, terdiri dari sembilan peneliti terkemuka dari berbagai institusi di seluruh dunia.

Organisasi tersebut telah merilis pedoman bagi laboratorium riset garis depan yang mencoba memecahkan masalah matematika pada akhir September. Dalam sebuah pernyataan mengenai kumpulan bukti terbaru ini, AGMAI menyampaikan, “pada akhirnya, komunitas matematika yang berhak menilai sejauh mana rekomendasi kami telah berhasil diikuti.”

Namun, permintaan pertama AGMAI justru adalah “untuk berhenti menguji masalah matematika tingkat lanjut pada model kepemilikan (proprietary models).” Kontrasnya, rilis OpenAI secara eksplisit menyatakan bahwa mereka sedang mengevaluasi model kepemilikan mereka menggunakan masalah penelitian terbuka di bidang matematika.

Ketika diminta oleh TechCrunch untuk evaluasi lebih mendalam mengenai rilis bukti terbaru OpenAI, kelompok penasihat tersebut tidak memberikan respons. Laboratorium itu jelas mengikuti beberapa prinsip AGMAI, seperti merilis hasil sesegera mungkin dan menyertakan informasi tentang bagaimana model mencapai kesimpulannya.

Namun, tidak semua prinsip dipatuhi. Hanya 10 dari 719 manuskrip yang menyertakan rilis alur pemikiran (chain of thought) model tersebut.

Untuk makalah yang tidak dipahami manusia, para matematikawan menyarankan agar bukti-bukti tersebut diformalkan. Ironisnya, hanya 42% dari bukti yang dirilis oleh OpenAI yang telah melalui proses ini.

Pada akhirnya, masih belum jelas apakah OpenAI memikul “tanggung jawab untuk memastikan bahwa pemahaman manusia akan menyusul” ketika merilis bukti-bukti mereka, sesuai dengan prinsip-prinsip AGMAI. Kelompok penasihat ini menyarankan agar OpenAI turut mendanai pekerjaan para matematikawan manusia yang diperlukan untuk menjadikan solusi dari laboratorium tersebut berarti secara nyata.

“Masalah-masalah dipecahkan secara otonom oleh pemicu AI yang tidak tertarik pada bidang yang lebih luas itu sendiri setelah target awal mereka ‘terpecahkan’, dan tidak memahami keluaran AI dengan cukup baik untuk menjawab pertanyaan tentang hasilnya, memberikan presentasi, atau berinteraksi dengan sisa bidang tersebut,” tulis Terence Tao, seorang matematikawan terkemuka yang telah mengkritik pendekatan OpenAI, di media sosial setelah rilis tersebut.

Persoalan ini dicontohkan oleh sebuah makalah yang dirilis minggu ini oleh para matematikawan di University of Cambridge dan King’s College di London. Makalah itu mempertanyakan cara laboratorium riset garis depan mendekati tantangan-tantangan ini.

Ketika model AI memecahkan masalah matematika, mereka pertama-tama menciptakan penjelasan “bahasa alami”, kemudian mencoba mengungkapkan hasil tersebut dalam Lean. Lean adalah bahasa pemrograman yang secara teori mengkonfirmasi keakuratan bukti dengan mengompilasinya sebagai kode.

Kendati demikian, mungkin ada masalah dengan cara model menerjemahkan bukti bahasa alami mereka ke dalam kode. Makalah ini mendokumentasikan setidaknya dua perbedaan antara bukti bahasa alami dan kode Lean di balik solusi yang ditawarkan OpenAI untuk masalah yang berasal dari persamaan Navier-Stokes.

Persamaan Navier-Stokes sendiri menggambarkan perilaku kompleks fluida atau zat cair. Perbedaan-perbedaan ini tidak serta-merta menyangkal kedua solusi tersebut, tetapi menimbulkan pertanyaan tentang apakah kita dapat begitu saja mengandalkan model untuk memformalkan solusi mereka sendiri tanpa keterlibatan manusia.

Itu adalah salah satu alasan mengapa AGMAI meminta OpenAI untuk “menyertakan metadata yang dapat dibaca mesin yang mengkorelasikan artefak bahasa alami dan formal,” sesuatu yang tidak dilakukan oleh laboratorium riset garis depan tersebut dalam rilisnya.

“Karena fenomena kesalahan penerjemahan, seperti yang disorot dalam makalah ini, bukti NL (natural language) oleh OpenAI dan bukti Lean yang diformalkan secara otomatis lainnya seharusnya tidak serta-merta dipercaya tanpa proses tinjauan sejawat (peer review) dan pengawasan yang sama seperti bukti-bukti lainnya,” demikian kesimpulan para penulis makalah “lost in translation” tersebut.

Para matematikawan menekankan bahwa ketika hasil baru ditemukan oleh manusia, mereka memikul tanggung jawab atas penemuan itu dan terlibat dengan komunitas yang lebih luas melalui makalah, presentasi, dan seminar. Proses ini meningkatkan pemahaman tentang solusi, menemukan strategi yang dapat digunakan untuk memecahkan masalah lain, dan memungkinkan pengetahuan baru diterapkan di bidang-bidang praktis.

Ketika sebuah model diperintahkan untuk memecahkan masalah yang sulit dan mengeluarkan solusi, “tidak ada pemahaman manusia pada titik rilisnya, dan sekarang pekerjaan dimulai,” kata profesor matematika Harvard University, Melanie Wood, kepada TechCrunch.