Kepercayaan terhadap evaluasi model AI menjadi sorotan utama di tengah pesatnya perkembangan teknologi kecerdasan buatan. Meskipun *benchmarking* telah menjadi standar bagi laboratorium AI untuk mengukur kinerja dan keamanan produk mereka, Irene Solaiman, Chief Policy Officer Hugging Face, menyoroti kompleksitas serta fase kematangan sistem evaluasi tersebut.
Laboratorium kecerdasan buatan (AI) secara luas mengandalkan sistem *benchmarking* model untuk menegaskan reputasi mereka di mata publik dan industri. Sistem ini dipandang sebagai metode evaluasi yang netral dan akurat, dirancang untuk menentukan keunggulan satu produk AI dibandingkan lainnya.
Solaiman, yang berbicara dalam diskusi di TechCrunch Disrupt pekan lalu, menekankan bahwa metode di balik evaluasi-evaluasi ini tidak sederhana dan masih terus berkembang. Ia menyatakan, pengujian model AI harus bertransformasi menjadi sains yang lebih konsisten agar industri dapat sepenuhnya mengandalkannya di masa mendatang.
Pertanyaan mendasar muncul, bisakah kita benar-benar mempercayai hasil tes yang saat ini dirilis ke publik?
"Kepercayaan adalah istilah yang sangat memberatkan," kata Solaiman, mengawali penjelasannya. Ia melanjutkan, salah satu faktor krusial dalam mempercayai hasil evaluasi adalah kemampuan untuk mereproduksi hasil pengujian, serta sejauh mana akses terhadap model itu sendiri tersedia, di mana aspek "*open weights*" memainkan peran besar.
Isu reprodusibilitas, atau kemampuan untuk mendapatkan hasil yang sama dari pengujian berulang, telah lama menjadi salah satu tantangan paling rumit dalam *benchmarking* model. Hal ini bahkan terus menjadi topik perdebatan hangat di kalangan pakar industri AI.
Selain validitas sebuah uji tunggal, muncul pula pertanyaan tentang bagaimana membandingkan satu hasil evaluasi dengan evaluasi lainnya secara bermakna.
"Evaluasi ini adalah sains yang terus berevolusi, di mana kita belum tahu bagaimana membandingkannya secara bermakna," ujar Solaiman.
Solaiman menambahkan bahwa evaluasi yang ada cenderung cepat tidak efektif, dan ekosistem pendukung yang kuat masih belum terbentuk optimal. Terdapat dorongan kuat untuk menciptakan ekosistem evaluator internal, namun kualifikasi yang menentukan efektivitas seorang evaluator untuk berbagai tugas memerlukan standarisasi yang jauh lebih baik.
Gagasan mengenai "evaluator internal" — penempatan pengamat pihak ketiga yang dianggap netral di dalam organisasi AI — semakin populer dalam beberapa bulan terakhir. Inisiatif ini muncul seiring upaya laboratorium AI mengatasi serangkaian insiden keamanan yang memicu kekhawatiran publik tentang potensi bahaya teknologi mereka, sebuah isu yang bahkan pernah menargetkan Hugging Face.
Alih-alih menunggu regulasi pemerintah yang aktif untuk mengidentifikasi dan mengurangi masalah keamanan model, banyak laboratorium AI justru mendorong solusi pihak ketiga ini. Namun, keraguan muncul mengenai seberapa netral atau efektif evaluator tersebut dapat beroperasi, terutama mengingat reaksi keras atas keputusan Anthropic menunjuk Accenture sebagai evaluator pertamanya. Para kritikus meragukan kualifikasi firma konsultan tersebut untuk tugas yang kompleks ini.
Evolusi evaluasi AI kini bergeser dari sekadar menguji model itu sendiri menjadi pengujian seluruh sistem di sekitar model, termasuk "*harness*" dan "*agent*". Solaiman menjelaskan, "*harness*" adalah alat yang digunakan pengguna untuk mengakses model, dan elemen ini sangat memengaruhi kinerja sebuah model. Bahkan, model yang secara intrinsik lebih lemah dengan "*harness*" yang lebih baik dapat dengan mudah mengungguli model *frontier* yang lebih canggih.
"Evaluasi untuk '*agent*' sangat sulit dan mahal," kata Solaiman. Ia juga menyebutkan bahwa meskipun banyak evaluasi tersedia untuk model, jumlahnya jauh lebih sedikit untuk "*harness*". Oleh karena itu, industri sedang berupaya mengembangkan evaluasi yang lebih baik untuk "*agent*" holistik, karena dari situlah banyak pengguna memperoleh nilai.
Singkatnya, arena evaluasi saat ini masih terbilang kacau dan kurang terstruktur. Apabila *benchmarking* ingin terus dianggap sebagai alat yang berguna bagi pemimpin industri, pendekatan yang lebih seragam dan berlaku di seluruh industri akan menjadi krusial.
Baca juga tulisan lainnya dari Dimas Ardianto
Penulis: Dimas Ardianto
Editor: Beritana Editor
