Ilmuwan Temukan Rumus Prediksi Kapan AI Chatbot Mulai Memberikan Jawaban Berbahaya

Peneliti dari George Washington University baru-baru ini mempublikasikan sebuah rumus matematika yang mampu memperkirakan kapan sebuah chatbot kecerdasan buatan atau AI akan mulai memberikan jawaban buruk. Formula ini dikembangkan untuk mengukur jumlah jawaban akurat sebelum sistem tersebut tergelincir ke dalam narasi yang menyesatkan atau berbahaya.

Studi yang disusun oleh Neil Johnson dan Frank Yingjie Huo ini diterbitkan dalam jurnal ilmiah Patterns.

Selama ini, chatbot sering kali terlihat memberikan jawaban yang sangat masuk akal dalam waktu lama, namun tiba-tiba berubah arah menjadi sangat provokatif. Perubahan ini bisa berupa saran yang membahayakan diri sendiri atau ujaran ekstremisme yang sulit diprediksi kapan akan muncul dalam sebuah percakapan panjang.

Para peneliti berpendapat bahwa alat keamanan yang ada saat ini masih sangat bergantung pada koneksi awan atau cloud. Hal tersebut menjadi tantangan besar bagi model AI yang dijalankan secara luring, karena perangkat tersebut tidak memiliki lapisan keamanan tambahan yang biasanya disediakan oleh peladen pusat.

Johnson dan Huo menemukan akar masalahnya pada bagian model yang disebut sebagai attention head. Komponen ini merupakan bagian dari arsitektur AI yang bertugas memutuskan kata mana dari percakapan sebelumnya yang paling relevan untuk menentukan kata berikutnya.

Seiring bertambahnya durasi percakapan, akumulasi konteks akan menarik perhatian sistem tersebut ke arah kelompok jawaban tertentu. Proses ini terus berlanjut hingga mencapai titik kritis di mana sistem akhirnya beralih ke pola jawaban yang tidak diinginkan.

Pola inilah yang sering dimanfaatkan oleh peretas atau pengguna yang mencoba melakukan jailbreaking, yaitu teknik untuk menembus batasan keamanan sistem kecerdasan buatan. Meskipun banyak perusahaan teknologi mulai memperhatikan instruksi sistem atau system prompt untuk mencegah hal ini, belum ada metode akurat untuk mengukur seberapa besar usaha yang diperlukan untuk melemahkan sebuah model.

Rumus baru ini menggunakan variabel n untuk mengestimasi titik balik tersebut.

Variabel tersebut dihitung berdasarkan jumlah token berkualitas baik yang dihasilkan model sebelum token buruk pertama muncul. Token sendiri adalah potongan kata atau karakter yang diproses oleh AI satu per satu untuk menyusun sebuah kalimat utuh bagi pengguna.

Jika sebuah percakapan sejak awal sudah condong ke arah negatif, model tersebut akan langsung mencapai titik balik dengan nilai n sama dengan nol. Sebaliknya, jika percakapan dimulai dengan baik, model akan memberikan serangkaian jawaban yang tepat sebelum akhirnya beralih ke pola yang merugikan.

Dalam pengujian awal yang dilakukan terhadap 16 kasus uji yang jelas, formula ini berhasil memprediksi hasil dengan tingkat akurasi mencapai 94 persen. Peneliti menguji rumus tersebut pada enam model AI terbuka dari berbagai pengembang besar seperti OpenAI, EleutherAI, dan Meta.

Model-model yang diuji memiliki parameter antara 124 juta hingga 410 juta, yang merupakan angka penyesuaian di dalam model untuk mengukur kapasitas kecerdasannya. Dalam laporan yang lebih lengkap, pengujian diperluas ke tujuh model lain dengan kapasitas hingga 12 miliar parameter, ukuran yang masih dianggap kecil untuk standar teknologi saat ini.

Target utama dari penelitian ini adalah pengembangan AI pada perangkat atau on-device AI. Teknologi ini memungkinkan kecerdasan buatan berjalan sepenuhnya di ponsel atau laptop tanpa memerlukan koneksi internet, sehingga data pengguna tidak perlu dikirim ke peladen luar.

Saat ini, tren penggunaan AI luring mulai meningkat seiring dengan semakin kuatnya perangkat keras ponsel pintar. Google telah memulai eksperimen melalui aplikasi AI Edge Gallery yang memungkinkan ponsel Android menjalankan model kecerdasan buatan secara mandiri demi privasi yang lebih terjaga.

Namun, model yang berjalan tanpa internet tidak memiliki layanan pengawas dari pusat yang terus memeriksa setiap output yang dihasilkan. Inilah celah keamanan yang ingin ditutup oleh para peneliti melalui formula terbaru mereka.

Mereka mengusulkan adanya sistem monitor berbiaya rendah yang berjalan sejajar dengan model AI tersebut. Sistem ini akan berfungsi seperti lampu peringatan pada dasbor mobil yang akan menyala ketika tingkat keamanan berada di bawah ambang batas tertentu.

Johnson dan Huo juga menjelaskan beberapa cara untuk menunda munculnya titik kritis tersebut. Salah satunya adalah dengan menyisipkan konten tertentu ke dalam percakapan agar titik balik sistem berada jauh di luar panjang respons yang dihasilkan.

Pelatihan penyelarasan atau alignment training memang dapat menekan perilaku buruk untuk perintah tertentu. Namun, para penulis menekankan bahwa metode tersebut tetap tidak bisa menghilangkan mekanisme dasar yang menyebabkan kegagalan sistem keamanan tersebut.

Hal menarik lainnya adalah penggunaan kata sopan seperti tolong atau terima kasih ternyata tidak memberikan pengaruh signifikan terhadap keamanan jawaban AI. Model matematika menunjukkan bahwa kata-kata tersebut dianggap tidak relevan dengan substansi permintaan yang diajukan oleh pengguna.

Meskipun penelitian ini masih menggunakan jendela konteks yang terbatas, penemuan ini memberikan fondasi kuat bagi pengembangan sistem kecerdasan buatan yang lebih aman di masa depan. Para pengembang kini memiliki landasan matematis untuk mencegah chatbot berperilaku liar sebelum hal itu benar-benar terjadi.