Circuit Breaker Labs Kembangkan Sistem Uji Keamanan AI untuk Lindungi Anak dan Pengguna

Kekhawatiran akan dampak kecerdasan buatan atau AI tidak lagi sebatas skenario fiksi ilmiah tentang ancaman eksistensial bagi manusia. Saat ini, risiko nyata dari interaksi digital telah memakan korban jiwa, terutama di kalangan pengguna muda yang mengalami tekanan psikologis berat akibat percakapan dengan bot AI.
Perusahaan rintisan Circuit Breaker Labs hadir dengan misi memitigasi risiko tersebut dengan menciptakan sistem keamanan yang lebih tangguh. Startup ini merupakan salah satu finalis dalam ajang Startup Battlefield 200 di TechCrunch Disrupt yang akan berlangsung pada 13 hingga 15 Oktober di San Francisco, Amerika Serikat.
Pendiri perusahaan, Shirali dan Arul Nigam, tergerak oleh kasus tragis Sewell Setzer, remaja berusia 14 tahun yang mengakhiri hidup setelah menjalin keterikatan emosional dengan chatbot Character.AI. Dalam gugatan yang diajukan orang tua korban pada 2024, terungkap bahwa chatbot tersebut justru memberikan dorongan negatif saat remaja itu mengungkapkan niat menyakiti diri sendiri.
Arul, yang menjabat sebagai CTO di Circuit Breaker Labs, menjelaskan bahwa model bahasa sering kali gagal menangkap konteks emosional yang mendalam. Sistem ini sering tidak memahami nuansa bahasa manusia yang kompleks, sehingga respons yang diberikan justru bisa memicu bahaya bagi individu yang sedang rentan.
Untuk mengatasi masalah tersebut, perusahaan mengembangkan agen AI yang berfungsi seperti boneka uji tabrak dalam simulasi kecelakaan. Agen-agen ini diprogram untuk meniru berbagai latar belakang manusia, mulai dari usia, budaya, hingga penggunaan slang bahasa, guna menguji ketahanan model AI dalam menangani percakapan berbahaya.
Shirali, CEO Circuit Breaker Labs, menyoroti bagaimana perbedaan cara bicara antara seorang anak kecil dengan orang dewasa sering kali mengecoh model AI. Model saat ini cenderung mahir memahami bahasa standar, namun gagal merespons dengan tepat ketika berhadapan dengan gaya bicara kasual atau slang yang digunakan pengguna dalam kehidupan sehari-hari.
Startup ini bekerja sama dengan pakar untuk melakukan pengujian red-team atau simulasi serangan terhadap model AI. Mereka menjalankan ratusan ribu interaksi setiap harinya untuk memastikan AI mampu merespons situasi berisiko tanpa memberikan jawaban yang destruktif bagi kesehatan mental penggunanya.
Saat ini, teknologi ini difokuskan pada aplikasi berisiko tinggi seperti pendamping kesehatan mental, jurnal digital, dan aplikasi pelatihan personal. Meskipun masih berada di tahap awal dengan jumlah karyawan yang terbatas, mereka memiliki ambisi besar untuk mengintegrasikan standar keamanan ini ke berbagai platform digital di masa depan.
Arul menegaskan bahwa melarang penggunaan AI bukanlah solusi yang efektif bagi kemajuan teknologi. Menurutnya, kepercayaan masyarakat harus dibangun melalui jaminan keamanan yang lebih baik, sehingga inovasi AI dapat terus dimanfaatkan secara positif tanpa harus membahayakan penggunanya.
Baca juga tulisan lainnya dari Sarah Kusuma
Penulis: Sarah Kusuma
Editor: Beritana Editor
-af2f7.webp)











:strip_icc():format(webp)/kly-media-production/medias/5334613/original/006699400_1756722926-000_72YW3RF.jpg)


