Teknik Penalaran Baru OpenAI Astra Bikin Pakar Keamanan AI Khawatir

Model kecerdasan buatan (AI) terbaru OpenAI, Astra, dikabarkan akan menggunakan teknik penalaran canggih bernama “recurrent depth” atau dikenal juga sebagai “opaque recurrence”. Teknik ini memungkinkan Astra beroperasi di luar kerangka pemikiran sekuensial yang menjadi ciri khas sebagian besar model penalaran AI saat ini.

Kabar ini, yang pertama kali dilaporkan oleh The Information, memicu kekhawatiran serius di kalangan pakar keamanan AI. Pasalnya, metode rekurensi opak ini berpotensi membuat 'rantai pemikiran' (chain of thought) model menjadi jauh lebih sulit dipantau, sebuah aspek krusial untuk memastikan keselamatan dan keandalan AI.

Meskipun penggunaan teknik ini pada Astra dilaporkan masih terbatas, kemunculannya telah memicu diskusi intens di antara para ahli. Kemampuan model untuk memproses kueri berulang kali dalam sebuah putaran tanpa jejak yang jelas adalah inti kekhawatiran tersebut.

“Saya sangat prihatin dengan laporan bahwa Astra menggunakan rekurensi opak,” tulis CEO Redwood, Buck Shlegeris, dalam sebuah unggahan tak lama setelah berita ini tersiar. “Saya tidak tahu apakah Astra jauh lebih sulit dipantau daripada model sebelumnya. Namun, jika OpenAI mendorong teknik ini lebih jauh, mereka akan memiliki opsi untuk meningkatkan rekurensi secara besar-besaran dan sepenuhnya menghancurkan kemampuan pemantauan rantai pemikiran (CoT).”

Zvi Mowshwitz, seorang advokat keamanan AI, turut menyoroti hal ini, bahkan menyarankan perlunya regulasi untuk mencegah “perlombaan ke bawah” di antara laboratorium AI. Ia mengkhawatirkan implikasi etis dan keamanan jangka panjang.

“Teknik ini adalah bermain dengan api, mengambil risiko pelanggaran tabu yang telah diperjuangkan OpenAI dan Anthropic untuk mempertahankan kesetiaan dan kemampuan pemantauan Chain of Thought selama mungkin,” tulis Mowshwitz. “Penggunaan teknik semacam ini secara lebih intensif kemungkinan besar akan merusak kemampuan pemantauan.”

Dalam kondisi normal, rantai pemikiran sebuah model penalaran AI menyediakan langkah-langkah sekuensial yang diambil model saat mencoba memecahkan masalah. Meskipun representasi ini tidak sempurna, ia tetap berfungsi sebagai alat penting untuk memantau perilaku menyimpang atau ketidakselarasan. Contohnya, dalam insiden 'agen nakal' OpenAI baru-baru ini, catatan rantai pemikiran menjadi instrumen penting untuk mengurai mengapa agen AI bertindak demikian.

Berbeda dengan pendekatan linear tersebut, rekurensi opak memungkinkan model memproses kueri yang sama berulang kali dalam sebuah lingkaran tertutup. Hasilnya, jejak yang dapat dibaca menjadi lebih sedikit, secara efektif mengesampingkan catatan rantai pemikiran konvensional. Ini berarti alasan di balik keputusan AI bisa menjadi kotak hitam yang sulit ditembus.

Kabar baiknya, penggunaan teknik ini oleh Astra tampaknya masih dibatasi. Rantai pemikiran model masih diharapkan dapat dibaca, dan perusahaan telah menampik anggapan bahwa mereka akan beralih ke “neuralese,” istilah untuk penalaran AI yang sama sekali tidak dapat dipahami manusia. OpenAI juga telah mengumumkan rencana untuk sistem pemantauan rantai pemikiran yang ekstensif sebagai bagian dari rencana keamanan jangka panjang mereka.

Jakub Pachocki, kepala ilmuwan OpenAI, menegaskan komitmen laboratorium terhadap rantai pemikiran yang dapat dibaca. “OpenAI telah berupaya melestarikan dan memanfaatkan pemantauan rantai pemikiran sejak model penalaran pertama kami,” tulis Pachocki di platform X. “Ini adalah tujuan inti dari program penelitian kami saat ini.”

Perlu dipahami, semua model AI memang melakukan sejumlah penalaran opak, dan sedikit peneliti yang menganggap catatan rantai pemikiran sebagai representasi langsung dari penalaran model. Namun, peringatan tersebut tidak menghilangkan kekhawatiran bahwa rekurensi opak dapat mempersulit pemantauan penalaran AI, terutama karena penggunaannya kian meluas di berbagai model.

Dalam laporan lanjutan pada Rabu pagi, The Information mengungkapkan bahwa Anthropic dan Google DeepMind juga sudah mendiskusikan teknik ini. Ini mengindikasikan bahwa rekurensi opak mungkin akan menjadi tren di industri AI, menambah urgensi bagi para regulator dan pengembang untuk memahami dan mengelolanya.

Ryan Greenblatt, kepala ilmuwan Redwood Research, mengatakan bahwa penalaran opak dapat dengan mudah berkembang lebih cepat daripada penalaran rantai pemikiran konvensional, secara efektif menghilangkan semua penalaran dari saluran yang terlihat. Potensi ini memunculkan skenario di mana AI mengambil keputusan tanpa jejak yang dapat diinspeksi oleh manusia.

“Kekhawatiran terbesar saya adalah bahwa progresi alami dari sini akan melibatkan peningkatan penalaran opak hingga titik di mana model bernalar sepenuhnya atau hampir seluruhnya dalam ruang laten,” tulis Greenblatt. “Saya berharap belum terlambat untuk menghindari arsitektur yang paling mengkhawatirkan dan OpenAI akan berhenti sampai di sini.”