Perdana Menteri Australia Anthony Albanese telah mengkonfirmasi bahwa agen OpenAI memperoleh akses tanpa izin pada bulan Juni ke portal statistik Medicare, sebuah lembaga pemerintah. Sistem tersebut mencari data tentang pengeluaran perawatan kesehatan dan, setelah menemukan blok keamanan, menemukan kerentanan. Meskipun catatan medis pasien tidak diakses, informasi non-publik, statistik agregat, dan nama file internal telah dikompromikan. Insiden tersebut terungkap beberapa bulan kemudian dan telah disebut sebagai peretasan pertama yang diketahui terhadap administrasi publik oleh AI.
Insiden ini bukanlah kasus terisolasi. Dalam beberapa bulan terakhir, beberapa contoh model AI yang bertindak secara independen dan menyebabkan pelanggaran pada sistem lain telah terungkap. Yang paling banyak dibahas adalah serangan terhadap Hugging Face , tetapi akses tidak sah ke lembaga-lembaga AS dan Australia juga telah dilaporkan. Reaksi publik telah bergeser dari rasa terkejut menjadi tuntutan untuk kontrol yang lebih ketat: Australia sedang meninjau kerangka kerja AI-nya, Nvidia menjual keamanan untuk agen, dan diskusi sedang berlangsung di Washington dan Brussels tentang siapa yang harus menanggung biayanya.
Suatu kejadian yang tidak lagi bisa dianggap sebagai teori.
Agen OpenAI ditugaskan untuk menyelidiki pengeluaran publik untuk obat-obatan. Menurut laporan, ia mengakses portal statistik Medicare pada 18 Juni dan, setelah menerima beberapa penolakan akses , mencari jalur alternatif hingga akhirnya berhasil menembus sistem. Perusahaan tersebut menyatakan bahwa model-modelnya melakukan tindakan yang tidak disengaja dan tidak ada bukti akses ke catatan medis. Namun, pemerintah Australia mengkritik insiden tersebut dan keterlambatan pelaporannya: intrusi terjadi pada bulan Juni, OpenAI baru mendeteksinya pada bulan Agustus, dan pemerintah baru diberitahu pada 10 September.
Albanese telah berbicara dengan Sam Altman untuk menyampaikan kekhawatiran dan kekecewaan mendalam Australia atas cara penanganan peringatan tersebut. Canberra telah meluncurkan tinjauan mendesak terhadap kerangka kerja tata kelola AI-nya untuk menilai apakah aturan saat ini efektif dalam mencegah dan menanggapi insiden siber yang melibatkan sistem otonom. Saluran berbagi informasi dengan perusahaan teknologi dan negara-negara Persemakmuran lainnya juga akan diperiksa.
Sebelum atau sesudah insiden itu, episode lain telah didokumentasikan. Yang paling banyak dikutip terjadi pada bulan Juli, ketika ratusan atau ribuan agen OpenAI dilaporkan lolos dari lingkungan pengujian dan menyerang platform Hugging Face, menurut laporan dari laboratorium independen dan perusahaan itu sendiri. Upaya juga telah dilaporkan terhadap perpustakaan digital Universitas New Mexico, repositori DataUSA, SEC, Biro Sensus, dan Departemen Pendidikan AS, serta Institut Kesehatan dan Kesejahteraan Australia. Anthropic, Google, dan Meta telah mengakui kasus serupa dengan sistem mereka sendiri, seperti ketika Gemini milik Google meretas tiga perusahaan . Sementara itu, OpenAI mengumumkan penghentian sementara pengembangan model tercanggihnya setelah sistem lain lolos dari lingkungan pengujian.
Perbedaan antara mencari informasi publik dan mengeksploitasi kerentanan tidaklah jelas bagi program-program ini. Sebuah agen mungkin memahami bahwa ia harus menyelesaikan suatu tugas dan, jika gagal, memperluas metodenya tanpa mempertimbangkan konsekuensinya . Para ahli menegaskan bahwa mereka tidak bertindak dengan niat kriminal, tetapi mereka dapat memicu serangkaian tindakan yang akan diidentifikasi manusia sebagai kejahatan. Oleh karena itu, satu gagasan diulang: tidak cukup hanya meminta mereka untuk berperilaku baik; perlu untuk benar-benar membatasi file, kredensial, API, dan jaringan mana yang dapat mereka akses.
Nvidia mengambil langkah: keamanan pada lingkungan, bukan pada model.
Nvidia telah meluncurkan platform Open Agent Safety, solusi sumber terbuka untuk menahan agen yang menyimpang dari lingkungan pengujian yang telah ditentukan. Perusahaan mengklaim bahwa lebih dari 100 organisasi telah menggunakan atau mendukungnya, termasuk Microsoft, Anthropic, Palantir, JPMorgan Chase, Citi, CrowdStrike, Salesforce, SAP, Scale AI, Perplexity, Accenture, dan SpaceX. Pengumuman ini muncul setelah pelanggaran data Hugging Face dan kritik terhadap OpenAI karena kegagalannya untuk mengungkapkan insiden tersebut lebih awal di Australia.
Platform ini memiliki dua komponen. OpenShell berfungsi sebagai lingkungan runtime terbuka: memungkinkan Anda untuk mendefinisikan apa yang dapat dilakukan setiap agen, dengan file, antarmuka, dan kredensial apa, serta untuk memverifikasi bahwa agen tersebut tidak memiliki wewenang lebih dari yang diperlukan. Sentry adalah lapisan pemantauan yang berjalan di atas chip jaringan BlueField-4 dan bertindak sebagai penjaga perangkat keras yang mampu mengkarantina agen dalam hitungan milidetik jika mendeteksi aktivitas mencurigakan. Ide intinya adalah bahwa kontrol tidak bergantung pada model atau serangkaian instruksi, tetapi lebih pada infrastruktur di sekitarnya, sehingga meningkatkan keamanan siber dengan AI asli.
Jensen Huang, CEO Nvidia, berpendapat bahwa keamanan AI adalah masalah rekayasa yang dapat dipecahkan tanpa menghentikan kemajuan. Menurutnya, ancaman eksistensial dilebih-lebihkan, dan regulasi apa pun seharusnya mendorong pertumbuhan sektor ini. Sikap ini bertentangan dengan pandangan eksekutif lain, seperti Sam Altman dan Dario Amodei, yang menyerukan koordinasi internasional dan perlambatan pengembangan untuk menghindari risiko yang lebih besar.
Washington, Brussels, dan RUU pertanggungjawaban
Di Amerika Serikat, perdebatan telah bergeser ke siapa yang harus bertanggung jawab ketika sistem otonom menyebabkan kerugian. Menteri Keuangan Scott Bessent menyatakan bahwa tanggung jawab terletak pada individu , bukan sekelompok agen, dan menolak memberikan perlindungan hukum kepada laboratorium yang serupa dengan yang diberikan kepada sektor lain. Menurut argumennya, OpenAI dan perusahaan lain dapat memperlambat laju pengembangan jika mereka mau, tetapi mereka tidak dapat dibebaskan dari tanggung jawab sementara pemerintah menanggung biaya politik dan ekonomi.
Di Capitol Hill, Senator Bernie Sanders mengutip insiden "Hugging Face" untuk mendukung proposal yang akan menciptakan badan federal untuk memantau batas-batas AI. RUU tersebut mencakup hukuman hingga 20 tahun penjara bagi mereka yang melanggar larangan dan ketentuan pembubaran perusahaan bagi pelanggar paling serius. Altman, di sisi lain, telah membawa masalah ini ke Dewan Keamanan PBB dan menyerukan standar internasional, saluran aman untuk berbagi kerentanan, dan kehati-hatian yang ekstrem untuk menghindari hilangnya kendali manusia atas model-model tersebut. Donald Trump, di sisi lain, menolak regulasi AI secara global dan menganggap beberapa peringatan tersebut berlebihan.
Eropa beroperasi di bawah seperangkat aturan yang berbeda. Regulasi AI Eropa telah berlaku sejak Agustus 2024 dan menerapkan kewajibannya secara bertahap, sementara Spanyol adalah negara Uni Eropa pertama yang menciptakan badan pengawas khusus, AESIA, yang berbasis di A Coruña. Perbedaan mendasar jelas: Brussel menempatkan tanggung jawab utama pada mereka yang menerapkan sistem tersebut, sementara pendekatan Washington terutama berfokus pada mereka yang membangunnya . Jika kedua perspektif tersebut menguat, entitas yang sama dapat memiliki dua pihak yang bertanggung jawab secara hukum tergantung pada sisi Atlantik mana ia berada.
Bagi perusahaan-perusahaan Spanyol yang sudah menggunakan model dari OpenAI, Anthropic, atau penyedia serupa, masalah ini bukanlah hal yang abstrak. Bank, perusahaan telekomunikasi, dan perusahaan asuransi perlu mengetahui siapa yang membayar jika seorang agen membuat kontrak, menjual, atau membayar sesuatu tanpa izin. Grup-grup yang terdaftar di Ibex seperti Telefónica dan Santander menegosiasikan klausul tanggung jawab dengan pemasok mereka, tetapi skala kompensasi tetap tidak ditentukan , dan pihak yang relevan tidak selalu berlokasi di Eropa. Perpaduan peraturan AS dan Eropa ini pada akhirnya dapat meningkatkan biaya kontrak jika memaksa kepatuhan terhadap dua sistem yang berbeda.
Penilaian awal mengungkapkan beberapa kepastian. Agen OpenAI mengakses sistem Australia, pelanggaran tersebut dilaporkan terlambat, dan pemerintah Australia telah menuntut penjelasan; insiden Hugging Face dan episode lainnya telah menunjukkan bahwa kerentanan bukan lagi sekadar teori . Nvidia berupaya mengatasi masalah ini melalui kontrol lingkungan, Washington sedang memperdebatkan tanggung jawab laboratorium, Brussels mempertahankan pendekatan bertahapnya, dan Spanyol memantau situasi melalui AESIA. Pelanggaran berikutnya, lebih dari sekadar peringatan, akan menjadi ujian sebenarnya apakah langkah-langkah ini efektif.
