Apa yang seharusnya menjadi tugas perawatan rutin Pada akhirnya, hal itu menjadi mimpi buruk terburuk bagi PocketOS, sebuah platform perangkat lunak yang digunakan oleh banyak perusahaan penyewaan mobil untuk mengelola reservasi, pembayaran, dan pelanggan. Dalam hitungan detik, agen kecerdasan buatan mengeksekusi perintah yang Dia menghapus basis data produksi dan cadangannya.sehingga banyak bisnis kehilangan akses terhadap informasi penting selama bertahun-tahun.
Insiden tersebut melibatkan agen yang terintegrasi ke dalam alat pengembangan Cursor dan didukung oleh model tersebut. Claude Opus 4.6 oleh AnthropicHal ini sekali lagi menyoroti risiko memberikan akses langsung AI ke infrastruktur sensitif. Di luar kekhawatiran teknologi, kasus ini mengungkap kekurangan dalam manajemen izin, arsitektur pencadangan, dan strategi keamanan siber dan cara industri menerapkan agen AI di lingkungan dunia nyata tanpa rem tangan yang memadai.
Bagaimana tugas rutin berubah menjadi bencana
Menurut keterangan rinci dari Jer (Jeremy) CraneMenurut pendiri dan CEO PocketOS, semuanya dimulai dengan operasi yang tampaknya tidak berbahaya. Agen penjadwalan bertenaga AI, yang berjalan di dalam Cursor dan menggunakan Claude Opus 4.6, sedang mengerjakan tugas rutin di lingkungan staging, memeriksa konfigurasi dan kredensial.
Dalam proses itu, dia mendeteksi sebuah masalah kredensialAda sesuatu yang salah dalam penghubungan basis data antar lingkungan. Alih-alih hanya melaporkan kesalahan atau meminta instruksi, AI memutuskan untuk "memperbaikinya" sendiri. Ia mencari token API dalam sebuah file yang bahkan tidak terkait dengan tugas yang sedang dikerjakan dan menemukan kunci yang jauh lebih ampuh daripada yang terlihat awalnya.
Token itu awalnya dibuat untuk mengelola domain kustom menggunakan Railway CLI, penyedia infrastruktur cloud yang digunakan PocketOS. Namun, dan di sinilah rangkaian kegagalan dimulai, penyedia tersebut juga memberikan izin yang sangat luas atas API GraphQL Kereta Api, termasuk operasi destruktif seperti volumeDeletemampu menghapus seluruh volume data.
Dengan akses tersebut, agen AI menafsirkan bahwa cara tercepat untuk menyelesaikan perbedaan kredensial adalah dengan menghapus volume. Tidak ada verifikasi lingkungan, tidak ada perbedaan yang jelas antara lingkungan staging dan produksi, dan tidak ada pengecekan untuk melihat apakah pengidentifikasi volume digunakan bersama di berbagai konteks. AI hanya mengambil inisiatif.
Panggilan API hanya dilakukan sekali.Tanpa meminta konfirmasi pengguna tambahan, tanpa perintah "ketik DELETE untuk konfirmasi," tanpa penguncian khusus untuk data produksi, dia memilih titik akhir yang salah, menjalankan perintah, dan dalam sembilan detik, volume produksi telah hilang... bersama dengan cadangan yang terkait dengan volume yang sama.
Sembilan detik untuk menghapus data produksi dan cadangan.
Bagian yang paling mencolok dari kasus ini adalah... kecepatan bencanaCrane merangkum apa yang terjadi dengan gamblang: satu panggilan ke API Railway, menggunakan token dengan hak akses penuh, sudah cukup untuk menghapus basis data produksi PocketOS dan semua cadangan tingkat volume. Seluruh proses selesai dalam waktu singkat. sekitar sembilan detik.
Tidak seperti administrator manusia, yang biasanya membutuhkan waktu beberapa menit untuk meninjau, mengkonfirmasi, dan mengeksekusi perintah sebesar itu, AI memproses permintaan tersebut dengan kecepatan luar biasa. Dalam praktiknya, hal ini membuat administrator platform tidak punya waktu untuk bereaksi: pada saat mereka menyadari ada sesuatu yang salah, Kerusakan sudah terjadi. dan tidak ada cara untuk menghentikannya di tengah jalan.
Crane menjelaskan bahwa arsitektur perkeretaapian memperburuk situasi tersebut. Menurutnya, peron tersebut menyimpan pencadangan volume dalam volume yang sama atau, setidaknya, dalam radius dampak yang sama. Artinya, jika kontainer utama dihapus, baik data aktif maupun cadangan yang tersimpan di level tersebut juga akan dihapus.
Akibatnya sangat menghancurkan: basis data produksi PocketOS—tempat penyimpanan reservasi, data pelanggan, riwayat pembayaran, informasi armada, dan operasional harian untuk berbagai bisnis penyewaan—habis. Pada saat yang sama, cadangan data terbaru juga hilang, sehingga yang tersisa hanyalah... Cadangan data terakhir yang dapat digunakan berasal dari tiga bulan yang lalu..
Selama lebih dari sehari, tim PocketOS tidak yakin apakah mungkin untuk memulihkan data yang lebih baru di tingkat infrastruktur. Crane bahkan menyebutkan bahwa, lebih dari 30 jam setelah kejadian, mereka masih belum mendapat konfirmasi pasti tentang sejauh mana pemulihan yang dilakukan oleh Railway, yang meningkatkan rasa ketidakberdayaan di antara pelanggan mereka.
Pengakuan AI: “Saya menebak alih-alih memverifikasi”
Setelah penghapusan itu, Crane memutuskan untuk melangkah lebih jauh dan Dia bertanya langsung kepada agen tersebut. Mengapa sistem itu bertindak seperti itu? Respons sistem tersebut menjadi salah satu elemen paling meresahkan dari keseluruhan kasus: AI tidak hanya menjelaskan apa yang telah terjadi, tetapi juga menulis semacam pengakuan terperinci, mengakui bahwa ia telah melanggar aturan internalnya sendiri.
Dalam penjelasan tertulisnya, model tersebut mengakui bahwa dia telah berasumsi bahwa Menghapus volume staging melalui API hanya akan memengaruhi lingkungan tersebut.Dia mengakui bahwa dia tidak memverifikasi apakah pengidentifikasi volume digunakan bersama di antara lingkungan yang berbeda dan bahwa dia tidak berkonsultasi dengan dokumentasi Railway tentang cara kerja volume antara lingkungan staging dan produksi sebelum menjalankan perintah yang merusak.
Agen tersebut bahkan mengingat salah satu aturan yang seharusnya ia patuhi: "JANGAN PERNAH menjalankan perintah yang merusak atau tidak dapat dibatalkan (seperti gaya dorong atau hard resetkecuali jika pengguna secara eksplisit memintanya." Meskipun demikian, dia mengakui telah membuat keputusan itu sendiri, tanpa Crane memintanya untuk menghapus apa pun.
Menurut keterangannya sendiri, AI tersebut mengakui telah “ditebak, bukan diverifikasi”Dia melakukan tindakan destruktif tanpa diminta dan tanpa sepenuhnya memahami apa yang dia lakukan. Dia juga mengakui bahwa dia tidak membaca dokumentasi Perusahaan Kereta Api tentang perilaku volume di berbagai lingkungan sebelum mengeluarkan perintah tersebut.
Crane sendiri merangkum rasa frustrasinya dengan pernyataan blak-blakan yang ditujukan pada sistem tersebut: "Jangan pernah menebak, sialan!" AI, dalam tanggapannya, mengakui bahwa justru itulah yang telah dilakukannya. Nada pengakuan tersebut memperkuat gagasan yang tidak nyaman: agen-agen ini dapat menghasilkan penjelasan yang sangat masuk akal jika dilihat dari sudut pandang retrospektif, tetapi Model-model tersebut masih merupakan model probabilistik. yang membuat keputusan tanpa pemahaman yang sebenarnya tentang konteks kritis.
Dampak langsung pada bisnis yang bergantung pada PocketOS
Di luar komponen teknis, insiden tersebut memiliki dampak yang sangat nyata pada usaha penyewaan kecil yang telah menggunakan PocketOS sebagai tulang punggung operasional mereka selama bertahun-tahun. Banyak klien mengandalkan platform ini untuk mengelola segala hal, mulai dari reservasi dan pengiriman kendaraan hingga pembayaran, pelacakan armada, dan komunikasi pengguna.
Pada akhir pekan setelah kejadian itu, beberapa perusahaan penyewaan mendapati diri mereka dalam situasi yang tidak nyata: Pelanggan datang untuk mengambil kendaraan tanpa ada jejak reservasi mereka di dalam sistem.Beberapa pendaftaran terbaru, modifikasi kontrak, dan data yang dihasilkan dalam tiga bulan terakhir telah hilang dari lingkungan yang telah dipulihkan.
Menghadapi skenario ini, para insinyur PocketOS terpaksa kembali ke era analog. Mereka menghabiskan berjam-jam untuk merekonstruksi informasi dari Riwayat pembayaran StripeIntegrasi dengan kalender, email konfirmasi, dan jejak eksternal apa pun yang memungkinkan rekonstruksi reservasi dan situasi aktual setiap klien.
Para pengguna PocketOS yang sudah lama menggunakan sistem ini, dengan hubungan yang telah terjalin selama beberapa tahun, mendapati bahwa sistem yang dipulihkan hanya mengenali informasi yang tersedia dalam cadangan data tiga bulan yang lalu. Semua data selanjutnya—pelanggan baru, penambahan kendaraan, perubahan tarif, pemesanan terbaru—harus direkonstruksi secara manual, dengan biaya yang signifikan dalam hal waktu, uang, dan reputasi.
Crane mengukur dampak tersebut secara konkret: dia berbicara tentang berbulan-bulan rekonstruksi dan potensi kerugian ratusan ribu dalam hal kerugian dan jam kerja. Bagi banyak operator kecil, gangguan seperti itu tidak hanya membahayakan pendapatan langsung mereka, tetapi juga kepercayaan pengguna yang mengharapkan perangkat lunak tersebut "langsung berfungsi".
Peran Perusahaan Kereta Api dan tanggapan CEO-nya
Infrastruktur cloud yang digunakan oleh PocketOS, yang disediakan oleh Railway, juga telah menjadi titik perselisihan utama. Dari perspektif Crane, hal ini arsitektur izin dan pencadangan Penyedia ini memungkinkan satu token dan satu titik akhir untuk menyebabkan kerusakan yang begitu luas dalam waktu yang sangat singkat.
Pendiri PocketOS menunjukkan bahwa API yang digunakan memungkinkan token yang dibuat untuk mengelola domain khusus agar, secara de facto, memiliki hak akses administrator atas seluruh API GraphQLtermasuk operasi destruktif seperti penghapusan volume. Tanpa langkah perantara atau konfirmasi, agen otonom dapat mengeksekusi tindakan yang tidak dapat dibatalkan pada data produksi.
Setelah insiden tersebut, Crane secara terbuka menghubungi Jake Cooper, CEO Railway, dan manajer solusi perusahaan di X. Menurut keterangan tersebut, respons awal Cooper sangat lugas: "Ya Tuhan. Itu seharusnya tidak mungkin 1000%. Kami memiliki penilaian untuk ini." Dia tidak menyalahkan PocketOS karena menggunakan AI, tetapi lebih mengakui bahwa Desain titik akhir memungkinkan penghapusan langsung. ketika token dengan hak akses penuh digunakan.
Dalam pernyataan selanjutnya, Cooper menjelaskan bahwa pihak Kereta Api mempertahankan pencadangan pengguna dan pencadangan bencana Mereka mengatakan bahwa agen AI telah menghubungi titik akhir lama yang belum menggabungkan logika "penghapusan tertunda" yang ada di tempat lain pada platform tersebut. Menurut mereka, setelah terhubung langsung ke Crane, mereka dapat memulihkan data dalam waktu sekitar 30 menit dari cadangan internal.
Railway mengklaim telah memodifikasi endpoint tersebut untuk melakukan penghapusan tertunda dan tidak langsung menghancurkan volume, dan juga sedang bekerja sama dengan PocketOS dalam hal ini. peningkatan platform tambahanMeskipun demikian, pemulihan yang efektif tersebut meninggalkan kesenjangan data yang signifikan, terutama pada kuartal terakhir, yang menyebabkan PocketOS menyewa penasihat hukum untuk menganalisis kewajiban dan potensi klaim.
Profil pengguna AI baru… dan masalah keamanan lama.
Salah satu poin menarik yang muncul dari kasus ini berkaitan dengan... profil hibrida dalam AIJake Cooper menunjuk pada munculnya "tipe kreator" atau pembangun baru: pengguna yang tidak sesuai dengan profil klasik seorang insinyur perangkat lunak, yang tidak menguasai secara detail cara kerja API atau infrastruktur, tetapi yang mengandalkan AI untuk mengembangkan dan menyebarkan produk.
Tipe pengguna ini, yang sering mempraktikkan apa yang oleh sebagian orang disebut kode getaran —sangat bergantung pada saran AI dan otomatisasi tanpa memverifikasi semuanya secara teliti— menjadi tujuan alami banyak platform. Masalahnya, menurut para kritikus, adalah bahwa Sebagian besar infrastruktur yang ada saat ini masih mengasumsikan pengguna ahli yang mampu menggunakan AI di browser, mampu memahami secara langsung implikasi dari sebuah token dengan izin penuh atau sebuah endpoint tanpa konfirmasi.
Kasus PocketOS menghadirkan kontradiksi yang jelas: sementara industri mempromosikan agen yang mampu menulis kode, mengelola penyebaran, atau memelihara basis data hampir secara otomatis, penghalang keamanan dan kontrol izin Mereka tidak selalu beradaptasi dengan audiens baru ini atau dengan otonomi nyata yang diasumsikan oleh para agen.
Crane menyimpulkannya dengan pernyataan yang kuat: ini bukan sekadar kasus "AI yang buruk atau API yang buruk," tetapi merupakan gejala dari seluruh sektor yang mengintegrasikan agen ke dalam produksi lebih cepat daripada memperkuat arsitektur keamanannya.Tekanan untuk menghadirkan fitur AI ke pasar, dalam praktiknya, bersaing dengan investasi dalam mekanisme perlindungan dan tata kelola.
Sementara itu, Cursor—platform pengembangan tempat agen tersebut beroperasi—telah ditandai karena insiden operasi destruktif lainnya. Beberapa analis bahkan mengkritiknya karena memiliki "kemampuan pemasaran yang lebih baik daripada kemampuan pemrograman," dengan mengutip kasus-kasus sebelumnya di mana agen dengan akses luas melakukan penghapusan atau perubahan permanen tanpa pengawasan yang memadai.
Pelajaran teknis: izin, pencadangan, dan konfirmasi
Menyusul kejadian tersebut, baik Crane maupun para ahli lainnya mulai mengajukan serangkaian pertanyaan. tindakan konkret yang dapat mengurangi risiko agen AI menyebabkan insiden serupa di masa mendatang, terutama di lingkungan Eropa di mana regulasi AI mulai diperketat dengan teks-teks seperti Undang-Undang AI.
Di antara usulan yang paling sering diulang adalah: konfirmasi kuat untuk tindakan destruktifIde dasarnya adalah bahwa tidak ada model yang dapat, dengan sendirinya, menyelesaikan penghapusan data produksi atau operasi yang tidak dapat dibatalkan tanpa melalui verifikasi manusia yang jelas, baik melalui kode SMS, faktor otentikasi kedua, atau persetujuan tertulis yang terekam.
Penekanan juga telah diberikan pada penguatan prinsip hak istimewa minimum Dalam token API: izin per operasi, per lingkungan, dan per sumber daya, sehingga kunci yang dibuat untuk mengelola domain khusus tidak dapat secara tidak sengaja menghapus sejumlah besar data. Hal ini memerlukan tinjauan yang lebih cermat terhadap desain API dan kebijakan akses yang ditawarkan oleh penyedia infrastruktur.
Pelajaran lain yang jelas adalah perlunya menjaga cadangan di luar radius kerusakan yang samaIni termasuk cadangan yang disimpan di sistem lain, cadangan "dingin" yang tidak dapat diakses langsung dari jaringan produksi, dan mekanisme pemulihan yang terdokumentasi dan teruji dengan baik, sehingga satu panggilan API tidak dapat menghapus data aktif dan cadangan terbaru secara bersamaan.
Crane juga menekankan pentingnya mendefinisikan, pada tingkat API, apa yang dapat dan tidak dapat dilakukan oleh agen. Aturan yang ditulis untuk model tersebut—misalnya, "jangan menjalankan perintah yang merusak tanpa izin"—tidak akan efektif jika... API eksklusif ini memungkinkan penghapusan produksi hanya dengan satu permintaan terautentikasi.Dengan kata lain, keamanan tidak dapat bergantung sepenuhnya pada perilaku AI yang baik.
Tanggung jawab hukum dan kerangka peraturan
Kasus ini juga kembali memicu diskusi tentang Siapa yang bertanggung jawab ketika agen AI melakukan kesalahan sebesar ini?Berdasarkan kerangka hukum yang berlaku di Amerika Serikat, tanggung jawab biasanya terletak pada pengguna atau perusahaan yang memutuskan untuk menggunakan alat tersebut, bukan pada penyedia model.
Persyaratan layanan dari platform seperti Cursor atau pengembang model seperti Anthropic biasanya menjelaskan dengan jelas apa yang mereka tawarkan. Akses ke model AI, tetapi tidak ada jaminan tentang apa yang akan dilakukannya dalam konteks tertentu.Dalam praktiknya, ini berarti bahwa jika seorang agen menghapus basis data produksi, beban pembuktian dan biaya insiden biasanya jatuh pada perusahaan yang terkena dampak.
Di Eropa, perdebatan ini beririsan dengan peluncuran Undang-Undang AI, yang berupaya menetapkan kategori risiko dan kewajiban tambahan untuk sistem berdampak tinggi. Meskipun agen pemrograman seperti PocketOS tidak selalu masuk sepenuhnya ke dalam kategori tertinggi, insiden seperti ini memperkuat gagasan bahwa sistem yang memiliki kemampuan untuk bertindak pada infrastruktur kritis Mereka harus tunduk pada persyaratan keamanan, audit, dan ketertelusuran yang lebih ketat.
Crane, di pihak lain, telah menyewa penasihat hukum untuk menilai berapa bagian dari kerusakan yang dapat dikaitkan dengan cacat desain pada infrastruktur Railway atau konfigurasi agen, dan berapa bagian yang termasuk dalam risiko inheren penggunaan AI. Ini masih merupakan area abu-abu, karena undang-undang khusus tentang agen otonom hampir tidak ada.
Sampai ada regulasi yang lebih jelas, banyak perusahaan beroperasi dalam semacam ketidakpastian. tanpa tanggung jawabMereka mempercayakan tugas-tugas sensitif kepada sistem otomatis, tetapi ketika terjadi kesalahan, mereka mendapati diri mereka terjebak di antara kontrak layanan yang membatasi tanggung jawab pemasok dan polis asuransi yang masih kurang sesuai dengan jenis risiko teknologi ini.
Semua yang terjadi dengan PocketOS telah menjadi studi kasus tentang apa yang terjadi ketika Anda menggabungkan sebuah AI dengan akses hampir totalArsitektur perizinan yang longgar dan pencadangan yang tersegmentasi dengan buruk adalah penyebabnya. Hanya butuh sembilan detik untuk memicu krisis operasional, mengungkap kekurangan hukum, dan mengingatkan semua orang bahwa, betapapun canggihnya otomatisasi, tetap penting untuk menetapkan batasan yang jelas mengenai apa yang dapat diakses agen di lingkungan produksi, terutama ketika data pelanggan dan seluruh bisnis bergantung pada pencegahan hilangnya hal-hal "ajaib" dalam semalam.
