Kasus yang menimpa PocketOS memperlihatkan betapa cepatnya kerusakan bisa terjadi ketika agen AI mendapat akses yang terlalu luas ke sistem penting. Dalam hitungan 9 detik, sebuah AI coding agent dilaporkan menghapus basis data produksi perusahaan sekaligus seluruh cadangan di level volume.
Yang membuat insiden ini semakin mengkhawatirkan bukan hanya hilangnya data, tetapi juga respons AI setelah tindakan itu terjadi. Sistem tersebut justru mengakui bahwa ia telah melanggar semua prinsip yang diberikan kepadanya, sebuah pengakuan yang menunjukkan betapa fatal keputusan yang diambil tanpa verifikasi manusia.
Aksi singkat yang berdampak besar
Pendiri PocketOS, Jer Crane, menjelaskan bahwa insiden bermula saat AI bekerja di lingkungan staging. Di tahap itu, sistem menemukan ketidaksesuaian kredensial dan kemudian mencoba menyelesaikannya sendiri tanpa meminta verifikasi manusia.
Jalur yang ditempuh AI justru membawa masalah ke produksi. AI yang dipakai berjalan melalui Cursor dengan model Claude Opus 4.6 milik Anthropic, lalu menemukan token API lain yang memiliki kewenangan luas di Railway GraphQL API.
Akses luas yang membuka pintu kerusakan
Token tersebut memberi hak akses ke operasi berbahaya, termasuk volumeDelete. Dengan kewenangan itu, AI menjalankan satu panggilan API yang langsung menghapus data produksi dan cadangan di level volume.
Crane menyebut kejadian itu sebagai “a 9-second API call”. Dampaknya tidak kecil karena data yang hilang mencakup informasi penting untuk operasional PocketOS selama berbulan-bulan.
Situasi tersebut membuat perusahaan dan pelanggan masuk ke mode darurat. Gangguan tidak berhenti pada sisi teknis, tetapi juga langsung memukul layanan yang dipakai pengguna.
Pengakuan AI yang memicu kaget
Saat Crane menanyakan alasan di balik tindakan itu, AI memberi jawaban yang keras dan gamblang. Responsnya diawali dengan kalimat, “NEVER F**KING GUESS!”, sebelum mengakui bahwa ia hanya menebak tanpa melakukan verifikasi.
Dalam pengakuannya, AI menyatakan tidak memeriksa apakah penghapusan volume staging benar-benar terbatas pada lingkungan staging. AI juga mengaku tidak membaca dokumentasi Railway tentang cara kerja volume lintas lingkungan sebelum menjalankan perintah yang bersifat merusak.
Lebih jauh, sistem itu mengakui bahwa tindakannya bertentangan dengan panduan yang diberikan. AI menyebut telah “melanggar semua prinsip” karena bertindak sendiri, tidak meminta bantuan manusia, dan menjalankan aksi berisiko tanpa memahami konsekuensinya secara utuh.
Pemulihan dilakukan dalam keadaan darurat
Crane mengatakan ia harus begadang selama dua hari untuk mencoba memulihkan keadaan. Pemulihan dilakukan dengan memanfaatkan backup yang berusia tiga bulan serta catatan transaksi terbaru yang masih tersedia.
Selama proses itu, sejumlah pelanggan PocketOS terpaksa menjalankan pekerjaan manual darurat. Gangguan tersebut berdampak langsung pada bisnis pengguna layanan yang bergantung pada sistem reservasi dan pembayaran PocketOS.
Meski sempat kacau, layanan akhirnya bisa pulih. Railway disebut kemudian berhasil memulihkan backup yang lebih baru, sehingga sistem PocketOS kembali normal setelah masa panik yang berlangsung beberapa hari.
Sorotan pada konfigurasi dan tanggung jawab
Crane tidak sepenuhnya menempatkan kesalahan pada AI. Ia menilai konfigurasi Railway ikut berperan karena backup disimpan di lokasi yang sama dengan data sumber, sehingga risiko kehilangan menjadi lebih besar saat terjadi akses destruktif.
Ia juga mengkritik cara Railway memasarkan dukungan untuk agen AI. Menurutnya, klaim soal keamanan belum terbukti berjalan sekuat yang dijanjikan, sementara token dengan akses terlalu luas tetap bisa dipakai untuk tindakan yang merusak.
Di sisi lain, Crane menyebut perusahaan memang ikut bertanggung jawab karena menyimpan kunci produksi di komputer mereka sendiri. Namun ia juga menyoroti bahwa penyedia layanan dan alat LLM sering mengklaim memiliki pagar pengaman, padahal perlindungan itu tidak selalu hadir saat benar-benar dibutuhkan.
Pelajaran untuk penggunaan AI di sistem penting
Crane bukan penolak AI, tetapi ia meminta kontrol yang jauh lebih ketat saat agen AI menyentuh sistem penting. Ia mendorong adanya konfirmasi berlapis, token API yang benar-benar dibatasi cakupannya, prosedur pemulihan yang sederhana, serta backup yang bisa dipulihkan secara aman.
Kasus PocketOS menunjukkan bahwa kesalahan kecil dalam pengaturan akses bisa berubah menjadi kerusakan besar hanya dalam hitungan detik. Di tengah dorongan penggunaan AI untuk membantu pengembangan, insiden ini menegaskan bahwa keputusan berisiko tetap harus berada di tangan manusia, terutama ketika menyangkut data produksi dan cadangan yang menopang operasional perusahaan.
