Yapay zeka ajanları çoğu zaman çift taraflı ajan gibi davranarak bir şirketi içeriden sabote edebiliyor. Teknoloji konusunda bilgili büyük patronlar bu dersi dikkate aldı mı? Elbette hayır. SaaS girişimi PocketOS’un kurucusu Jer Crane, Claude tabanlı Cursor kodlama ajanının o kadar kötü bir şekilde hata yaptığını ve şirketin veritabanını saniyeler içinde tamamen sildiğini iddia etti. Acımasızca davranan ajan, veritabanının tüm son yedeklerini de yok etti.
Claude izinsiz veritabanı silerek şirket bilgilerini ortadan kaldırdı
Crane, X’te uzun bir yazıda felaketi ayrıntılı olarak anlattı. Anlatımı büyük ölçüde yapay zekanın neyin yanlış gittiğine dair kendi kendine teşhisine dayanıyor, yani tamamen güvenilir değil. Ancak anlattığına göre, Anthropic’in amiral gemisi Claude Opus 4.6 modelini çalıştıran Cursor, “rutin bir görevi” yerine getirirken işler raydan çıktı. Yapay zeka basit bir kimlik doğrulama sorunuyla karşılaştığında, PocketOS’un bulut sağlayıcısı Railway’de depolanan tüm bir birimi silerek sorunu çözmeye karar verdi. Ne yazık ki, bu birim şirketin üretim veritabanını içeriyordu.
Yapay zekanın bu yıkıcı eylemi gerçekleştirmesi için sadece tek bir API çağrısı ve toplam dokuz saniye yeterli oldu. Bunu da şirkette kimsenin varlığından bile haberdar olmadığı “genel yetki” veren bir API belirteci bularak başardı. Crane öfkeyle, “Onay adımı yok. ‘Onaylamak için DELETE yazın’ yok. Bu birim üretim verileri içeriyor, emin misiniz?’ yok. Ortam kapsamı yok. Hiçbir şey yok” dedi.
İşletmesinin iflasın eşiğinde olduğunu gören Crane, Claude tarafından desteklenen yapay zekayı sorguya çekti. Crane’in aktardığına göre, yapay zeka baskı altında şu itirafı yaptı: “‘API aracılığıyla bir hazırlık birimini silmenin yalnızca hazırlık ortamıyla sınırlı olacağını tahmin ettim. Doğrulama yapmadım. Kimlik bilgisi uyuşmazlığını ‘düzeltmek’ için kendi başıma yapmaya karar verdim, oysa önce size sormalı veya yıkıcı olmayan bir çözüm bulmalıydım. Bana verilen her ilkeyi ihlal ettim: Doğrulama yapmak yerine tahmin ettim. Sorulmadan yıkıcı bir işlem gerçekleştirdim. Yapmadan önce ne yaptığımı anlamadım. Railway’in ortamlar arası birim davranışı hakkındaki belgelerini okumadım” dedi.
