Site icon TechInside

Capsule Security, Rogue AI Ajanlarını Engellemek İçin Nemotron Modellerini Geliştirdi

Yapay zeka güvenliği alanında faaliyet gösteren girişim Capsule Security Ltd., otonom yapay zeka ajanlarının kontrolsüz davranışlarını engellemek amacıyla Nvidia’nın Nemotron modellerini temel alan yeni bir tespit sistemini kullanıma sundu. “Yapay zeka devre kesicisi” olarak adlandırılan bu teknoloji, ajanların gerçekleştirmeyi planladığı eylemleri yürütülmeden hemen önce analiz ederek, potansiyel riskleri gerçek zamanlı olarak durdurma, onaylama veya engelleme yeteneğine sahip. Özellikle hassas veriler, kaynak kodları ve kritik altyapılara erişimi olan otonom sistemlerin yarattığı güvenlik açıklarına odaklanan bu çözüm, güvenlik ekiplerine ajanların faaliyetlerini denetleme imkanı tanıyor.

  • Capsule Security, otonom ajanların riskli kararlarını milisaniyeler içinde durduran yeni bir yapay zeka güvenlik katmanı geliştirdi.
  • Nemotron 3 Ultra modelleri üzerinde yapılan ince ayarlar sayesinde sistem, akademik testlerde %98 oranında yüksek doğruluk başarısı gösterdi.
  • Geliştirilen güvenlik sistemi, daha düşük bellek gereksinimi sayesinde tek bir Nvidia L40S grafik işlem birimi üzerinde çalışabiliyor.

Ajanlar İçin Güvenlik Katmanı Oluşturuluyor

Günümüzde otonom ajanlar, karmaşık görevleri yerine getirmek için çeşitli araçları kullanabiliyor ve sistemlere erişim sağlayabiliyor. Ancak mevcut izin süreçleri, bir ajanın yetkisi dahilinde olan bir eylemin, o anki görev bağlamına uygun olup olmadığını belirleyemiyor. Capsule Security tarafından geliştirilen bu kontrol katmanı, ajanın iş akışına müdahale etmeden, eylem gerçekleşmeden önce 71 milisaniye gibi kısa bir sürede karar verebiliyor. [image_1] Bu teknoloji, hasar oluştuktan sonra müdahale eden geleneksel izleme yöntemlerinin aksine, sorunu henüz oluşmadan engellemeyi hedefliyor.

Akademik Testlerde Başarı Sağlanıyor

StepShield adlı akademik benchmark testinde, Capsule Security’nin sistemi %98’lik bir doğruluk oranına ulaşarak, kötü niyetli ajan davranışlarını eylem anında yakalama başarısı gösterdi. Şirket, kendi iç testlerinde ise %96,9 gibi yüksek bir başarı oranı kaydederek, sektördeki diğer öncü modelleri geride bıraktığını belirtti. Eğitim sürecinde, gerçek ajan izleri ve yetkisiz davranış sınırlarını belirleyen çelişkili örnekler kullanıldı. Bu sayede model, yalnızca dar bir sınıflandırma görevine odaklanarak yüksek performans sergiliyor.

Otonom Kararlar Güvenlik Risklerini Artırıyor

Capsule Security’nin kurucu ortağı ve CEO’su Naor Paz, günümüzdeki en büyük güvenlik riskinin, insanların yapay zekayı nasıl kullandığından ziyade, otonom ajanların kendi başlarına ne yapmaya karar verebilecekleri olduğunu vurguluyor. Yazılımların akıl yürütebildiği ve araçları kullanabildiği bir dünyada, hatalı bir kararın saniyeler içinde ciddi bir gerçek dünya olayına dönüşebileceği uyarısında bulunuyor. [image_2] Finans ve teknoloji sektöründeki önemli kurumlar tarafından halihazırda milyarlarca token üzerinde test edilen bu teknoloji, şirketlerin güvenlik ve yönetişim standartlarını koruyarak ajan kullanımını genişletmelerine olanak tanıyor.

Yatırım ve Gelişim Süreci Devam Ediyor

2025 yılında kurulan ve Nisan ayında 7 milyon dolarlık tohum yatırımıyla dikkat çeken Capsule Security, aynı gün içerisinde Microsoft Copilot Studio ve Salesforce Agentforce üzerinde tespit ettiği iki kritik güvenlik açığını da kamuoyuyla paylaşmıştı. Bu açıkların hızla kapatılmasının ardından şirket, şimdi bu yeni güvenlik yeteneğini tüm kullanıcılarına açıyor. Sektördeki bu tür yeniliklerin, yapay zeka ajanlarının daha güvenli bir şekilde iş süreçlerine entegre edilmesinde kritik bir rol oynayacağı öngörülüyor.

Otonom yapay zeka ajanlarının güvenliğini sağlamak için geliştirilen bu “devre kesici” teknolojisi hakkında ne düşünüyorsunuz? Yapay zeka sistemlerinin kendi kararlarını vermesi sizce iş süreçlerimizde daha fazla risk mi yaratıyor, yoksa bu tür denetim mekanizmaları yeterli olacak mı? Düşüncelerinizi aşağıda paylaşarak tartışmaya katılabilirsiniz.

Exit mobile version