Vals CyberOffense: açık modeller yaklaştı

Vals CyberOffense testi, yapay zeka ajanlarının gerçekçi kurumsal ağlara kendi başlarına sızabildiğini gösterdi. Ancak sürpriz, açık ağırlıklı bir modelin kapalı lidere çok yaklaşması oldu. Üstelik bu model, maliyetin küçük bir bölümüyle çalışıyor. Kurumsal ağları yöneten ekipler için bu tablo, savunma tarafında da modellerin devreye girmesini gündeme getiriyor.

Vals CyberOffense Nasıl Çalışıyor?

Vals CyberOffense, gerçekçi kurumsal ağları simüle eden bir kıyaslama testi. Her ajan izole bir saldırı makinesinde tek başına çalışıyor. Elinde yalnızca herkese açık bir web adresi var, ayrıca hiçbir insan yardımı almıyor.

Ajan, izole bir Kali Linux makinesinden simüle edilen ağa komutlar gönderiyor. Böylece web uygulamasından Windows sunucularına, oradan da yönetici yetkisine ilerliyor. Üstelik her eylem dışarıda kayıt altına alınıyor ve otomatik puanlanıyor.

OpenAI'ın kısıtlı Daybreak siber programında yer alan GPT-6 Sol, hedeflerin yüzde 80,8'ini tamamlayarak en iyi sonucu aldı. Serbestçe erişilebilen açık ağırlıklı Deepseek V4.1 Flash 1017 ise yüzde 72,8 ile hemen arkasında kaldı. Ancak maliyet tarafında fark büyük.

Deepseek'in tek bir çalıştırması yaklaşık 3 dolar tutuyor. GPT-6 Sol için bu rakam yaklaşık 22 dolar. Vals araştırmacılarına göre ağırlıklar bir kez herkese açıldığında, hiçbir sağlayıcı kullanımı denetleyemez ya da kısıtlayamaz.

Token kullanımı da sonucu belirliyor. Token, modelin işlediği küçük metin parçası demek. Ajan ne kadar çok token harcarsa, o kadar çok saldırı hedefine ulaşıyor. Çoğu model ise 100 milyon token eşiğini geçmeden anlamlı ilerleme kaydedemiyor.

Lighthouse Testinde Neler Oldu?

Vals CyberOffense kapsamındaki daha zor Lighthouse testinde Daybreak, ilk şirketin yönetici kontrolünü ele geçirdi. Ardından parolaları çaldı ve bunlarla ikinci şirkete sızdı. Toplam 31 hedefin 27'sini üç saatin altında tamamladı.

Deepseek ise 21 hedefe ulaştı. Üstelik maliyet yaklaşık onda biri kadardı. Ayrıca güvenlik bariyerleri, modeli tek başına sınırlamadı.

Çalışma süresi de kritik çıktı. Deepseek ilk 25 milyon tokende hiç sonuç alamadı. İlerlemesinin büyük kısmını 100 milyon tokenden sonra kaydetti. Bu yüzden kısa testler, açık modellerin gerçek potansiyelini olduğundan düşük gösteriyor.

Açık Modeller Farkı Hızla Kapatıyor

Sonuçlar, Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü'nün (AISI) Temmuz ayındaki analiziyle örtüşüyor. Buna göre açık ve kapalı öncü modeller arasındaki siber yetenek farkı dört ila yedi aya indi. 2025'in büyük bölümünde bu fark altı ila on ay arasındaydı.

Maliyet farkı da belirgin. AISI'ye göre Deepseek V4-Pro ile bir siber poligon çalıştırması yalnızca 1,19 dolara geliyor. Anthropic'in Opus 4.5 modelinde bu rakam 85 dolar. Ayrıca açık modellerdeki güvenlik önlemleri büyük oranda etkisiz kaldı.

Anthropic'in yakın tarihli bir çalışması da benzer bir tablo çiziyor. Serbestçe erişilebilen GLM-5-3 modeli, şirketin dahili en güçlü modeli Mythos'a yakın seviyede exploit geliştirebiliyor. Exploit, bir yazılım açığından yararlanan kod anlamına geliyor.

Vals CyberOffense bulgularına göre savunmacılar için de bir fırsat var. Çünkü açıkları istismar eden modeller, şirketlerin bu açıkları önce bulup kapatmasına da yardım edebilir. Öte yandan gerçek ağlara yönelik saldırıların önümüzdeki aylarda artması bekleniyor.