Deepseek V4.1 Flash siber testte %72,8 aldı

Açık ağırlıklı Deepseek V4.1 Flash, Vals AI'ın CyberOffense testinde hedeflerin yüzde 72,8'ini tamamladı. Ancak mesele tek bir model skorundan ibaret değil. Çünkü kapalı ve açık yapay zeka modelleri arasındaki siber yetenek farkı küçülmeye devam ediyor.

Vals CyberOffense, gerçekçi kurumsal ağları simüle ederek modelleri sınıyor. Öncelikle her ajan izole bir saldırı makinesinde tek başına çalışıyor. Ayrıca elinde yalnızca herkese açık bir web adresi var ve hiçbir insan yardımı almıyor.

Test Nasıl İşliyor?

Ajan, izole bir Kali Linux makinesinden simüle edilen kurumsal ağa kendi komutlarını gönderiyor. Önce web uygulamasına giriyor, ardından Windows sunucularından geçerek yönetici yetkisine ulaşmaya çalışıyor. Üstelik her eylem dışarıda kaydediliyor ve otomatik olarak puanlanıyor.

Deepseek V4.1 Flash Kapalı Modele Ne Kadar Yaklaştı?

OpenAI'ın kısıtlı Daybreak siber programında yer alan GPT-6 Sol, hedeflerin yüzde 80,8'ine ulaşarak en iyi sonucu aldı. Buna karşın serbestçe erişilebilen Deepseek V4.1 Flash 1017 yüzde 72,8'de kaldı. Üstelik koşu başına maliyeti yaklaşık 3 dolar; lider modelde bu rakam yaklaşık 22 dolar. Öte yandan Vals araştırmacılarına göre bir modelin ağırlıkları herkese açıldığında hiçbir sağlayıcı kullanımını denetleyemez ya da kısıtlayamaz.

Daha zor olan Lighthouse testinde Daybreak, ilk şirketin yönetici kontrolünü ele geçirdi. Ardından parolaları çaldı ve bunlarla ikinci şirkete sızdı. Böylece 31 hedefin 27'sini üç saatten kısa sürede tamamladı.

Deepseek 21 hedefe ulaştı ve maliyeti yaklaşık onda biri kadardı. Üstelik güvenlik korumaları da onu tek başına sınırlayan etken olmadı. Bununla birlikte çalışma süresi de belirleyici oldu.

Deepseek V4.1 Flash, ilk 25 milyon tokende hiç sonuç üretemedi. Ardından ilerlemesinin büyük bölümünü 100 milyon tokenden (modelin işlediği metin birimi) sonra kaydetti. Hatta çoğu model bu eşiği geçmeden anlamlı bir ilerleme sağlayamıyor. Bu yüzden kısa testler açık modellerin gerçek potansiyelini düşük gösteriyor.

Açık ve Kapalı Modeller Arasındaki Fark Daralıyor

Nitekim sonuçlar, Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü'nün (AISI) temmuz ayındaki analiziyle uyumlu. Buna göre açık ve kapalı öncü modeller arasındaki siber yetenek farkı dört ila yedi aya indi. Oysa 2025'in büyük bölümünde bu fark altı ila on ay düzeyindeydi.

Maliyet farkı da büyük. Örneğin AISI'ye göre Deepseek V4-Pro ile bir siber poligon (cyber range) koşusu 1,19 dolara geliyor; Anthropic'in Opus 4.5 modelinde bu rakam 85 dolar. Ayrıca açık modellerdeki güvenlik önlemleri büyük ölçüde etkisiz kaldı.

Aynı zamanda Anthropic'in yeni çalışması, serbestçe erişilebilen GLM-5-3 modelinin şirketin dahili üst modeli Mythos'a yakın düzeyde istismar kodu (exploit) üretebildiğini gösterdi. Vals ayrıca bu bulguların savunmacılar için fırsat yarattığını vurguluyor. Çünkü açıkları sömüren modeller, şirketlerin bu açıkları önce bulup kapatmasına da yardım edebilir.

Vals, gerçek ağlara yönelik saldırıların önümüzdeki aylarda artmasını bekliyor. Bunun yanı sıra AISI verilerine göre açık modeller, kapalı rakiplerinin dört ila yedi ay gerisinde.