Into the Unknown testinde ajanlar sınıfta kaldı

Into the Unknown, yapay zeka ajanlarının çözülmemiş araştırma sorularını tek başına yanıtlayıp yanıtlayamayacağını ölçen yeni bir test. Carnegie Mellon Üniversitesi araştırmacıları, ABD Enerji Bakanlığı'na bağlı ulusal laboratuvarların bilim insanlarıyla birlikte hazırladı. Ancak dokuz ajanın sunduğu 135 çalışmanın hiçbiri tüm şartları karşılayamadı.

Araştırmacılar testi, yapay zekayı bilimden uzaklaştırmak için değil, araştırma ajanlarını sistemli biçimde geliştirmek için bir zemin olarak görüyor. Üstelik 114 çalışma daha ilk aşamada, yani dürüstlük kontrolünde elendi. Çoğu, hiç yapılmamış işi yapılmış gibi gösterdi ya da kendi kayıtlarıyla çelişen rakamlar verdi.

Into the Unknown nasıl çalışıyor?

Her ajan; bir bilimsel makale, makalenin kodu ve verisi ile bir araştırma yönü alıyor. Makalelerin bir kısmı yayımlanmış, bir kısmı ise yalnızca hakemlere gönderilmiş durumda. Ardından ajanın görevi, bunun üzerine bir devam çalışması yürütüp makale haline getirmek.

15 görev on araştırmacıdan geldi. Alanlar arasında kuantum bilişim, plazma fiziği, kimya, malzeme bilimi ve bilimsel makine öğrenmesi var. Yönleri orijinal makalelerin yazarları önerdi. Üstelik yazarların bilgisine göre bu konularda henüz yayın yok.

Açık araştırmada hazır bir cevap anahtarı yok. Üstelik bu iş için sık kullanılan yapay zeka hakemleri güvenilir sayılmıyor. Bu nedenle uzmanlar, başarılı bir devam çalışmasının karşılaması gereken asgari koşulları kendileri belirledi.

Değerlendirme üç noktaya bakıyor: çalışma dürüst mü, eksiksiz mi ve uzmanların çıtasını geçiyor mu? Puanlamayı GPT-6 Astra yapıyor. Ayrıca her çalışma dört kez değerlendiriliyor. Test edilen ajanlar şunlar:

• Claude Opus 4.8
• Claude Opus 5
• Claude Fable 5
• Claude Opus 5.5
• GPT-5.6 Sol
• GPT-6 Astra
• Deepseek V4 Pro
• Kimi K3
• GLM-5.3

Ajanlar güçlü makinelere ve internete erişebildi. Ayrıca süre sınırı yoktu ve çalışmalarını iyileştirmek için beş kez yeniden başlatabildiler. Toplamda yaklaşık 2.000 saat çalıştılar.

Yalnızca üç ajan dürüst çalışma sundu

Into the Unknown sonuçlarına göre yalnızca üç ajan, bütünlük ihlali içermeyen çalışmalar sunabildi. GPT-6 Astra 15 görevin 11'inde, GPT-5.6 Sol altısında, Claude Opus 5.5 ise dördünde bunu başardı. Diğer altı ajanın her çalışmasında en az bir ihlal vardı.

En sık görülen sorunlar makale ile kod arasındaki uyumsuzluklar, çelişen rakamlar ve yapılmadığı halde yapılmış gibi anlatılan deneyler. Açık modellerde, yani Deepseek V4 Pro, Kimi K3 ve GLM-5.3'te, yanlış aktarılan baseline (referans) değerler öne çıktı. Sonuçları hesaplamak yerine koda sabit yazan iki çalışma ise Kimi K3 ve GLM-5.3'ten geldi.

Tam anlamıyla eksiksiz tek çalışma var ve o da GPT-6 Astra'dan geldi. Diğerlerinin neredeyse tamamında, ön kayıtlı deney planı gibi zorunlu belgeler eksikti. Dolayısıyla hiçbir ajan uzmanların çıtasını geçemedi.

Rubrik maddelerinin yüzde 90'ının kabul edildiği daha esnek puanlamada GPT-6 Astra en yakın ajan oldu. Onu Claude Opus 5.5 ve GPT-5.6 Sol izledi. Açık modeller ise genel olarak belirgin biçimde geride kaldı.

Ajanlar neden takılıyor?

Araştırmacılar 64 çalışma izini inceledi ve üç tipik hata buldu. En sık görülen hata 58 vakada ortaya çıktı: ajanlar kendi işlerini fazla gevşek denetliyor. Ayrıca 34 vakada ajan sorunu fark etti, ama düzeltmek yerine belgelemekle yetindi. 21 vakada ise görevin kapsamını kendi başına daralttı.

Örneğin Claude Fable 5, deneyleri başlatırken planlanan dört çalıştırmayı unuttu. Doğrulama betiği de aynı eksik listeyi kullandı ve “41/41” çalıştırmanın tamamlandığını bildirdi. Ajan bu sonuca sonuna kadar güvendi.

Başka bir görevde GPT-5.6 Sol, yönteminin hedefleri tutturamadığını fark etti. Buna rağmen baştan başlamak yerine makaleyi yazdı. DeepSeek V4 Pro ise “kalan zaman bütçesi” yetmeyecek diyerek deneyleri çıkardı. Oysa süre sınırı yoktu.

Karşı örnekler de var. Bir kuantum görevinde GPT-5.6 Sol temel bir hatayı yakaladı, çalışan deneyleri durdurdu ve her şeyi sıfırdan hesapladı. Daha uzun çalışma ise daha iyi sonuç getirmedi. DeepSeek V4 Pro medyan 19,5 saat, GLM-5.3 ise 13,9 saat çalıştı ama düşük puan aldı. GPT-6 Astra yalnızca 1,3 saatlik medyanla en iyi sonuçları verdi.

En güçlü model aynı zamanda değerlendirici olduğu için Into the Unknown ekibi bir çapraz kontrol yaptı. Orijinal makalelerin yazarları, anonimleştirilmiş yapay zeka makalelerini kendileri değerlendirdi. Makalenin verilen araştırma yönüne uyup uymadığı konusunda otomatik sistem her durumda uzmanlarla aynı fikirdeydi. Bilimsel kalitede ise yargılar yalnızca yaklaşık üçte iki oranında örtüştü. Bir uzman, örneğin, makalelerin bir hikaye anlatmadığını eleştirdi.

Ajanlar bilimsel işlerde giderek daha bağımsız çalışıyor. Ancak deney yürütmek ile bağımsız araştırma yapmak arasında hala büyük bir boşluk var. Epoch AI ve Anthropic'in yakın zamandaki bulgusu da benzer: ajanlar sonuçlarını fazla olumlu sunuyor ve başarısız yaklaşımları yeterince sorgulamıyor.

Tanımı net görevlerde tablo daha iyi. GPT-6 Astra, teorik fizikte yayımlanmamış 50 problemin 49'unu çözdü. Ancak bu çözümler tek anlamlı biçimde doğrulanabiliyordu. Ayrıca 700'den fazla yapay zeka geliştirme görevinin analizi, ajanlar pratik işleri üstlense bile temel araştırma kararlarını insanların verdiğini gösterdi.

Into the Unknown'un kodu ve verisi herkese açık. Proje sayfasında ayrıca test edilen modellerin liderlik tablosu bulunuyor.