Techinside Google News
Techinside Google News

Yapay zeka kodlama yarışması beklentiyi karşılamadı

Yeni yapay zeka kodlama yarışması büyük beklentiler oluşturmuştu. Ancak yarışma sonucundaki veriler pek beklentiyi karşılamadı.
- Advertisement -

Laude Enstitüsü, Databricks ve Perplexity’nin kurucu ortağı Andy Konwinski tarafından başlatılan çok turlu bir yapay zeka kodlama yarışması olan K Ödülü’nün ilk kazananını açıkladı. Kazanan, 50.000 dolar ödül alacak olan Brezilyalı bir proje mühendisi olan Eduardo Rocha de Andrade oldu. Ancak zaferden daha şaşırtıcı olan, final puanıydı: Sınavdaki soruların sadece %7,5’ini doğru cevaplayarak kazandı.

Yapay zeka kodlama yarışması beklenen etkiyi gösteremedi

Konwinski: “Büyük laboratuvarlar en büyük modelleriyle katılsaydı puanlar farklı olurdu. Ama asıl mesele de bu zaten. K Prize, sınırlı işlem gücüyle çevrimdışı çalışıyor, bu yüzden daha küçük ve açık modelleri tercih ediyor. Eşit şartlar sağlıyor” dedi.

Konwinski, testte %90’ın üzerinde puan alabilen ilk açık kaynaklı modele 1 milyon dolar bağışta bulundu. Bilinen SWE-Bench sistemine benzer şekilde, K Ödülü de modelleri GitHub’dan işaretlenen sorunlara karşı test ederek gerçek dünya programlama problemleriyle ne kadar iyi başa çıkabildiklerini ölçüyor. Ancak SWE-Bench, modellerin eğitilebileceği sabit bir problem kümesine dayanırken, K Ödülü, herhangi bir kıyaslama ölçütüne özgü eğitime karşı koruma sağlamak için zamanlı bir giriş sistemi kullanarak “SWE-Bench’in bulaşma içermeyen bir versiyonu” olarak tasarlandı.

Birinci tur için modeller 12 Mart’a kadar teslim edilmeliydi. K Ödülü organizatörleri daha sonra testi yalnızca bu tarihten sonra işaretlenen GitHub problemlerini kullanarak oluşturdu. %7,5’lik en yüksek puan, şu anda daha kolay olan “Doğrulanmış” testinde %75, daha zor olan “Tam” testinde ise %34’lük bir en yüksek puan gösteren SWE-Bench ile belirgin bir tezat oluşturuyor. Konwinski, bu farklılığın SWE-Bench’teki kirlilikten mi yoksa GitHub’dan yeni sayılar toplamanın zorluğundan mı kaynaklandığından halen emin değil, ancak K Prize projesinin yakında bu soruyu yanıtlamasını bekliyor.

Siz bu konu hakkında ne düşünüyorsunuz? Görüşlerinizi yorumlarda paylaşın!

 

 

HABERLER

TÜMÜ

SON VİDEO

TÜMÜ

CEVAP VER

Lütfen yorumunuzu giriniz!
Lütfen isminizi buraya giriniz