Apple, Hugging Face’e ilginç bir değişiklikle sessizce yeni bir AI modeli sundu. Geleneksel LLM’ler gibi metin oluşturmak yerine, aynı anda birden fazla parçayı geliştirebilir ve sıra dışı yazabilir. Sonuç, en iyi açık kaynaklı kodlama modelleriyle rekabet eden bir performansta daha hızlı kod üretimidir. Peki nasıl çalışıyor?
Geçtiğimiz ay yayınlanan DiffuCoder: Kod Üretimi için Maskelenmiş Yayılım Modellerini Anlama ve İyileştirme adlı makalenin üzerine inşa edilen DiffuCode-7B-cpGRPO adlı açık kaynaklı bir model yayınlandı. Makale, kod üretimine yayılım öncelikli bir yaklaşım benimseyen ancak bir farkla bir model açıklıyor: “Örnekleme sıcaklığı varsayılan 0,2’den 1,2’ye çıkarıldığında, DiffuCoder belirteç üretim sırasında daha esnek hale gelir ve kendisini katı soldan sağa kısıtlamalardan kurtarır”
Apple kodlama dili ile ses getirdi
Bu, sıcaklığı ayarlayarak, daha çok (veya daha az) bir otoregresif model gibi davranabileceği anlamına gelir. Özünde, daha yüksek sıcaklıklar, belirteçleri sırasız üretme konusunda daha fazla esneklik sağlarken, daha düşük sıcaklıklar onu katı soldan sağa kod çözmeye daha yakın tutar. Eşleştirilmiş GRPO adı verilen ek bir eğitim adımıyla, daha az geçişle daha yüksek kaliteli kod üretmeyi öğrendi. Sonuç? Üretilmesi daha hızlı, küresel olarak tutarlı ve piyasadaki en iyi açık kaynaklı programlama modelleriyle rekabet edebilen kod.
Daha da ilginci, Apple’ın modeli Alibaba’nın açık kaynaklı bir temel modeli olan Qwen2.5‑7B’nin üzerine inşa edilmiştir. Alibaba önce bu modeli daha iyi kod üretimi için (Qwen2.5‑Coder‑7B olarak) ince ayarladı, ardından Apple bunu aldı ve kendi ayarlamalarını yaptı. Bunu, DiffuCoder makalesinde açıklandığı gibi, difüzyon tabanlı bir kod çözücüye sahip yeni bir modele dönüştürdüler ve ardından talimatları daha iyi takip edecek şekilde tekrar ayarladılar. Bu yapıldıktan sonra, 20.000’den fazla dikkatlice seçilmiş kodlama örneği kullanarak bunun başka bir versiyonunu eğittiler.
Ardından tüm bu çalışmalar karşılığını verdi. DiffuCoder-7B-cpGRPO popüler bir kodlama kıyaslamasında %4,4’lük bir artış elde etti ve kodun kesinlikle soldan sağa üretilmesine olan düşük bağımlılığını korudu. Elbette, iyileştirme için çok fazla alan var. DiffuCoder birçok difüzyon tabanlı kodlama modelinden daha iyi performans gösterse de (ve bu DiffuCoder-7B-cpGRPO’dan gelen %4,4’lük artıştan önceydi), hala GPT-4 veya Gemini Diffusion seviyesine ulaşamadı.