Nvidia’nın Kaliforniya, San Jose’deki GTC konferansı için medyaya sunduğu görsel, çeşitli türdeki veri merkezi sunucu raflarını temsil eden 40 dikdörtgenden oluşan bir sırayı temsil ediyor. Bu etkileyici raf duvarının ima ettiği mesaj, Nvidia’nın, henüz sahip değilse bile veri merkezindeki tüm işlemeyi bir uçtan diğerine kadar nihayetinde ele geçireceği.
Nvidia veri merkezi kontrolü için değerlendirmelerine devam ediyor
Gösteride sahneye çıkan Nvidia CEO’su Jensen Huang, açılış konuşmasında şirketin çip ve sistem tekliflerini genişleteceğini duyurdu. Mevcut ürün hatları arasında Vera CPU çipi, Rubin GPU çipi ve şimdi de ultra hızlı çıkarım için LPX adı verilen yeni bir ekipman rafı yer alıyor. Bu yılın sonlarına doğru piyasaya sürülecek olan LPX rafı, Nvidia’nın Aralık ayında yapay zeka girişimi Groq’tan 20 milyar dolara lisansladığı fikri mülkiyeti kullanarak tasarladığı çiplerden oluşuyor.
Nvidia Groq 3 LPU’da uygulanan dönüştürülmüş Groq yaklaşımı, çıkarım hızı ve işlenebilecek toplam veri miktarı arasında optimum bir denge sağlamak için LPX’te Rubin GPU’larla birlikte kullanılacak. Nvidia’nın hiper ölçekli ve yüksek performanslı bilgi işlem başkanı Ian Buck, bir basın toplantısında Groq 3 LPU’nun “GPU’ların aşırı FLOPS’larını [saniyede kayan nokta işlemleri] ve LPU’ların bant genişliğini bir araya getirebildiğini” söyledi.
“Dil işleme birimi” anlamına gelen orijinal Groq LPU, normal bir çip bellek önbelleğinden çok daha büyük bir hızlı bellek türü olan 500 megabaytlık çip üzerinde SRAM’e sahiptir. SRAM, büyük dil modellerinin ağırlıklarını (yani sinirsel parametrelerini) ve çıkarım işlemini hızlandıran hesaplamaların ara sonuçlarını içeren “KV önbelleğini” tutabilir.
LPU’yu GPU’larla birlikte bir rafa yerleştirerek, LPU’nun SRAM’i en çok ihtiyaç duyulan verileri alabilir ve bu da GPU’ların yapmak zorunda olduğu harici DRAM’den veri isteme ihtiyacını azaltır. Buck’a göre, bu yerel SRAM önbelleği, bir sorguya yanıt almak ve çıktı vermek için gereken gidiş-dönüş süresini, yani gecikmeyi önemli ölçüde düşürür.
