İçeriğe geç
Haber Akışı Teknoloji Yapay Zeka Strateji Güvenlik Bilişim Girişimcilik Fintech Enerji Son dakika
  1. Ana sayfa
  2. Yapay Zeka

SambaNova SN50 eski veri merkezlerini hedefliyor

SambaNova SN50, hava soğutmalı raflarıyla eski telekom ve colocation sitelerini hedefliyor. Yeni veri merkezleri gecikirken çıkarım çipleri alan arıyor.

Ender Öztürk

okunma

SambaNova SN50 hava soğutmalı çıkarım çipi röportajı
30 saniyede bu haberin özeti
  • SambaNova SN50, çıkarımın decode aşamasını hedefleyen ve hava soğutmalı raflarla çalışan beşinci nesil çip.
  • Yeni GPU rafları 120-250 kilovat güç isterken güç ve soğutma ekipmanı teslimi 18-24 ay sürüyor.
  • SambaNova, SC26'da prefill için Intel D-Serisi GPU'ları ve decode için SambaRack SN50'yi birlikte gösteriyor.

SambaNova SN50, mevcut telekom ve colocation sitelerine sığmak üzere tasarlanmış hava soğutmalı bir çıkarım çipi. Yeni nesil GPU rafları ise raf başına 120 ila 250 kilovat güç isteyebiliyor. Üstelik güç ve soğutma ekipmanının teslimi 18 ila 24 ay sürüyor.

Yapay zeka çıkarımına, yani eğitilmiş modelin yanıt üretmesine olan talep, yeni veri merkezlerinin yapım hızını aşıyor. Güç, sermaye ve izin gecikmeleri yeni kapasiteyi ileri itiyor. Çip üreticileri de bu yüzden mevcut tesislerde yer arıyor.

SambaNova SN50

Anton McGonnell, SambaNova Systems'ın çekirdek ürün başkan yardımcısı. SiliconANGLE'ın SC26'da yayımladığı röportajda sektörün veri merkezi yapımının hızına takıldığını söyledi. McGonnell gecikmenin üç nedenini sıraladı: işin fiziksel olarak uzun sürmesi, sermayeye erişim ve özellikle ABD'de artan yasal engeller.

Eski sitelerde alan var, soğutma yok

Birçok eski telekom ve colocation tesisinde yer ve güç hazır. Colocation, şirketlerin sunucularını kiraladığı ortak veri merkezleri demek. Ancak bu tesislerin çoğu, bugünün yoğun ve sıvı soğutmalı GPU raflarını pahalı yenilemeler olmadan kaldıramıyor. Bu durum hava soğutmalı çıkarım sistemlerine kapı açıyor.

McGonnell'a göre yeni GPU rafları takviyeli zemin isteyebiliyor ve raf başına 120 ila 250 kilovat güç çekebiliyor. Güç ve soğutma ekipmanında teslim süreleri 18 ila 24 ay. McGonnell, inşaat maliyetlerinin bunun dışında kaldığını da hatırlattı.

SambaNova SN50 decode aşamasına odaklanıyor

SN50, SambaNova'nın beşinci nesil çipi. Çıkarımın decode aşamasını hedefliyor. Decode, çıktı token'larının, yani modelin ürettiği metin parçalarının oluştuğu bölüm. Burada darboğaz işlemden çok veri hareketinde yaşanıyor.

McGonnell, SambaNova SN50 raflarının hava soğutmalı kaldığını söyledi. Raflar mevcut tesislere sığacak kadar hafif. Yatırımcıların temmuzda 11 milyar dolar değer biçtiği SambaNova, decode çiplerini prefill aşamasını üstlenen ortaklarla eşleştiriyor. Prefill, çıkarımın işlem gücü yoğun ilk bölümü.

Prefill için Intel D-Serisi GPU

SambaNova bu eşleşmeyi SC26'da gösteriyor. Prefill için Intel'in D-Serisi GPU'ları, decode için SambaRack SN50 kullanılıyor. Şirket bu düzeni hava soğutmalı heterojen kurulum olarak tanımlıyor; yani iki farklı çip türü aynı sistemde çalışıyor.

McGonnell, Intel'in prefill için maliyet-performansı çok daha iyi bir çip geliştirdiğini söyledi. Ona göre Intel HBM'den, yani yüksek bant genişlikli bellekten vazgeçmiş. Çünkü prefill işlem gücüne bağlı bir problem ve bu belleğe ihtiyaç duymuyor. McGonnell'ın theCUBE'e verdiği röportajın tamamı şöyle:

Kurulum SC26'da sergileniyor. Teknik ayrıntılar SambaNova'nın hava soğutmalı kurulumu anlatan blog yazısında var.

Haberde hata mı var?Bize bildirin

Senin fikrin ne?

Bu gelişme hakkında sen ne düşünüyorsun?

Yorumlar

İlk yorumu siz yazın.

Yorumlar yapay zeka destekli ön elemeden geçer; son karar moderatördedir. Topluluk kuralları

Günün teknolojisi, sabah 08.00’de

Seçtiğiniz konularda günün 5 önemli haberi, her biri 30 saniyelik özetiyle. Reklamsız, tek tıkla ayrılırsınız.

Reklam