Nvidia'nın AI planları büyüyor: Groq 3D DRAM'e geçiyor
Özet haber: Nvidia bünyesindeki Groq, yeni nesil yapay zeka çiplerinde bellek teknolojisini değiştirmeye hazırlanıyor. Şirketin daha yüksek kapasite için 3D yığınlanmış DRAM kullanacağı ortaya çıktı.

Nvidia tarafından satın alınan Groq, yeni nesil yapay zeka işlemcilerinde önemli bir değişikliğe hazırlanıyor. Sektör kaynaklarından gelen bilgilere göre şirket, mevcut LPU (Language Processing Unit) çiplerinde kullanılan SRAM belleklerin yerine 3D yığınlanmış DRAM teknolojisini değerlendirmeye başladı. Bu değişikliğin temel amacı, büyüyen yapay zeka modelleri için daha yüksek bellek kapasitesi sunmak.
Groq, bellek kapasitesini artıracak Kaçıranlar için Groq'un mevcut nesil LPU çipleri, 500 MB SRAM bellek ve 150 TB/s seviyesinde bant genişliği sunuyor. 256 çipli bir yapılandırmada toplam SRAM kapasitesi 128 GB'a ulaşırken ölçeklenebilir bant genişliği 640 TB/s seviyesine çıkıyor. Her bir LPU'nun FP8 hesaplama performansı ise 1,20 PFLOPS olarak belirtiliyor.
Şirket, yeni nesil çiplerinde ise farklı bir yaklaşım benimseyecek. SRAM, yüksek hız ve düşük gecikme avantajlarıyla öne çıksa da kapasite açısından sınırlı kalıyor. DRAM ise daha yüksek bellek yoğunluğu sunarken bant genişliği ve gecikme tarafında bazı ödünler gerektiriyor.
Sektör kaynaklarına göre Groq, yeni tasarımında birden fazla DRAM katmanını dikey olarak bir araya getiren 3D yığınlama teknolojisini kullanmayı planlıyor. Katmanlar, TSV (Through-Silicon Via) adı verilen silikon içi bağlantılarla birbirine bağlanabilecek. Benzer bir yaklaşım, günümüzde yüksek bant genişlikli HBM belleklerde de kullanılıyor.
Yapay zeka modelleri büyüdükçe bellek ihtiyacı artıyor 3D yığınlanmış DRAM, daha fazla belleğin daha küçük bir fiziksel alana yerleştirilmesini sağlayabiliyor. Bu yaklaşım, geleneksel bellek paketlerine kıyasla alan kullanımını ve enerji verimliliğini iyileştirme potansiyeli taşıyor.
Groq'un yeni nesilde yalnızca hızı artırmak yerine bellek kapasitesine öncelik vermesi, yapay zeka modellerinin giderek büyümesiyle ilişkili. Daha büyük modellerin çıkarım (inference) aşamasında çalıştırılması, verilerin bellekte tutulması ve hızlı erişim ihtiyacını artırıyor. Nvidia ise, Groq teknolojisini Vera Rubin ekosistemindeki LPX raflarıyla yapay zeka çıkarım performansını yükseltmek için kullanıyor.
Ağustos ayında tam üretime geçtiği belirtilen bu sistemler, NVL72 sunucularıyla birlikte saniyede 3. 400 token seviyesinde performans sunuyor olacak. Öte yandan yeni nesil Groq çiplerinin ne zaman piyasaya çıkacağı ve DRAM ile SRAM'in aynı tasarımda birlikte kullanılıp kullanılmayacağı henüz netleşmiş değil. Mevcut bilgilere göre şirketin bu iki bellek türünü ayrı ürünlerde sunma ihtimali de bulunuyor.
Kaynak: DonanımHaber


