Google, TPU 8tx sisteminde Axion yerine AMD EPYC işlemcilerini seçti
Özet haber: Google, hassas yapay zekâ iş yükleri için geliştirdiği TPU 8tx platformunda kendi Axion işlemcileri yerine AMD’nin 5. nesil EPYC işlemcilerini kullanacak. Yeni sistem, hızlandırıcı düzeyinde donanım tabanlı gizli hesaplama özellikleri sunuyor.

Google, sekizinci nesil Tensor Processing Unit ailesinin üçüncü üyesi TPU 8tx’i özellikle kurumsal müşteriler ve kamu kuruluşlarının hassas verilerle yürüttüğü yapay zekâ çalışmaları için tanıttı. Platformda hesaplama işlemleri Google’ın TPU 8t ile aynı yongasını kullanan hızlandırıcılarda gerçekleştirilirken, sunucu tarafındaki görevler AMD’nin Zen 5 mimarisine dayanan 5. nesil EPYC işlemcilerine bırakılıyor. Bu işlemciler veri hazırlama, iş yükü dağıtımı ve bileşenler arasındaki iletişim gibi görevleri üstleniyor.
Google, daha önce TPU 8t ve TPU 8i sistemlerinde kendi Arm tabanlı Axion işlemcilerini kullanmıştı. TPU 8tx’te AMD’nin x86 tabanlı EPYC ailesine geçilmesinin kesin gerekçesi açıklanmadı. Ancak Google Cloud’un mevcut gizli hesaplama hizmetlerinde AMD’nin Secure Encrypted Virtualization ve Intel’in Trust Domain Extensions teknolojilerini desteklemesi, tercih üzerinde etkili olan teknik altyapılardan biri olarak öne çıkıyor. Axion tabanlı C4A ve N4A sistemleri bu yapılandırmalar arasında bulunmuyor.
TPU 8tx’in temel farkı, gizli hesaplama özelliklerini doğrudan yapay zekâ hızlandırıcı sistemine taşıması. AMD EPYC işlemcilerindeki SEV teknolojisi ve Infinity Guard güvenlik özellikleriyle kullanıcı komutları, model ağırlıkları ve işlem sırasında oluşturulan ara veriler korunuyor. Sistem, TPU hızlandırıcılarının korumalı belleğe erişmesine izin vermeden önce kimlik ve güvenlik yapılandırması doğrulaması gerçekleştiriyor. Google ile AMD, bu platformu donanım destekli gizli hesaplama sunan ilk bulut TPU sistemi olarak tanımlıyor.
Hesaplama tarafında TPU 8tx, TPU 8t ile aynı tasarımı kullanıyor ve FP4 hassasiyetinde 12,6 petaflops tepe işlem gücü ile yonga başına 216 GB yüksek bant genişlikli bellek sağlıyor. Yeni platformda TPU 8i ile tanıtılan Boardfly ağ topolojisi kullanılıyor. Google, bu bağlantı düzeninin TPU 8t’ye kıyasla iki kata kadar daha düşük gecikme sunduğunu ve hesaplama performansında neredeyse kayıp oluşturmadığını belirtiyor.
Google Cloud, TPU 8tx’i düzenlemelere tabi sektörler ile kamu kurumlarına yönelik sunuyor. Kuruluşlar bu altyapıyla özel verileri kullanarak model ince ayarı, model damıtma ve pekiştirmeli öğrenme çalışmaları gerçekleştirebiliyor. TPU ailesine aynı duyuruda eklenen TPU 8i Max ise iki TPU 8i yongasını tek pakette birleştirerek iki kat hesaplama kapasitesi, SRAM ve HBM bant genişliği sağlıyor. TPU 8tx’in fiyatı, satış hacmi ve Axion yerine EPYC seçiminin ayrıntılı gerekçesi açıklanmadı.
Kaynak: Technopat


