Yapay Zekâ Eğitimi İçin Yoğunluk Seçimleri Giderek Karmaşıklaşıyor

Özet

Makale, yapay zekâ eğitim kümeleri için raf yoğunluğunun artık tek bir doğru cevabı olmadığını savunur. En üst uçta 132 kW değerinde bir NVIDIA NVL72 raf yer alır; en alt uçta ise 20 kW'ın altındaki yapılandırmalar bulunur. Yazar, bu seçenekleri performans, BT maliyeti, tesis yükseltmeleri, döşeme yükü ve devreye alma süresi açısından birlikte tartar. Makale, seçeneklerin birbirine göre artı ve eksilerini yan yana koyarak karar vericilere bir çerçeve sunar.

En yüksek yoğunluk seçeneğinde raf başına döşeme yükü 1,4 metrik tondur. Tam yükte soğuk plakalar yaklaşık 100 kW'ı karşılarken hava egzozu 25 kW'ı aşar; yani sıvı soğutmalı bir rafta bile hava tarafı küçümsenemez. Bir basamak aşağıda, 64 GPU'lu raflar 80-90 kW aralığında çalışır ve yaklaşık bir metrik ton ağırlığındadır. Aynı eğitim performansı için yaklaşık yüzde 50 daha fazla rafa ihtiyaç duyulur.

Daha düşük yoğunluklu seçeneklerde, raf başına dört adet 8 GPU'lu sunucu 50 kW'ın altında kalır ve kapalı koridor, sıra içi soğutma veya arka kapı ısı değiştirici ile hava soğutması mümkün olabilir. Raf başına iki sunucu çerçevesi yaklaşık 26 kW'a denk gelir; güç sınırlaması ile örneğin 400 V/32 A devrelerle 22 kW'a inilebilir. Bu seçenekler, tesis yükseltmesi gereksinimini ve devreye alma süresini düşürme yönündeki alternatifleri ortaya koyar.

Kısa bir analiz olduğundan ayrıntılı maliyet modeli veya ölçüm verisi sunmaz. Temel mesajı, en yüksek yoğunluğun her zaman en iyi seçim olmadığı ve düşük yoğunluğa inmenin mevcut tesislerde daha hızlı devreye alma sağlayabileceğidir. Dolayısıyla makale bir tasarım kuralı değil, yoğunluk kararında hangi değişkenlerin birlikte tartılacağını gösteren bir karar çerçevesidir.

Öne çıkan noktalar

1. NVIDIA NVL72 raf 132 kW değerindedir; raf başına döşeme yükü 1,4 metrik tondur.
2. Tam yükte soğuk plakalar yaklaşık 100 kW'ı karşılar, hava egzozu ise 25 kW'ı aşar.
3. 64 GPU'lu raflar 80-90 kW aralığında çalışır ve yaklaşık bir metrik ton ağırlığındadır.
4. 64 GPU'lu seçenekte aynı eğitim performansı için yaklaşık yüzde 50 daha fazla raf gerekir.
5. Raf başına dört adet 8 GPU'lu sunucu 50 kW altındadır; kapalı koridor, sıra içi soğutma veya arka kapı ısı değiştirici ile hava soğutması uygulanabilir.
6. Raf başına iki sunucu çerçevesi yaklaşık 26 kW'dır; 400 V/32 A devrelerle 22 kW güç sınırı örnek verilir.

Tasarımda kullanımı

• Yapay zekâ raf ön ayarlarını yaklaşık 130, 85, 50, 26 ve 20 kW altı olarak tanımlayın ve her biri için sıvı ile hava soğutma payını belirleyin.
• Her ön ayar için döşeme yükü kontrolü yapın; makaledeki değerler raf başına yaklaşık 1,0 ile 1,4 ton aralığındadır.
• Yüksek yoğunluklu rafta sıvı soğutma kullanılsa bile 25 kW'ı aşan hava egzozunu hava tarafı soğutma hesabına dahil edin.
• Mevcut tesise yerleştirmede, daha düşük yoğunluklu seçeneğin gerektirdiği ek raf sayısını ve alanı tesis yükseltme maliyetiyle birlikte karşılaştırın.

Kimler okumalı

Yapay zekâ kümeleri için raf yoğunluğu, soğutma yöntemi ve tesis yükseltmesi kararı veren tasarım mühendisleri ile yatırımcılar içindir.

Yayın bilgileri

Yazarlar

D. Bizo

Yayıncı

Uptime Institute Journal (Uptime Institute)

Yıl

2025

Belge dili

İngilizce

Kaynak türü

Sektör kuruluşu

Erişim

Ücretsiz okunur

Lisans

Telif hakkı saklı; yalnızca künye — özgün belge için yayıncının kullanım koşulları geçerlidir

Künye