30 C Soğutucu Akışkan - Gelecek için Kalıcı Bir Yol Haritası, Revizyon 1.0 (Ekim 2024)

Özet

Belge, Meta, Vertiv, Samsung, AMD, NVIDIA ve Intel'den yazarların, yüksek güç yoğunluklu yapay zeka donanımı için sıvı soğutmanın hiper ölçekte yaygınlaşırken veri merkezlerinin tasarım, inşa ve amortisman sürelerinin çok uzun olduğu gerekçesiyle kaleme aldığı bir OCP beyaz kitabıdır (1 Ekim 2024, CC BY-SA 4.0). Temel önerisi, silikonun hizmet aldığı noktada TCS döngüsü için en az 30 C soğutucu sıcaklığıdır; bu değer hem operatör hem silikon sağlayıcısı için değerli bir çalışma noktası olarak sunulur. Belge, 30 C'nin teknoloji çeşitliliğini (immersion, soğuk plaka, termal arayüz malzemeleri) sınırlamayı amaçlamadığını ve 30 C altında bazı fırsatların da süreceğini vurgular.

Gerekçe donanım eğilimlerine dayanır. CPU gücü on yıl boyunca yaklaşık 100 W'ta sabit kaldıktan sonra son beş yılda 400 W'ın üzerine çıkmış, GPU/ASIC gücü ise neredeyse her yıl yüzlerce watt artmış ve yayımlanmış GPU gücü 1 kW'ın üzerine çıkmıştır. 2.5 boyutlu (CoWoS) paketleme, farklı en yüksek jonksiyon sıcaklıkları (SOC için tipik 105 C; HBM için ilk nesillerde tek yenilemede 85 C, çift yenilemede 95 C, sonraki nesillerde 95 C ve 105 C), farklı yığın yükseklikleri (SOC 450 mikron, HBM 720 mikron), gömülü bileşenler ve ısı çapraz etkisi gibi termal sorunlar yaratır. HBM gücü HBM2'den HBM3'e ikiye katlanmış ve HBM4'ün HBM3'ün yaklaşık iki katına çıkması beklenir.

Enerji analizi şu varsayımlara dayanır: 80 MW BT yükü, her biri 5 MW'lık 16 pod, pod başına 40 raf, raf başına 125 kW (yüzde 80 sıvı, yüzde 20 hava ile soğutulur), harici hava soğutmalı serbest soğutmalı chiller'lar, CDU'lar ve iç hava soğutmalı üniteler, soğutma ünitesi düzeyinde N+1 yedeklilik, yüzde 80 BT yükü ve adyabatik veya evaporatif soğutma olmayan kuru mod. ASHRAE 2021 tablosundaki dokuz iklim bölgesinden subarktik/arktik hariç sekizi için bir konum seçilmiş, chiller boyutlandırması için ASHRAE'nin son 20 yılın azami ortam sıcaklığına 4 C eklenmiş, saatlik meteorolojik veri on yıllık ortalama olarak kullanılmıştır. CDU yaklaşım sıcaklığı 6 C alınmış; böylece S20, S30 ve S40 için tesis suyu (FWS) besleme sıcaklıkları 14, 24 ve 34 C olur. TCS'de tipik delta-T 10 C ve yüzde 25 propilen glikoldür.

Sonuçlar belirgindir: S20'den S30'a geçişte chiller enerjisi büyük ölçüde düşer, S30'dan S40'a geçişte kazanç yalnızca çok sıcak, sıcak ve aşırı sıcak bölgelerde benzer ölçüdedir. Atıfta bulunulan bir çalışma, akışkan sıcaklığı 21 C'den 26 C'ye çıkınca çoğu iklim bölgesinde yıllık chiller gücünde yaklaşık yüzde 20, 26 C'den 30 C'ye çıkınca bir yüzde 20 daha azalma bulmuştur. Yüksek TCS sıcaklığı serbest soğutma süresini artırır ve bölgeler arasındaki farkı düzleştirir: 20 C TCS'de "soğuk" bölgedeki bir veri merkezinin tüketimi, 30 C TCS'de "sıcak" bölgedeki ile aynıdır. S20 ve S30 mevcut veri merkezi tasarımını belirgin etkilemez; S40 ise standart chiller kompresörlerini normal çalışma aralığı dışına iter ve 50 C'yi aşan dönüş havası sıcaklıklarında standart iç ünitelerde sorun çıkarır.

Dayanıklılığı sürdürmek için belge dört alan önerir: HBM silikon iyileştirmeleri (en sıcak kalıbı soğutmaya yaklaştırma, mikrobump ve yapıştırıcı katmanlarının yaklaşık 60 ve 1 W/m.K iletkenliklerinin silikonun yaklaşık 120 W/m.K değerinin altında kalması), BT donanımı düzeyinde soğutma (paralel soğuk plakalar, 50-75 psig uzun dönem çalışma basıncı), veri merkezi ısı değiştiricilerinin iyileştirilmesi (yaklaşım sıcaklığını 6 C'den 4 C'ye indirmek FWS sıcaklıklarını 16, 26 ve 36 C'ye çıkarır) ve silikon paketleme yenilikleri. Belgede dikkat çekilen sınırlar şunlardır: analiz yalnızca kuru modda ve N+1, yüzde 80 yükte yapılmıştır; yüksek TCS ile neredeyse tamamen serbest soğutma, chiller'sız çözümün her durumda pratik olduğunu garanti etmez ve tam yük ile arıza senaryolarında kapasite doğrulanmalıdır.

Öne çıkan noktalar

1. Öneri, silikonun hizmet aldığı noktada TCS döngüsü için en az 30 C kalıcı soğutucu sıcaklığıdır; amaç operatör ve silikon sağlayıcıları arasında uzun ömürlü bir arayüz değeri oluşturmaktır.
2. Düşük sıcaklığa geçiş maliyetlidir: mevcut TCS döngüsünü tasarım aralığının altına çekmek için ek chiller kapasitesi veya yeni bir chiller türü gerekebilir; yüksek sıcaklık gereksinimi ise ayar noktası artırılarak karşılanır.
3. ASHRAE 2022 tesis suyu sınıfları W17, W27, W32, W40, W45 ve W+'dır; belge, TCS referans sıcaklıkları olarak S20, S30 ve S40'ı kullanır.
4. CPU gücü yaklaşık 100 W'ta sabit kaldıktan sonra son beş yılda 400 W'ın üzerine çıkmış, yayımlanmış GPU gücü 1 kW'ı geçmiştir; HBM gücü HBM2'den HBM3'e iki katına çıkmıştır.
5. Model varsayımları: 80 MW BT, 16 pod x 5 MW, pod başına 40 raf, raf başına 125 kW (yüzde 80 sıvı, yüzde 20 hava), yüzde 80 yük, N+1, kuru mod, CDU yaklaşımı 6 C (FWS besleme 14/24/34 C), delta-T 10 C ve yüzde 25 PG; chiller en yüksek ortam sıcaklığı + 4 C'ye göre boyutlanır.
6. Atıfta bulunulan bir çalışma, akışkan sıcaklığı 21 C'den 26 C'ye çıkınca yaklaşık yüzde 20, 26 C'den 30 C'ye çıkınca bir yüzde 20 daha az yıllık chiller gücü bulmuştur.
7. S20'den S30'a geçişte chiller enerjisi büyük düşer; S30'dan S40'a kazanç yalnızca aşırı sıcak, çok sıcak ve sıcak iklimlerde belirgindir.
8. S20 ve S30 mevcut tasarımı fazla etkilemez; S40 standart chiller kompresörlerini ve 50 C'yi aşan dönüş havasında standart iç üniteleri sınırlar, özel ürün gerektirir.
9. Tipik CDU akış tasarımı kW başına 1,5 LPM olarak anılır; CDU yaklaşım sıcaklığı genellikle 4-8 C aralığındadır.
10. BT soğutma döngüsünün 50-75 psig basınçta uzun dönem çalışmaya göre tasarlanması önerilir; yaklaşımı 6 C'den 4 C'ye indirmek TCS sıcaklığını değiştirmeden FWS'yi 2 C ısıtmaya izin verir.

Tasarımda kullanımı

• Sıvı soğutma tasarım sihirbazını varsayılan olarak 30 C TCS beslemesi (S30), 6 C CDU yaklaşımı (24 C FWS) ve kW başına 1,5 LPM ile başlatın.
• Sahanın iklimi için S20 veya S40 seçiminin yıllık chiller enerjisine ve serbest soğutma saatlerine etkisini gösterin; S20'den S30'a kazancın büyük, S30'dan S40'a kazancın yalnızca sıcak iklimlerde belirgin olduğunu yansıtın.
• S40 tasarımları için chiller ve iç hava ünitelerinin yüksek dönüş sıcaklığına uygun seçilmesi gerektiği uyarısı verin (50 C'yi aşan dönüş havası).
• TCS tasarım basıncı aralığı olarak boru ve bileşen seçiminde 50-75 psig değerini kullanın.
• FWS sıcaklığını yükseltmek için CDU ve serpantin yaklaşım sıcaklığını düşürmenin (6 C'den 4 C'ye) etkisini ayrı bir seçenek olarak değerlendirin; kazanç sıcak iklimlerde ve S30-S40'ta daha belirgindir.
• Serbest soğutmanın neredeyse tüm saatlerde kullanılabilmesi, chiller'sız tasarımı kendiliğinden uygulanabilir yapmaz; tam yük ve arıza senaryolarında soğutma kapasitesini ayrıca doğrulayın.

Kimler okumalı

Sıvı soğutmalı yapay zeka veri merkezleri için TCS ve tesis suyu sıcaklığı hedeflerini belirleyen soğutma tasarımcıları, operatörler ve silikon veya CDU üreticileri.

Belgenin bölümleri

1. Giriş
2. Açık Hesaplama Projesi (OCP) ilkelerine uyum
3. Bileşen güç eğilimleri
4. GPU ve CPU güç eğilimleri
5. Modern silikonda termal yığın
6. HBM
7. Kalıcılık neden önemlidir?
8. Silikon üreticisi açısından
9. Veri merkezi operatörleri açısından
10. Kalıcılık için 30 C neden en iyisidir
11. Silikonda 30 C veya üzeri soğutucu sıcaklığı
12. Veri merkezi enerji verimliliği
13. Gelecekte kalıcılığı nasıl sürdürürüz?
14. HBM silikon iyileştirmeleri
15. BT donanımı düzeyinde soğutma çözümlerinin iyileştirilmesi
16. Veri merkezi ısı değiştiricilerinin iyileştirilmesi
17. Silikon paketleme yenilikleri
18. Sonuç

İlgili standartlar

• ASHRAE TC 9.9 Liquid Cooling Guidelines (W-classes, 2022)
• OCP L-L CDU Test Methodology
• OCP Thermal Boundaries in AI Infrastructure

Belgeyi okuyun

Yayın bilgileri

Yazarlar

Mills, S.; Hang, Y.; Fernandes, J. (Meta); Moscheni, A. (Vertiv); Kim, J. (Samsung); Artman, P. (AMD); Steinke, M. (NVIDIA); Malone, C. (Meta); Carte, C. (Intel)

Yayıncı

Open Compute Project Foundation

Yıl

2024

Belge numarası

Rev 1.0

Belge dili

İngilizce

Kaynak türü

Sektör kuruluşu

Erişim

Açık lisans — indirilebilir

Lisans

CC BY-SA 4.0 — atıf vererek ve aynı lisansla paylaşabilirsiniz

Lisans kanıtı

www.opencompute.org

Künye