200PF Ön-Exascale Bir Süperbilgisayarın Güç, Enerji ve Termal Dinamiklerinin Ortaya Çıkarılması (SC21)

Özet

Bu makale, SC21 (ACM/IEEE Supercomputing 2021) Uygulama Durumu parkurunda sunulan, Woong Shin, Vladyslav Oles, Ahmad Maroof Karimi, J. Austin Ellis ve Feiyi Wang'ın çalışmasıdır. ORNL, 2020 yılının tamamı boyunca Summit'in 4.626 düğümünün tamamından gelen 1 Hz telemetriyi tesis sayaçları, iş kayıtları ve GPU arıza kayıtlarıyla birlikte analiz etmiştir.

Makale sistem düzeyindeki güç dalgalanmalarını, iş güç profillerini ve enerji verimliliğini karakterize eder; orta sıcaklıklı su soğutma tesisinin ve PUE'sinin hava durumuna ve HPC işlerinin büyük, hızlı yük değişimlerine nasıl yanıt verdiğini inceler. Sonuçlar, evaporatif soğutmanın yılın büyük bölümünü karşıladığını, yazın soğutulmuş su takviyesi yapıldığını gösterir. Summit, 20 MW'lık bir tesiste 13 MW tepe güçlü bir sistemdir; boşta yaklaşık 2,5 MW, tipik çalışmada 5 ila 6 MW arasındadır.

Soğutma tesisi yaklaşık 20 C (70 F) orta sıcaklıklı suyu 8 soğutma kulesi ve 5 chiller içeren merkezi bir tesisten sağlar; chiller'lar yalnızca kuleler yetmediğinde besleme sıcaklığını ayarlar. Ortalama PUE evaporatif soğutma sayesinde 1,11'dir ve soğutulmuş su kullanıldığında yazın yaklaşık 1,22'ye çıkar; bakım 1,3'lük bir sapmaya neden olmuştur. PUE yalnızca hava durumundan değil, büyük iş yükü güç uçlarından da etkilenir.

Veri kümesi, 840 bin iş ve 250 bin GPU arıza kaydı üzerinde düğüm başına 100'den fazla metriği 1 Hz'de içerir; toplam akış saniyede yaklaşık 460 bin metriktir. Düğüm güçlerinin toplamı tesis ana pano sayaçlarından ortalama yaklaşık -129 kW farklıdır ve bu ölçüm boşluklarını nicelleştirir. Sınırlama olarak veriler tek bir süperbilgisayar ve tek bir iklim koşulu için geçerlidir; ticari veri merkezlerine doğrudan genelleştirilmemelidir.

Öne çıkan noktalar

1. Summit: 20 MW'lık tesiste 13 MW tepe güçlü sistem; boşta yaklaşık 2,5 MW, tipik çalışma 5-6 MW.
2. Yaklaşık 20 C (70 F) orta sıcaklıklı su, 8 soğutma kulesi ve 5 chiller'lı merkezi tesisten sağlanır; chiller'lar yalnızca kuleler yetmediğinde besleme sıcaklığını ayarlar.
3. Ortalama PUE 1,11 (evaporatif soğutma); soğutulmuş su kullanıldığında yazın yaklaşık 1,22; bakım 1,3'lük sapmaya yol açtı.
4. Veri kümesi: düğüm başına 100'den fazla metrik, 1 Hz, 840 bin iş ve 250 bin GPU arıza kaydı; toplam akış yaklaşık 460 bin metrik/sn.
5. Düğüm güçlerinin toplamı, tesis pano sayaçlarından ortalama yaklaşık -129 kW farklıydı.
6. PUE yalnızca hava durumundan değil, büyük iş yükü güç uçlarından da etkilenir.
7. 2020'nin tamamı, 4.626 düğüm; SC21 Uygulama Durumu parkuru.

Tasarımda kullanımı

• Enerji modellerinde tek bir PUE yerine mevsimsel soğutma modu dağılımını (kule ve chiller takviyesi) girmeye izin verin.
• Yukarı akış ekipmanı ve şebeke arayüzü boyutlandırırken birkaç MW'lık büyük, hızlı BT yük dalgalanmalarını dikkate alın.
• Sayaç ve toplama arasındaki farkı (ölçüm boşluğunu) izleme tasarımında hesaba katın.
• Orta sıcaklıklı su soğutmasında bakım dönemlerinin PUE'ye etkisini ayrıca değerlendirin.

Kimler okumalı

Sıvı soğutmalı HPC ve yapay zeka tesisleri tasarlayan mühendisler, enerji modelleyicileri ve güç dalgalanmasının altyapıya etkisini araştıranlar.

İlgili standartlar

• ISO/IEC 30134-2 (PUE)

Yayın bilgileri

Yazarlar

Woong Shin; Vladyslav Oles; Ahmad Maroof Karimi; J. Austin Ellis; Feiyi Wang

Yayıncı

ACM/IEEE (SC Conference)

Yıl

2021

Belge numarası

SC21 State of the Practice paper pap343; OSTI 1833956

Etkinlik

SC21 (ACM/IEEE Supercomputing 2021) - State of the Practice track

Belge dili

İngilizce

Kaynak türü

Bilimsel yayın

Erişim

Ücretsiz okunur

Lisans

Telif hakkı saklı; yalnızca künye — özgün belge için yayıncının kullanım koşulları geçerlidir

Künye