SoSo CAD
Bilimsel makalePDF2023

Sürdürülebilir Süper Bilişim için Yapay Zekâ: HPC Ölçeğinde GPU Güç Sınırlaması

Özgün başlık Sustainable Supercomputing for AI: GPU Power Capping at HPC Scale

Proceedings of the 2023 ACM Symposium on Cloud Computing (ACM) · Dan Zhao, Siddharth Samsi ve diğerleri

MIT süper bilgisayar merkezinde (düğüm başına iki V100 GPU) sistem genelinde GPU güç sınırının (tepenin %60'ı) etkisini analiz eden bir vizyon makalesi: 123.000'den fazla GPU işi, bunların yaklaşık 19.700'ü güç sınırlı.

Belgeyi okuİndir (PDF, 0,4 MB)Özgün kaynağa git

CC BY 4.0 — atıf vererek paylaşabilirsiniz

Bu sayfada

Özet

Yapay zekâ araştırması ve dağıtımı büyüdükçe hesaplama yükü de artıyor; yeni nesil dil modellerini eğitmek veya ince ayarlamak için bir tür yapay zekâ donanım hızlandırması neredeyse zorunlu. Makale GPU güç sınırlamasının GPU sıcaklığı ve güç çekişi üzerindeki toplu etkisini inceliyor. Bir akademik süper bilgisayar merkezinde GPU'lara %60 güç sınırı uygulandı. Veri kümesi 123.204 GPU işini kapsıyor; 19.676'sı güç sınırına tabi; küme her biri iki NVIDIA V100 GPU'lu 224 düğümden oluşuyor.

Yazarlar sınırlı ve sınırsız işleri karşılaştırmak için hipotez testleri ve ortalama tedavi etkisi tahminleri uyguluyor. Güç sınırlamasının tahmini ortalama tedavi etkisi, iş başına GPU güç çekişinde yaklaşık 10 W ve ortalama GPU sıcaklığında 4,78 °C azalma (%95 GA -4,93 ile -4,62 °C). Güç sınırlı işler sınırsız işlere göre daha küçük ve daha kararlı sıcaklık dalgalanma aralığı gösteriyor. Alıntılanan önceki çalışmalar: bir modeli 150 W'a (tepenin %60'ı) sınırlamak %8,5 ek hesaplama süresi gerektirdi ama enerjinin %12,5'ini tasarruf etti; başka bir küme GPU'ları 400 W'tan 225 W'a sınırlayıp performansın %90'ını korudu.

Yazarlar güç sınırlarının donanım ömrünü uzatabileceğini ve gömülü karbonu amorti edebileceğini savunuyor ama kullanıcıların yavaşlamayı telafi etmek için ek iş gönderebileceği ve böylece enerji tasarrufunu aşındırabileceği konusunda uyarıyor.

Sınırlar: gözlemsel iş düzeyi telemetri verisi; sınırlı ve sınırsız işler rastgele atanmadığı için eşleştirme ve önyargı azaltma kullanılsa da nedensellik çıkarımı sınırlı. Tek bir merkez ve GPU nesli (V100); sonuçlar daha yeni GPU'lara doğrudan aktarılamaz.

Öne çıkan noktalar

  1. Bir akademik süper bilgisayar merkezindeki GPU'lara %60 güç sınırı uygulandı.
  2. Veri kümesi 123.204 GPU işini kapsıyor, 19.676'sı güç sınırına tabi; küme her biri iki NVIDIA V100 GPU'lu 224 düğümden oluşuyor.
  3. Alıntılanan önceki çalışma: bir modeli 150 W'a (tepenin %60'ı) sınırlamak %8,5 ek hesaplama süresi gerektirdi ama enerjinin %12,5'ini tasarruf etti; başka bir küme GPU'ları 400 W'tan 225 W'a sınırlayıp performansın %90'ını korudu.
  4. Güç sınırlamasının tahmini ortalama tedavi etkisi: iş başına GPU güç çekişinde yaklaşık 10 W ve ortalama GPU sıcaklığında 4,78 °C azalma (%95 GA -4,93 ile -4,62 °C).
  5. Güç sınırlı işler sınırsız işlere göre daha küçük ve daha kararlı sıcaklık dalgalanma aralığı gösteriyor.

Tasarımda kullanımı

  • GPU güç sınırını (örn. tepenin %60'ı) kapasite ve soğutma planlamasında bir kontrol olarak değerlendirin: iş başına yaklaşık 10 W ve ortalama 4,78 °C daha düşük sıcaklık bildirildi.
  • Güç sınırının performans etkisini (alıntı: %8,5 ek süre ile %12,5 enerji tasarrufu) iş yükü bazında doğrulayın ve kullanıcıların telafi için ek iş göndermesiyle tasarrufun aşınabileceğini hesaba katın.
  • Daha kararlı sıcaklıkların donanım ömrünü uzatma ve gömülü karbonu amorti etme potansiyelini yaşam döngüsü maliyet hesabına ekleyin.

Aylık bülten · ücretsiz

Referans listeniz güncel kalsın

Ayda bir: yeni eklenen kaynaklar, Türkiye mevzuatındaki değişiklikler ve yaklaşan veri merkezi etkinlikleri.

SoSo CAD

Tasarım kararlarının maliyetini karşılaştırın

SoSo CAD’de ekipman maliyetlerini, enerji giderlerini ve toplam sahip olma maliyetini (TCO) girdileriniz ve varsayımlarınızla değerlendirin.

Demo iste
SoSo CAD maliyet çalışma alanında CAPEX ve TCO tahminleri

Kimler okumalı

GPU küme enerji ve sıcaklık yönetimi ve sürdürülebilir HPC politikaları belirleyen işletmeciler ve araştırmacılar.

Belgenin bölümleri

  1. I. Giriş
  2. II. İlgili çalışmalar
  3. III. Veri ve metodoloji (A. Güç sınırlamasının deneysel analizi, B. Hipotez testi ve çıkarım, C. Ortalama tedavi etkisi (ATE) tahmini, D. ATE için önyargı azaltma ve eşleştirme, E. Performans etkisi)
  4. IV. Tartışma ve vizyon
  5. V. Sonuç

Belgeyi okuyun

gpu-power-capping-hpc-scale-2023.pdf

PDF · 0,4 MB · İngilizce

CC BY 4.0 — atıf vererek paylaşabilirsiniz

İndir (PDF, 0,4 MB)Tarayıcıda aç

Belge, lisansı yeniden dağıtıma izin verdiği için özgün haliyle ve değiştirilmeden sunulmaktadır.

Yayın bilgileri

Yazarlar
Dan Zhao; Siddharth Samsi; Joseph McDonald; Baolin Li; David Bestor; Michael Jones; Devesh Tiwari; Vijay Gadepally
Yayıncı
Proceedings of the 2023 ACM Symposium on Cloud Computing (ACM)
Yıl
2023
Belge numarası
arXiv:2402.18593
Sayfalar
588-596
Belge dili
İngilizce
Kaynak türü
Bilimsel yayın
Erişim
Açık lisans — indirilebilir
Lisans
CC BY 4.0 — atıf vererek paylaşabilirsiniz
Lisans kanıtı
arxiv.org
Özgün lisans notu (İngilizce)

arXiv version licensed http://creativecommons.org/licenses/by/4.0/ (checked via arXiv OAI-PMH); arXiv PDF is the redistributed file

Künye

Dan Zhao; Siddharth Samsi; Joseph McDonald; Baolin Li; David Bestor; Michael Jones; Devesh Tiwari; Vijay Gadepally (2023). Sustainable Supercomputing for AI: GPU Power Capping at HPC Scale. Proceedings of the 2023 ACM Symposium on Cloud Computing (ACM). arXiv:2402.18593. 588-596. https://doi.org/10.1145/3620678.3624793

EnerjiKabinİşletme

Konuyla ilgili etkinlikler

Etkinlik takvimini inceleyin

İçerik ve tüm hakları eser sahiplerine aittir. SoSo CAD yalnızca künye, kendi hazırladığı özet ve kaynağa bağlantı sunar; kaynakların içeriğinden sorumlu değildir.