Yapay Zekâ Eğitimi Enerji Tahmininde Belirsizliği Azaltmak için Deneysel Kalibre H100 Düğüm Güç Modelleri

Özet

Yapay zekânın enerji talebi büyürken bu talebin özelliklerini anlamak şebeke altyapı planlaması ve çevresel değerlendirme için kritik. Çalışma 8 GPU'lu H100 sistemlerinde yapay zekâ eğitimi sırasında ölçümleri açık kaynak kıyaslama verileriyle birleştirerek hesaplama yoğunluğunu düğüm düzeyi güç tüketimine bağlayan istatistiksel modeller geliştiriyor ve üretici anma ısıl tasarım gücü (TDP) ile gerçek güç talebi arasındaki farkı ölçüyor. Hesaplama yoğun eğitim bile düğümün 10,2 kW anma TDP'sinin çok altında çalıştı: yalnızca %76'sında.

Mimariye özgü asimptotik model enerjiyi %11,4 ortalama mutlak yüzde hatayla (MAPE) tahmin ediyor; TDP tabanlı yaklaşımlarda %27-37. Gerçek ölçümde arka kapı ısı eşanjörlü düğüm boşta (24 °C) 1,8 kW çekti ve birleşik GPU+CPU stres testi, deneysel azami olarak kullanılan kararlı 8,4 kW çekti. Eğitim sırasında gözlenen en yüksek ortalama düğüm gücü 7,79 kW; bir profil başlatma (~2,5 kW) ve hesaplama yoğun eğitim (~5,8 kW) aşamalarını gösterdi. Transformer iş yükleri CNN'lerde görülmeyen karakteristik güç dalgalanmaları gösterdi.

Çalışılmış örnek: PUE 1,1'de 90 gün eğitilen 2.500 düğümlü (20.000 H100) küme için modelin düğüm başına 7,3 kW değeri yaklaşık 49,0 GWh verirken 10,2 kW TDP kullanılsa 68 GWh çıkar (19 GWh fark). Bu, TDP tabanlı tahminin enerji ve emisyonları şişirdiğini gösteriyor.

Sınırlar: tek bir düğüm mimarisi (8 GPU'lu H100) ve belirli kıyaslama iş yükleri; modeller başka donanım için yeniden kalibre edilmeli. Transformer güç dalgalanmalarının şebeke kararlılığına etkisi bu çalışmada nicelleştirilmedi.

Öne çıkan noktalar

1. Hesaplama yoğun eğitim iş yükleri bile 10,2 kW düğüm TDP derecelendirmesinin yalnızca %76'sında çalıştı.
2. Mimariye özgü model enerjiyi %11,4 MAPE ile tahmin ediyor; TDP tabanlı yaklaşımlarda %27-37.
3. Arka kapı ısı eşanjörlü (24 °C) ölçülen düğüm boşta 1,8 kW, birleşik GPU+CPU stres testi kararlı 8,4 kW çekti ve deneysel azami olarak kullanıldı.
4. Eğitim sırasında gözlenen en yüksek ortalama düğüm gücü 7,79 kW; bir profil başlatma (~2,5 kW) ve hesaplama yoğun eğitim (~5,8 kW) aşamalarını gösterdi.
5. PUE 1,1'de 90 gün eğitilen 2.500 düğümlü (20.000 H100) küme için modelin düğüm başına 7,3 kW değeri yaklaşık 49,0 GWh verirken 10,2 kW TDP kullanılsa 68 GWh çıkar (19 GWh fark).

Tasarımda kullanımı

• Yapay zekâ eğitim kümesi enerji ve güç talebini TDP yerine ölçülmüş düğüm gücüyle (burada eğitimde 7,3-7,79 kW, TDP'nin %76'sı) hesaplayın; TDP tabanlı tahmin 20.000 GPU'luk küme için 19 GWh şişirdi.
• Düğüm gücünü boşta (1,8 kW), başlatma (~2,5 kW) ve eğitim (~5,8-7,79 kW) aşamaları ve transformer iş yüklerinin güç dalgalanmalarıyla modelleyin; tesis elektrik tasarımında dalgalanmayı dikkate alın.
• Enerji tahmini belirsizliğini mimariye özgü, FLOP ile kalibre modelle (MAPE %11,4) azaltın ve başka donanım için yeniden kalibre edin.

Kimler okumalı

Yapay zekâ eğitim kümelerinin güç talebini, tesis kapasitesini ve emisyonlarını tahmin eden tasarımcılar ve analistler.

Belgenin bölümleri

1. Giriş
2. Yöntemler (8 GPU'lu H100 düğümlerinde ölçümler, açık kıyaslama verisi, istatistiksel güç modelleri)
3. Sonuçlar (TDP ile gerçek güç farkı, mimariye özgü asimptotik model, transformer ve CNN güç imzaları, 20.000 GPU'luk küme örneği)
4. Tartışma
5. Sonuç

Belgeyi okuyun

Yayın bilgileri

Yazarlar

Alex C Newkirk; Jared Fernandez; Jonathan Koomey; Imran Latif; Emma Strubell; Arman Shehabi; Constantine Samaras

Yayıncı

Environmental Research: Energy (IOP Publishing)

Yıl

2025

Belge numarası

arXiv:2506.14551

Cilt

2

Sayı

4

Sayfalar

045016

Belge dili

İngilizce

Kaynak türü

Bilimsel yayın

Erişim

Açık lisans — indirilebilir

DOI

10.1088/2753-3751/ae2486

Lisans

CC BY 4.0 — atıf vererek paylaşabilirsiniz

Lisans kanıtı

arxiv.org

Künye