Güç Şebekeleri için Görülmeyen Yapay Zekâ Aksaklıkları: LLM Kaynaklı Geçici Olaylar

Özet

LLM'lerdeki son atılımlar önemli sektörlerde üstün yetenek gösterdi ve önümüzdeki 3-5 yılda yapay zekâ merkezli veri merkezlerine çok yüz milyar dolarlık yatırımı tetikledi. Bu arada yapay zekâ enerji kullanımı kaygıları artıyor; örneğin GPT-4'ün eğitimi 50 GWh'ten fazla tüketti, bu Kaliforniya'nın yıllık elektrik tüketiminin yaklaşık %0,02'si ve GPT-3'e göre 50 kat artış. Ancak yalnızca bu rakamlara bakmak daha kritik bir sorunu gizleyebilir: yapay zekânın şebekeler üzerindeki yıkıcı dinamik güç tüketim davranışı. Makale yapay zekâ merkezli veri merkezleri için ölçütler öneriyor (TDP, PUE, tepe/ortalama ve tepe/boşta oranları, rampa ve düşüş hızları), eğitim, ince ayar ve çıkarım gücünün üst düzey matematiksel modellerini geliştiriyor ve MIT Supercloud veri kümesi ve tek GPU deneylerinden vaka çalışmaları sunuyor.

Yazarların deneyi LLM eğitiminin soğuk başlangıçtan anında onlarca megavatın üzerinde tepe yüke çıkabildiğini gösteriyor, oysa mevcut dağıtım şebekesi dakikalık rampa kapasitesi tipik olarak birkaç megavatla sınırlı. Bileşen güç hususları: GPU 400-700 W'a kadar, CPU 200-400 W, GPU başına HBM 30-80 W, soğutma toplam sistem gücünün %10-20'si, güç kaynakları tipik olarak %90-96 verimli. Geleneksel bilişim raf başına 10-15 kW, yapay zekâ iş yükleri 30+ kW/raf. Uzun süren eğitim işleri tepe/ortalama oranı 1'e yakın gösterirken geleneksel veri merkezlerinde 1,5-2,0; tepe/boşta oranı eğitim kesintisinden sonra düşüşün ne kadar büyük olduğunu gösteriyor.

MIT Supercloud veri kümesinde bir BERT işi 4 günde yaklaşık 48,70 kW tepeye, 17,80 kW ortalamaya ve 12,39 kW standart sapmaya ulaştı. RTX 4090 tek GPU GPT-2 eğitimi yaklaşık 320 W güç düşüşleri ve 350 W rampalar, ortalama 414 W güç gösterdi. Yazarlar alt saniye tepe-boşta güç dalgalanmasının, eğitim sırasında öngörülemeyen kesintilerin ve kullanıcı davranışının belirlediği çıkarım gücünün birlikte şebekelere büyük zorluk getirdiği sonucuna varıyor.

Sınırlar: üst düzey matematiksel modeller ve sınırlı sayıda vaka çalışması (bir MIT veri kümesi ve tek GPU deneyleri); gerçek tesis ölçümleri yerine basit modeller. Ön baskı; ağ ölçekli ve hibrit depolama fırsatlarına değiniyor.

Öne çıkan noktalar

1. Yazarların deneyi LLM eğitiminin soğuk başlangıçtan anında onlarca megavatın üzerinde tepe yüke çıkabildiğini, oysa mevcut dağıtım şebekesi dakikalık rampa kapasitesinin tipik olarak birkaç megavatla sınırlı olduğunu gösteriyor.
2. Bileşen güçleri: GPU 400-700 W'a kadar, CPU 200-400 W, GPU başına HBM 30-80 W, soğutma toplam sistem gücünün %10-20'si, güç kaynakları tipik olarak %90-96 verimli.
3. Geleneksel bilişim raf başına 10-15 kW, yapay zekâ iş yükleri 30+ kW/raf.
4. Uzun süren eğitim işleri tepe/ortalama oranı 1'e yakın gösteriyor; geleneksel veri merkezlerinde 1,5-2,0; tepe/boşta oranı eğitim kesintisinden sonra düşüşün büyüklüğünü gösteriyor.
5. MIT Supercloud veri kümesinde bir BERT işi 4 günde yaklaşık 48,70 kW tepe, 17,80 kW ortalama ve 12,39 kW standart sapmaya ulaştı.
6. RTX 4090 tek GPU GPT-2 eğitimi yaklaşık 320 W güç düşüşleri ve 350 W rampalar, ortalama 414 W güç gösterdi.

Tasarımda kullanımı

• Yapay zekâ yükünü yalnızca enerjiyle değil tepe/ortalama (eğitimde ~1), tepe/boşta oranı ve rampa/düşüş hızlarıyla tanımlayın; UPS, jeneratör ve şebeke bağlantısı için alt saniye dinamikleri girdi yapın.
• Dağıtım şebekesinin dakikalık rampa kapasitesinin (birkaç MW) eğitim yükünün anlık sıçramasından (onlarca MW) çok düşük olabileceğini bağlantı çalışmasında kontrol edin.
• Raf yoğunluğunu 10-15 kW (geleneksel) ile 30+ kW (yapay zekâ) arasında ayrı sınıflar olarak modelleyin; eğitim kesintisi sonrası düşüşü tepe/boşta oranıyla değerlendirin.

Kimler okumalı

Yapay zekâ iş yüklerinin dinamik güç davranışını ve şebeke etkisini değerlendiren tasarımcılar, şebeke planlamacıları ve araştırmacılar.

Belgenin bölümleri

1. I. Giriş (A. Yapay zekâ büyümesi ve güç tüketimine etkileri, B. İlgili çalışmalar)
2. II. Yapay zekâ yüklerinin özellikleri (A. Yapay zekâ hesaplama düğümünün yapısı, B. Yapay zekâ elektrik yükünün sınıflandırması, C. LLM ve donanımının korelasyonu, D. Yapay zekâ iş yüklerinin benzersiz özellikleri)
3. III. Yapay zekâ güç tüketimi modellemesi (A. Yapay zekâ merkezli veri merkezi ölçütleri, B. Toplam veri merkezi güç tüketimi, C. Yapay zekâ iş yükü güç tüketimi, D. Dinamik güç tüketimi)
4. IV. Yapay zekâ güç tüketimi analizi: vaka çalışmaları (veri merkezi davranışı, LLM kıyaslamaları, LLM eğitimi, LLM ince ayarı, LLM çıkarımı, farklı toplu boyutlarla LLM çıkarımı)
5. V. Gelecek araştırma yönleri (A. Yapay zekâ kullanıcı perspektifi, B. Veri merkezi perspektifi, C. Güç şebekesi perspektifi)
6. VI. Sonuçlar

Belgeyi okuyun

Yayın bilgileri

Yazarlar

Yuzhuo Li; Mariam Mughees; Yize Chen; Yunwei Ryan Li

Yayıncı

arXiv preprint (University of Alberta)

Yıl

2024

Belge numarası

arXiv:2409.11416

Belge dili

İngilizce

Kaynak türü

Bilimsel yayın

Erişim

Açık lisans — indirilebilir

DOI

10.48550/arXiv.2409.11416

Lisans

CC BY 4.0 — atıf vererek paylaşabilirsiniz

Lisans kanıtı

arxiv.org

Künye