POLCA: LLM Bulut Sağlayıcılarında Güç Aşırı Abonelik

Özet

Pratyush Patel ve arkadaşlarının Microsoft Azure'dan 2023 tarihli bu arXiv ön baskısı, DGX A100 sunucularında ve üretim kümelerinde LLM eğitimi ve çıkarımının güç kullanımını karakterize eder ve bunu güç aşırı aboneliğini gerekçelendirmek için kullanır. Çıkarım kümeleri günlük bir desen gösterir ancak tahsis edilen gücün çok altında kalır; eğitim kümeleri ise büyük ve eşzamanlı salınımlar üretir.

Rakamlar farkı gösterir: LLM çıkarım kümeleri tahsis edilen gücün en çok yüzde 80'ini kullanırken, eğitim kümeleri büyük eşgüdümlü tepeler nedeniyle yaklaşık yüzde 10 gibi daha küçük bir boşluk sunar. Üretim kümelerinde eğitim, tahsis edilen güç kapasitesinin yüzde 37,5'ine varan güç salınımları yaşarken çıkarım en çok yüzde 9 değişir. GPU gücü sunucu gücünün ortalama yüzde 60'ını oluşturur ve tepe GPU gücü sunucunun GPU TDP'sini 500 W'a kadar aşabilir.

Eğitim yineleme sınırlarında GPU gücü TDP'nin yüzde 75'ine (RoBERTa), yüzde 50'sine (GPT-NeoX) veya yüzde 20'sine (Flan-T5, yaklaşık boşta) düşer; yazarlar asıl zorluğun tepe değil, salınımlar olduğunu vurgular. Kontrol kaldıraçları olarak GPU frekans kilitleme ve güç sınırlama değerlendirilir; güç sınırlarının reaktif olduğu ve istem aşaması sıçramalarını geçirdiği, BMC üzerinden bant dışı kontrollerin ise yavaş olduğu belirtilir. Flan-T5 ve GPT-NeoX eğitiminde frekans sınırlama, performansı yüzde 10 etkileyerek tepe sunucu gücünü yüzde 22 azaltmıştır.

Önerilen POLCA çerçevesi, aşamaya duyarlı frekans ve güç eşiklerini bir güç freni güvencesiyle kullanır. Üretim benzeri izler üzerindeki simülasyon, aynı güç bütçesinde asgari performans kaybıyla yüzde 30 daha fazla çıkarım sunucusuna izin verir ve hizmet düzeyi hedeflerini korur. Sınırlılık olarak sonuçlar Azure'un iş yüklerine ve donanımına özgüdür; ön baskı olarak yayımlanmıştır.

Öne çıkan noktalar

1. LLM çıkarım kümeleri tahsis edilen gücün en çok yüzde 80'ini kullanır; eğitim kümeleri büyük eşgüdümlü tepeler nedeniyle yaklaşık yüzde 10 boşluk sunar.
2. Üretim kümelerinde eğitim tahsis edilen güç kapasitesinin yüzde 37,5'ine varan salınımlar yaşar; çıkarım en çok yüzde 9 değişir.
3. GPU gücü sunucu gücünün ortalama yüzde 60'ıdır; tepe GPU gücü sunucunun GPU TDP'sini 500 W'a kadar aşabilir.
4. Eğitim yineleme sınırlarında GPU gücü TDP'nin yüzde 75'ine (RoBERTa), yüzde 50'sine (GPT-NeoX) veya yüzde 20'sine (Flan-T5) düşer; asıl zorluk salınımlardır.
5. Flan-T5 ve GPT-NeoX eğitiminde frekans sınırlama tepe sunucu gücünü yüzde 22 azaltmış, performansı yüzde 10 etkilemiştir.
6. Güç sınırları reaktiftir ve istem aşaması sıçramalarını geçirir; BMC üzerinden bant dışı kontroller yavaştır.
7. POLCA, aynı çıkarım GPU kümesinde hizmet düzeyi hedeflerini koruyarak yüzde 30 daha fazla sunucu konuşlandırmaya izin verir.

Tasarımda kullanımı

• Güç planlayıcısında iş yüküne göre farklı çeşitlilik ve aşırı abonelik katsayıları uygulayın: çıkarım sıraları anma toplamının altında tahsis edilebilir (örneğin tepe yaklaşık tahsisin yüzde 80'i), eğitim sıraları yalnızca yaklaşık yüzde 10 boşlukla eşzamanlı tepeler varsaymalıdır.
• 'Güç aşırı aboneliği' seçeneği sunun; bunu sınırlama veya fren mekanizması ve telemetri şartına bağlayın ve eklenebilecek ek sunucuları raporlayın.
• PSU ve rack PDU boyutlandırırken TDP üzerindeki GPU tepelerini hesaba katın; karışık eğitim ve çıkarım sıralarını risk olarak işaretleyin.

Kimler okumalı

Yapay zekâ kümeleri için güç tahsisi ve aşırı abonelik stratejisi belirleyen elektrik tasarımcıları, kapasite planlamacıları ve işletmeciler.

Yayın bilgileri

Yazarlar

Pratyush Patel; Esha Choukse; Chaojie Zhang; Íñigo Goiri; Brijesh Warrier; Nithish Mahalingam; Ricardo Bianchini

Yayıncı

arXiv preprint (Microsoft Azure)

Yıl

2023

Belge numarası

arXiv:2308.12908

Belge dili

İngilizce

Kaynak türü

Bilimsel yayın

Erişim

Ücretsiz okunur

DOI

10.48550/arXiv.2308.12908

Lisans

CC BY-NC-ND 4.0 — atıf vererek, değiştirmeden ve ticari olmayan amaçlarla paylaşabilirsiniz

Künye