SoSo CAD
Bilimsel makalePDF2026

Sunuculardan Sahalara: Altyapı Planlaması için LLM Çıkarımının Bileşimsel Güç İzi Üretimi

Özgün başlık From Servers to Sites: Compositional Power Trace Generation of LLM Inference for Infrastructure Planning

arXiv preprint (Stanford University / Microsoft Azure Research) · Grant Wilkins, Fiodar Kazhamiaka ve diğerleri

LLM çıkarım güç izlerini, GPU çalışma durumları (prefill, decode, boşta, karışık toplu iş) arasındaki iş yükü güdümlü geçişleri durum içindeki konfigürasyona özgü güç dağılımlarından ayırarak üreten bir çerçeve; izler raf, sıra ve tesis düzeyine toplanıyor.

Belgeyi okuİndir (PDF, 6,0 MB)Özgün kaynağa git

CC BY 4.0 — atıf vererek paylaşabilirsiniz

Bu sayfada

Özet

Veri merkezi işletmecileri ve elektrik kamu hizmetleri farklı mekânzamansal ölçeklerde güç izlerine dayanıyor: işletmeciler tahsis, tesis yönetimi ve çizelgeleme için ince taneli izleri, kamu hizmetleri kapasite ve bağlantı planlaması için saha düzeyi yük profillerini kullanıyor. Mevcut veri merkezi güç modelleri, GPU'ların hesaplama yoğun prefill, daha düşük güçlü decode ve boşta durumları arasında hızla geçtiği LLM çıkarımını yakalamıyor. Makale LLM çıkarım gücünün iş yükü güdümlü durum geçişleri ve konfigürasyona özgü güç dağılımlarıyla bileşimsel olarak temsil edilebileceğini gösteriyor.

Prefill GPU gücünü TDP'nin %80-90'ına çıkarırken bellek sınırlı decode TDP'nin %40-60'ında çalışıyor; sürekli toplu işlemede ikisi aynı toplu işte bir arada. Ölçülmüş vLLM sunucu izleri üzerinde eğitilen sınıflandırıcılar istek varış akışlarını durum yörüngelerine ve güç izlerine çeviriyor, bunlar sonra raf, sıra ve tesis düzeyine toplanıyor. Üretilen izler çoğu konfigürasyonda %5'in altında medyan mutlak enerji hatası sağlarken düz TDP varsayımı enerjiyi 3,5 kattan fazla abartıyor.

Tesis vaka çalışmasında TDP boyutlandırması 1,19 MW tepe verirken üretilen izlerden 0,75 MW; yani anma gücüne göre tahsis gereken bağlantı kapasitesini yaklaşık %60 abartıyor. Üretilen tesis izleri 1,19 tepe/ortalama oranı, 0,84 yük faktörü ve en fazla 15 dakikalık 0,11 MW rampa gösteriyor. 600 kW'lık sıra sınırıyla TDP tahsisi 23 rafa izin verirken iz tabanlı P95 ölçütü 57 rafa izin veriyor (gözlenen tepe yaklaşık 580 kW), yani raf yoğunluğunun iki katından fazlası. Aşırı abonelik payı raf tepelerinin zamansal ilintisizliğine bağlı; daha güçlü eşzamanlı varışlar güvenli aşırı abonelik sınırını azaltır.

Sınırlar: modeller ölçülmüş vLLM sunucu izlerinden eğitiliyor ve konfigürasyona özgü dağılımlar gerektiriyor; vaka çalışması tek bir üretim Azure çıkarım izine dayanıyor. Ön baskı.

Öne çıkan noktalar

  1. Prefill GPU gücünü TDP'nin %80-90'ına çıkarırken bellek sınırlı decode TDP'nin %40-60'ında çalışıyor; sürekli toplu işlemede ikisi aynı toplu işte bir arada.
  2. Üretilen izler çoğu konfigürasyonda %5'in altında medyan mutlak enerji hatası sağlıyor; düz TDP varsayımı enerjiyi 3,5 kattan fazla abartıyor.
  3. Tesis vaka çalışmasında TDP boyutlandırması 1,19 MW tepe, üretilen izler 0,75 MW verdi; anma güçle tahsis gereken bağlantı kapasitesini yaklaşık %60 abartıyor.
  4. Üretilen tesis izleri 1,19 tepe/ortalama oranı, 0,84 yük faktörü ve en fazla 15 dakikalık 0,11 MW rampa gösteriyor.
  5. 600 kW'lık sıra sınırıyla TDP tahsisi 23 rafa, iz tabanlı P95 ölçütü 57 rafa izin veriyor (gözlenen tepe yaklaşık 580 kW); raf yoğunluğunun iki katından fazlası.
  6. Aşırı abonelik payı raf tepelerinin zamansal ilintisizliğine bağlı; daha güçlü eşzamanlı varışlar güvenli sınırı azaltır.

Tasarımda kullanımı

  • Yapay zekâ çıkarım tesisinde bağlantı kapasitesini anma TDP veya ortalama güçle değil iş yükünden üretilmiş izlerle belirleyin; TDP boyutlandırması 1,19 MW, iz tabanlı 0,75 MW verdi (yaklaşık %60 fazla).
  • Raf yoğunluğu ve aşırı abonelikte sıra sınırını (örn. 600 kW) TDP yerine iz tabanlı P95 ölçütüyle değerlendirin (23 raf yerine 57 raf), ve raf tepelerinin zamansal ilintisizliği varsayımını (eşzamanlı varışlar sınırı düşürür) açık risk olarak belirtin.
  • Prefill (TDP'nin %80-90'ı) ve decode (%40-60'ı) durumlarının aynı toplu işte bir arada olduğunu güç modelinde dikkate alın.

Aylık bülten · ücretsiz

Referans listeniz güncel kalsın

Ayda bir: yeni eklenen kaynaklar, Türkiye mevzuatındaki değişiklikler ve yaklaşan veri merkezi etkinlikleri.

SoSo CAD

Tasarım kararlarının maliyetini karşılaştırın

SoSo CAD’de ekipman maliyetlerini, enerji giderlerini ve toplam sahip olma maliyetini (TCO) girdileriniz ve varsayımlarınızla değerlendirin.

Demo iste
SoSo CAD maliyet çalışma alanında CAPEX ve TCO tahminleri

Kimler okumalı

Yapay zekâ çıkarım tesislerinin elektrik yükünü, bağlantı kapasitesini ve raf aşırı aboneliğini planlayan tasarımcılar ve şebeke planlamacıları.

Belgenin bölümleri

  1. 1 Giriş
  2. 2 Motivasyon ve gözlemler (2.1 Sürekli toplu çıkarımda güç durumları)
  3. 3 Yöntemler (3.1 Planlayıcıya dönük arayüz, durum geçişi sınıflandırıcıları, durum içi güç dağılımları, raf, sıra ve tesis toplama)
  4. 4 Değerlendirme ve vaka çalışmaları (enerji hatası, zamansal otokorelasyon, tesis vaka çalışması, sıra aşırı aboneliği)
  5. 7 Sonuç

Belgeyi okuyun

llm-inference-power-trace-generation-2026.pdf

PDF · 6,0 MB · İngilizce

CC BY 4.0 — atıf vererek paylaşabilirsiniz

İndir (PDF, 6,0 MB)Tarayıcıda aç

Belge, lisansı yeniden dağıtıma izin verdiği için özgün haliyle ve değiştirilmeden sunulmaktadır.

Yayın bilgileri

Yazarlar
Grant Wilkins; Fiodar Kazhamiaka; Ram Rajagopal
Yayıncı
arXiv preprint (Stanford University / Microsoft Azure Research)
Yıl
2026
Belge numarası
arXiv:2603.18383
Belge dili
İngilizce
Kaynak türü
Bilimsel yayın
Erişim
Açık lisans — indirilebilir
Lisans
CC BY 4.0 — atıf vererek paylaşabilirsiniz
Lisans kanıtı
arxiv.org
Özgün lisans notu (İngilizce)

arXiv record licence is http://creativecommons.org/licenses/by/4.0/ (checked via arXiv OAI-PMH)

Künye

Grant Wilkins; Fiodar Kazhamiaka; Ram Rajagopal (2026). From Servers to Sites: Compositional Power Trace Generation of LLM Inference for Infrastructure Planning. arXiv preprint (Stanford University / Microsoft Azure Research). arXiv:2603.18383. https://doi.org/10.48550/arXiv.2603.18383

EnerjiElektrikKabin

Konuyla ilgili etkinlikler

Etkinlik takvimini inceleyin

İçerik ve tüm hakları eser sahiplerine aittir. SoSo CAD yalnızca künye, kendi hazırladığı özet ve kaynağa bağlantı sunar; kaynakların içeriğinden sorumlu değildir.