SoSo CAD
Bilimsel makaleÜcretsiz okunur2025

TAPAS: Bulut Platformlarında LLM Çıkarımı İçin Isıl ve Güç Farkındalıklı Zamanlama

Özgün başlık TAPAS: Thermal- and Power-Aware Scheduling for LLM Inference in Cloud Platforms

arXiv preprint (Microsoft Azure Research / University of Illinois) · Jovan Stojkovic, Chaojie Zhang ve diğerleri

Microsoft Azure Research ve Illinois Üniversitesi'nin arXiv önbaskısı, Azure GPU veri merkezlerinin üretim telemetrisinden ısıl ve güç modelleri çıkarıp GPU sanal makinelerini soğutma ve güç sınırları içinde yerleştiren bir zamanlayıcıyı sunuyor.

Özgün kaynağa git
Bu sayfada

Özet

Çalışma, Jovan Stojkovic, Chaojie Zhang, Íñigo Goiri, Esha Choukse, Haoran Qiu, Rodrigo Fonseca, Josep Torrellas ve Ricardo Bianchini'nin hazırladığı bir arXiv önbaskısıdır (arXiv:2501.02600, 2025; Microsoft Azure Research / University of Illinois). Çalışma, Azure GPU veri merkezlerinden aylarca süren üretim telemetrisini kullanarak sunucu giriş ve GPU sıcaklıklarının dış sıcaklığa, sıra konumuna ve sunucu yerleşimine göre değiştiğini; LLM çıkarım yapılandırmasının (model boyutu, nicemleme, paralellik, frekans, parti boyutu) performansı sıcaklık, güç ve kaliteyle takas ettiğini gösterir. GPU sıcaklığı, donanımın hesaplamayı kıstığı bir eşiğin (örneğin 85 C) altında kalmalıdır.

Dış hava/adyabatik soğutmada, hava soğukken giriş sıcaklığı sabit tutulur (örneğin 18 C üzeri) ve dış sıcaklık yaklaşık 15 C'yi aşınca kabaca doğrusal biçimde yükselir; dışarısı 35 C iken düşük ve yüksek yük giriş sıcaklığını yaklaşık 2 C değiştirir. Bir veri merkezinde karşılaştırılabilir giriş sıcaklıklarında yüksek yükteki 3.000'den fazla GPU arasında 20 C'yi aşan bir aralık vardır ve bazı sıralar 1-2 C daha sıcak çalışır.

TAPAS bu ısıl ve güç modellerini GPU sanal makinelerini soğutma ve güç sınırları içinde yerleştirmek, çıkarım isteklerini SaaS örnekleri arasında yönlendirmek ve yük artışlarında ya da soğutma/güç acil durumlarında örnekleri yeniden yapılandırmak için kullanır. P99 kuyruk gecikmesini korurken azami sıcaklığı yüzde 17, tepe sıra gücünü yüzde 23 azaltır ve fazla abonelik yoluyla yüzde 40'a varan ek kapasite sağlar. Yüzlerce üretim rafının iz güdümlü simülasyonunda ısıl ve güç kısma olaylarını sırasıyla yüzde 97 ve yüzde 99 azaltmıştır.

Öne çıkan noktalar

  1. TAPAS, P99 kuyruk gecikmesini korurken azami sıcaklığı yüzde 17, tepe sıra gücünü yüzde 23 azalttı; fazla abonelikle yüzde 40'a varan ek kapasite sağlar.
  2. Yüzlerce üretim rafının iz güdümlü simülasyonunda ısıl ve güç kısma olayları, diğer pratik politikalara göre sırasıyla yüzde 97 ve yüzde 99 azaldı.
  3. GPU sıcaklığı, donanımın hesaplamayı kıstığı bir eşiğin (örneğin 85 C) altında kalmalıdır.
  4. Dış hava/adyabatik soğutmada giriş sıcaklığı soğukken sabit tutulur (örneğin 18 C üzeri), dış sıcaklık yaklaşık 15 C'yi aşınca kabaca doğrusal artar; 35 C dışarıda düşük ve yüksek yük giriş sıcaklığını yaklaşık 2 C değiştirir.
  5. Bir veri merkezinde 3.000'den fazla yüksek yüklü GPU arasında, karşılaştırılabilir giriş sıcaklıklarında bile 20 C'yi aşan bir aralık vardır; bazı sıralar 1-2 C daha sıcaktır.

Tasarımda kullanımı

  • Tasarım aracında ısıl ve güç payını birlikte ele alın: ekonomizer/adyabatik sistemlerde dış koşullarla giriş sıcaklığı artışının GPU ısıl marjını nasıl aşındırdığını ve kısmaya yol açabileceğini gösterin.
  • İş yüküne bağlı kontrollerle ilişkilendirilmiş isteğe bağlı bir fazla abonelik katsayısıyla sıra düzeyinde güç bütçesine izin verin.
  • CFD/hava akışı özetlerinde geri dolaşıma yatkın sıraları ve konumları sıcak nokta olarak işaretleyin.
  • En ısıl duyarlı GPU yüklerini en soğuk bölgelere yerleştirmeyi önerin.

Aylık bülten · ücretsiz

Referans listeniz güncel kalsın

Ayda bir: yeni eklenen kaynaklar, Türkiye mevzuatındaki değişiklikler ve yaklaşan veri merkezi etkinlikleri.

SoSo CAD

Soğutma kapasitenizi tasarımla birlikte kontrol edin

SoSo CAD’de zonların ısı yükünü, kullanılabilir kapasitesini ve en büyük ünite kaybındaki kapasite dengesini inceleyin.

Demo iste
SoSo CAD soğutma çalışma alanında zon yükleri ve kapasite dengesi

Kimler okumalı

Yapay zeka kümelerinin soğutma ve güç tasarımını yapan mühendisler ile bulut zamanlama araştırmacıları.

Yayın bilgileri

Yazarlar
Jovan Stojkovic; Chaojie Zhang; Íñigo Goiri; Esha Choukse; Haoran Qiu; Rodrigo Fonseca; Josep Torrellas; Ricardo Bianchini
Yayıncı
arXiv preprint (Microsoft Azure Research / University of Illinois)
Yıl
2025
Belge numarası
arXiv:2501.02600
Belge dili
İngilizce
Kaynak türü
Bilimsel yayın
Erişim
Ücretsiz okunur
Lisans
CC BY-NC-SA 4.0 — atıf vererek, ticari olmayan amaçlarla ve aynı lisansla paylaşabilirsiniz
Özgün lisans notu (İngilizce)

arXiv CC BY-NC-SA 4.0 (non-commercial) - citation only

Künye

Jovan Stojkovic; Chaojie Zhang; Íñigo Goiri; Esha Choukse; Haoran Qiu; Rodrigo Fonseca; Josep Torrellas; Ricardo Bianchini (2025). TAPAS: Thermal- and Power-Aware Scheduling for LLM Inference in Cloud Platforms. arXiv preprint (Microsoft Azure Research / University of Illinois). arXiv:2501.02600. https://doi.org/10.48550/arXiv.2501.02600

SoğutmaElektrikİşletmeKabin

Konuyla ilgili etkinlikler

Etkinlik takvimini inceleyin

İçerik ve tüm hakları eser sahiplerine aittir. SoSo CAD yalnızca künye, kendi hazırladığı özet ve kaynağa bağlantı sunar; kaynakların içeriğinden sorumlu değildir.