LLMCarbon: Büyük Dil Modellerinin Uçtan Uca Karbon Ayak İzinin Modellenmesi

Özet

LLM'lerin karbon ayak izi eğitim, çıkarım, deneme ve depolama süreçlerinden gelen operasyonel ve gömülü emisyonları kapsayan önemli bir kaygı; yeni LLM'lerin karbon etkisini eğitimden önce doğru tahmin etmek esas olarak GPU kullanımına bağlı. Mevcut araçlardan yalnızca mlco2 yeni sinir ağlarının ayak izini fiziksel eğitimden önce tahmin edebiliyor ama yoğun veya MoE LLM'lere uzanamıyor, kritik mimari parametreleri göz ardı ediyor, yalnızca GPU'ya odaklanıyor ve gömülü karbonu modelleyemiyor. LLMCarbon bu boşlukları kapatıyor.

Operasyonel karbon, FLOP sayıları, paralellik ayarıyla yönlendirilen donanım verimlilik modeli, cihaz gücü, PUE ve şebeke karbon yoğunluğundan geliyor: operasyonel enerji = Σ(P_i × eff_i × n_i × t_i) × PUE, karbon yoğunluğuyla çarpılıyor. Gömülü karbon CO2eq_çip = alan × CPA (alan başına karbon) olarak hesaplanıp Σ(t_i/ömür_i × CO2eq_çip_i) ile amorti ediliyor; toplam karbon = operasyonel + gömülü. Kullanılan gömülü faktörler: CPU (TSMC 16 nm, 147 mm²) 1 kgCO2/cm²; DRAM (Micron 18 nm) 0,4 kgCO2/GB; SSD (Samsung 20 nm) 0,018 kgCO2/GB; TPUv3 (16 nm, 700 mm²) 1 kgCO2/cm²; TPUv4 (7 nm, 400 mm²) 1,6 kgCO2/cm²; V100 (12 nm, 815 mm²) 1,2 kgCO2/cm².

Gömülü doğrulama Meta XLM eğitimi üzerinde yapıldı (64 adet 8 GPU'lu sunucuda 512 V100 GPU, her biri 32 TB SSD ve 256 GB DRAM). Birim başına gömülü karbon: GPU 9,78 kgCO2eq, CPU 1,47, SSD 576, DRAM 102,4; anakart, şasi ve PSU toplamın %15'i alındı. Yayımlanmış Google ve Meta rakamlarına karşı hata eğitim için %8,2 veya altı, gömülü karbon için -%3,05. Gömülü karbon bir LLM'in tüm yaşam döngüsü ayak izinin yaklaşık %24-35'ini oluşturuyor; operasyonel enerjinin %97'sinin yenilenebilir olduğu bir Meta veri merkezinde %92-95'ini. Hızlandırıcılar (V100, H100, TPUv3, TPUv4) arasında gömülü ayak izleri benzer çünkü SSD ve DRAM gömülü karbonu baskın; operasyonel ayak izleri V100'e göre %71 (H100) ve %41 (TPUv4) düşüyor.

Depolama aşaması güç varsayımları: bulut depolama için 11,3 W/TB ve veri merkezi içi veri aktarımı için yaklaşık 1,48 W/TB. Meta veri merkezleri 5 yıllık donanım ömrü boyunca ortalama %60 donanım kullanımı gösteriyor. Doğrulama girdileri Google ve Meta tesisleri için yaklaşık 1,09-1,12 PUE kullandı; şebeke yoğunlukları 127 gCO2eq/kWh (europe-north1, %91 CFE) ile 394 gCO2eq/kWh (us-central1, %97 CFE) arasında. Sınırlar: gömülü faktörler tek imalat düğümü ve alan başına karbon varsayımına dayanıyor, doğrulama yayımlanmış rakamlarla sınırlı.

Öne çıkan noktalar

1. Gömülü model CO2eq_çip = alan × CPA ve Σ(t_i/ömür_i × CO2eq_çip_i) ile amorti ediliyor; toplam karbon = operasyonel + gömülü; operasyonel enerji = Σ(P_i × eff_i × n_i × t_i) × PUE, karbon yoğunluğuyla çarpılıyor.
2. Gömülü faktörler: CPU 1 kgCO2/cm²; DRAM 0,4 kgCO2/GB; SSD 0,018 kgCO2/GB; TPUv3 1 kgCO2/cm²; TPUv4 1,6 kgCO2/cm²; V100 1,2 kgCO2/cm².
3. Meta XLM eğitimi (512 V100 GPU, 64 sunucu, her biri 32 TB SSD ve 256 GB DRAM) için birim başına gömülü karbon: GPU 9,78 kgCO2eq, CPU 1,47, SSD 576, DRAM 102,4; anakart, şasi ve PSU toplamın %15'i.
4. Yayımlanmış Google ve Meta rakamlarına karşı hata eğitim için %8,2 veya altı, gömülü karbon için -%3,05.
5. Gömülü karbon bir LLM'in tüm yaşam döngüsü ayak izinin yaklaşık %24-35'ini oluşturuyor; operasyonel enerjinin %97'sinin yenilenebilir olduğu bir Meta veri merkezinde %92-95'ini.
6. Hızlandırıcılar arasında gömülü ayak izleri benzer (SSD ve DRAM baskın); operasyonel ayak izleri V100'e göre %71 (H100) ve %41 (TPUv4) düşüyor.
7. Depolama aşaması güç varsayımları: bulut depolama 11,3 W/TB, veri merkezi içi veri aktarımı yaklaşık 1,48 W/TB; Meta veri merkezleri 5 yıllık ömür boyunca ortalama %60 donanım kullanımı.

Tasarımda kullanımı

• Yapay zekâ veri merkezi karbon tahmininde operasyonel (FLOP, güç, PUE, şebeke yoğunluğu) ve gömülü (çip alanı × CPA, bellek ve depolama GB başına) karbonu birlikte hesaplayın; yenilenebilir enerjiyle çalışan tesiste gömülü karbon %92-95'e çıkıyor.
• Donanım karşılaştırmasında gömülü karbonun SSD ve DRAM tarafından baskın olduğunu ve hızlandırıcı seçiminin operasyonel ayak izini V100'e göre %41-71 azaltabildiğini ayrı değerlendirin.
• Donanım ömrü ve kullanım oranı (örn. 5 yıl, %60) varsayımlarını açık girdi yapın; gömülü karbon ömre ve yürütme süresine amorti ediliyor.

Kimler okumalı

Yapay zekâ kümelerinin operasyonel ve gömülü karbonunu eğitimden önce tahmin eden tasarımcılar, araştırmacılar ve sürdürülebilirlik analistleri.

Belgenin bölümleri

1. 4 LLMCarbon (4.1 Genel bakış, 4.2 Parametre modeli, 4.4 FLOP modeli, operasyonel karbon modeli, gömülü karbon modeli)
2. Doğrulama (Google ve Meta rakamlarına karşı operasyonel ve gömülü karbon)
3. Vaka çalışmaları (hızlandırıcı karşılaştırması, yenilenebilir enerjili veri merkezi, depolama aşaması)
4. Sonuç

Belgeyi okuyun

Yayın bilgileri

Yazarlar

Ahmad Faiz; Sotaro Kaneda; Ruhan Wang; Rita Osi; Prateek Sharma; Fan Chen; Lei Jiang

Yayıncı

International Conference on Learning Representations (ICLR 2024)

Yıl

2024

Belge numarası

arXiv:2309.14393

Belge dili

İngilizce

Kaynak türü

Bilimsel yayın

Erişim

Açık lisans — indirilebilir

DOI

10.48550/arXiv.2309.14393

Lisans

CC BY 4.0 — atıf vererek paylaşabilirsiniz

Lisans kanıtı

arxiv.org

Künye