Daldırma Soğutmalı BT Ekipmanı için Tasarım Kılavuzu, Revizyon 1.0 (Aralık 2020)

Özet

Rapor, sunucu tasarımcılarına, entegratörlere ve işletmecilere hitap eder ve CC BY-SA 4.0 lisansıyla yayımlanmıştır. Neredeyse tüm bilgi işlem ekipmanının hava ortamı için üretildiğini, daldırmanın ise malzeme ve akışkan uyumu konusunda ayrı dikkat gerektirdiğini vurgular. Beş başlık altında ilerler: malzeme uyumu, termal tasarım, mekanik tasarım, elektronik tasarım ve yazılım. Okuyucuyu, birlikte okunması gereken zorunlu kaynak olarak OCP ACS Daldırma Gereksinimleri belgesine yönlendirir. Tesis boyutlandırmasından çok daldırmaya hazır BT donanımına odaklanır; sayısal sınır değerleri azdır.

Malzeme uyumu bölümü, hava soğutmalı bir salonda toz ve aşındırıcı gazların risk olduğunu, daldırmada ise donanımın kendisinin kirletici kaynağı olabileceğini söyler. Etiket yapıştırıcıları ve mürekkepler, kapasitörlerdeki EPDM contalar, bazı kablo kılıfları, ısıyla büzüşen kılıflar, pil malzemeleri, sızdırmaz olmayan röleler ve termal macunlar sorun listesindedir; çözüm olarak uyumlu malzeme, indiyum folyo gibi TIM veya hava dolgulu yerine helyumla kapatılmış disk önerilir. Kablo kılıfı ve ısıyla büzüşen malzemeler özellikle 60 °C ve üzerinde bozulabilir.

Test yöntemleri akışkana göre ayrılır. Hidrokarbon bazlı tek fazlı daldırmada ASTM D471 ve D2240 tipi bekletme testleri ile ısıl yaşlandırma önerilir. Florokimyasallar temiz halde polimerlerle neredeyse hiç etkileşmez, ancak PVC kablodan çıkan DOP ya da silikon yağı gibi kirleticileri milyonda birkaç düzeyde doyurup başka malzemelere aktarabilir; buna ikincil uyumsuzluk denir. İki fazlı sistemde kaynama sırasında yağlar kazan taşı gibi kaynama yüzeyinde birikir. Soxhlet ekstraksiyon testi hem emilen hem özütlenen kütleyi ayırdığından tercih edilir; kütle kaybının yüzde 2'nin altında kalması iyi uyum göstergesidir, 48 saatlik test en kötü durumu verir.

Termal bölümde tek fazlı akışkanların özgül ısısı florokarbonlarda yaklaşık 1300 J/kgK, hidrokarbonlarda 2300 J/kgK olarak verilir; hava 1000, su yaklaşık 4180 J/kgK değerindedir. Yoğunluk farkı nedeniyle birim hacimde taşınan enerji hidrokarbon ve florokarbonda yaklaşık aynıdır. Daldırma soğutucu kanatçıkları viskozite nedeniyle daha geniş adım ister. İki fazlı sistemde 30 W ve üzeri çıplak kalıp bileşenleri için kaynama güçlendirme kaplaması (100-500 mikron mikro gözenekli bakır, pürüzsüz yüzeye göre en çok 15 kat ısı transfer katsayısı) önerilir; indiyum TIM ile 750 W'lık ASIC'lerde uygulandığı belirtilir.

Mekanik ve elektronik bölümlerde 19 ve 21 inç gövdeler, açık banyoda sunucular arası en az 0,5 mm boşluk, tutamak ve dikey çekme için güçlendirme, sunucu kütlesinin tercihen 34 kg'ı geçmemesi ve 18 kg üzerinin iki kişiyle taşınması yer alır. Fan algılama ve termal kapanma gibi hava varsayımlı korumalar kapatılmalı, BIOS veya özel firmware ile daldırma modu sağlanmalıdır. Sinyal bütünlüğünde akışkanın dielektrik sabiti mikroşerit empedansını düşürür, ekleme kaybını biraz artırır, uzak uç çapraz konuşmayı azaltır; göz diyagramı ve S parametre doğrulaması önerilir. Ek bölüm, hava soğutmalı donanımı daldırmaya uyarlamanın yaygın adımlarını sıralar.

Öne çıkan noktalar

1. Kablo kılıfları, ısıyla büzüşen malzeme ve diğer polimerler dielektrik akışkanda, özellikle 60 °C ve üzerinde bozulabilir ve akışkanı kirletebilir; uyumlu malzemeyle değiştirilmelidir.
2. Soxhlet ekstraksiyon testinde yüzde 2'nin altındaki kütle kaybı iyi malzeme uyumuna işaret eder; 48 saatlik test en kötü durum sonucunu verir.
3. Florokarbon akışkanlar temiz halde uyumludur, ancak PVC ve silikondan gelen hidrokarbon kirleticilerini taşıyarak ikincil uyumsuzluğa yol açabilir.
4. Özgül ısı: florokarbon yaklaşık 1300, hidrokarbon 2300, hava 1000, su yaklaşık 4180 J/kgK; hacimsel ısı kapasitesi hidrokarbon ve florokarbonda yaklaşık aynıdır.
5. Kaynama güçlendirme kaplaması, yaklaşık 30 W ve üzeri çıplak kalıp bileşenlerinde iki fazlı daldırmada anlamlıdır; kaplama 100-500 mikron kalınlıkta mikro gözenekli bakırdır ve katsayıyı 15 kata kadar artırabilir.
6. Tek fazlı tanklarda PSU tam daldırılmalı ve alt kısma, tank dibine yakın yerleştirilmelidir; aksi halde akış aşağısındaki bileşenleri ön ısıtır.
7. Tek fazlı banyoda yükseklik boyunca üç bölge (alt T0, orta T1, üst T2) vardır; iki fazlı sistem eşısıllıdır ve buhar çıkış yolu için aralık gerektirir.
8. Doğrudan daldırılabilen depolama SSD/NVMe ve helyumla kapatılmış disklerle sınırlıdır.
9. Daldırma, mikroşerit empedansını düşürür, ekleme kaybını biraz artırır ve uzak uç çapraz konuşmayı azaltır; PCB empedans şartnamesi akışkanın dielektrik sabitini hesaba katmalıdır.
10. Sunucu kütlesinin tercihen 34 kg'ı geçmemesi, 18 kg üzerinin iki kişiyle taşınması önerilir; hidrokarbon akışkanlar kaygan olduğundan ayrıca araştırma gerekir.

Tasarımda kullanımı

• Daldırmaya alınacak sunucunun malzeme listesini (kablo kılıfı, ısıyla büzüşen malzeme, EPDM contalı kapasitörler, CMOS pili, röleler, termal macun) bu belgedeki sorun tablosuyla tek tek karşılaştırın ve her kalem için akışkan üreticisinin uyumluluk beyanını alın.
• Seçilen akışkan türüne göre test planı belirleyin: hidrokarbon için ASTM D471/D2240 bekletme ve ısıl yaşlandırma, florokarbon için Soxhlet ekstraksiyon (yüzde 2 kütle kaybı eşiği) ve filtrasyonu boyutlandırın.
• Tek fazlı tank düzeninde yüksek TDP'li GPU'ları ve PSU'ları alt bölgeye, ısıya dayanıklı bileşenleri üst bölgeye yerleştirin; PSU yerleşiminde akış yönündeki ön ısıtmayı kontrol edin.
• Sunucu başına yük sınırını (tercihen 34 kg) ve dikey çekme için tutamak, kılavuz ve güçlendirme gereksinimlerini raf ve tank şartnamesine yazın; kabloların üstten erişilebilir olmasını isteyin.
• Firmware tarafında fan algılama, hava varsayımlı termal kapanma ve sıcaklık eşiklerinin kapatılabilmesini veya daldırma moduna alınabilmesini tedarikçiden şart koşun; sinyal bütünlüğü için immersed durumda göz diyagramı ve S parametre ölçümünü kabul testine ekleyin.

Kimler okumalı

Daldırma soğutmalı sunucu ve raf tasarlayan donanım mühendisleri, entegratörler ve daldırma sistemi seçen veri merkezi işletmecileri.

Belgenin bölümleri

1. Lisans
2. Yönetici Özeti
3. Özet
4. Giriş
5. Malzeme Uyumu
6. Tek Fazlı Daldırma (Hidrokarbonlar)
7. Tek Fazlı Daldırma (Florokimyasallar)
8. İki Fazlı Daldırma (Florokimyasal Akışkanlar)
9. Soxhlet Ekstraksiyon Malzeme Uyum Testi
10. Termal Tasarım
11. İki Fazlı Kazan (Boiler) Tertibatı
12. Tek ve İki Fazlı Akışkanlarda Bileşen Yerleşimi
13. Mekanik Tasarım (gövde boyutları, güç kaynağı, depolama, optik kablolama)
14. Elektronik Tasarım Kılavuzları (sinyal bütünlüğü)
15. Ayarlanabilir Sıcaklık, Fan Kontrolü, IPMI ve Firmware Desteği
16. Ek: Hava Soğutmalı BT Ekipmanını Daldırmaya Uyarlama Uygulamaları
17. Ek: Sözlük
18. Ek: Kaynakça

Belgeyi okuyun

Yayın bilgileri

Yazarlar

Lesya Dymyd; Leonard Ciubotaru; Michael Helezen; Jimil M. Shah; Lentis Pai; Rolf Brink; Rick Payne; Jessica Gullbrand; Nigel Gore

Yayıncı

Open Compute Project Foundation

Yıl

2020

Belge dili

İngilizce

Kaynak türü

Sektör kuruluşu

Erişim

Açık lisans — indirilebilir

Lisans

CC BY-SA 4.0 — atıf vererek ve aynı lisansla paylaşabilirsiniz

Lisans kanıtı

www.opencompute.org

Künye