Ilgus metus istorija apieduomenų centrasenergijos suvartojimas buvo nuspėjamas. Žinoma, skaitmeninimas augo, tačiau dėl geresnių serverių, virtualizacijos ir debesų konsolidavimo efektyvumo padidėjimas bendras elektros energijos suvartojimas buvo stebėtinai mažas. Pasaulio duomenų centrų energijos poreikis didesnę dešimtmečio dalį svyravo apie 1 procentą viso suvartojamos elektros energijos – maždaug 200 teravatvalandžių kasmet.

Ta era baigiasi.

Generatyvaus dirbtinio intelekto, kriptovaliutų kasybos, kraštinių skaičiavimų konvergencija ir eksponentinis prijungtų įrenginių augimas sulaužė seną efektyvumo kreivę. Pramonės vertinimai dabar rodo, kad duomenų centrų energijos poreikis auga kasmet taip, kaip nebuvo nuo 2000-ųjų pradžios. Kai kuriuose regionuose – Airijoje, Šiaurės Virdžinijoje, Singapūre – duomenų centrai jau sunaudoja nuo 15 iki 25 procentų viso elektros suvartojimo, todėl reguliuotojai yra priversti įvesti moratoriumą naujoms statyboms.

Atsižvelgiant į tai, infrastruktūros pasirinkimai, kurie kažkada atrodė kaip techninės detalės – aušinimo architektūra, energijos paskirstymo topologija, stovo tankio planavimas – tapo posėdžių salės sprendimais. Energijos sąnaudos nebėra eilutės elementas. Tai yra augimo suvaržymas.

Paprasta metrika, kuri pakeitė viską

Energijos naudojimo efektyvumas arba PUE yra standartinė duomenų centrų pramonės efektyvumo metrika beveik du dešimtmečius. Tai paprastas santykis: bendra įrenginio galia padalinta iš IT įrangos galios.

2,0 PUE reiškia, kad už kiekvieną vatą, maitinantį serverius ir saugyklą, dar vienas vatas skiriamas vėsinimui, apšvietimui, energijos konvertavimo nuostoliams ir kitoms pridėtinėms išlaidoms. 1,2 PUE reiškia, kad vienas IT vatas sunaudoja tik 0,2 vato.

Pramonė turi plačiai pripažintus lygius, pagrįstus PUE:

Problema ta, kad daugelis organizacijų iš tikrųjų nežino savo PUE. Jie įvertina. Jie spėja. Arba jie matuoja tik prie pagrindinio komunalinių paslaugų skaitiklio, o visa kita prisiima.

2023 m. atlikta pramonės apklausa parodė, kad beveik 40 procentų duomenų centrų operatorių niekada nebuvo matę PUE stovo lygiu. Tarp tų, kurie tai padarė, skirtumas tarp pranešto ir faktinio PUE buvo vidutiniškai 0,3 taško – pakankamai, kad įrenginys būtų perkeltas iš aukso į sidabrinį, niekam nepastebėjus.

Kur iš tikrųjų eina galia

Suprasti, kodėl PUE taip skiriasi, reikia pažvelgti į tai, kur iš duomenų centro paliekama energija.

Įprastoje oru aušinamame įrenginyje, kurio PUE yra maždaug 1,8, suskirstymas atrodo maždaug taip:

• IT įranga (serveriai, saugykla, tinklai): 55-60 proc
• Aušinimas (CRAC/CRAH įrenginiai, aušintuvai, siurbliai, sausieji aušintuvai): 30-35 proc.
• Energijos paskirstymas (UPS, transformatoriai, PDU nuostoliai): 5-8 proc
• Apšvietimas ir kitos objekto apkrovos: 2-4 proc

Aušinimo apkrova yra didžiausias kintamasis. Įrenginys vidutinio klimato sąlygomis, nemokamai vėsinantis lauko orą, vėsinimui gali skirti tik 15 procentų ne IT energijos. Tas pats įrenginys atogrąžų klimate su mechaniniu aušinimu ištisus metus gali išleisti 40 proc.

Štai kodėl kolokacijos paslaugų teikėjai reklamuoja PUE įrenginio lygiu, bet pateikia PUE klientų skaitiklyje – skirtingi skaičiai, skirtingos reikšmės. Už visa tai sumoka klientas.

Perėjimas nuo tradicinės prie debesų masto infrastruktūros

Tradicinis duomenų centro valdymas buvo sąlyginai statinis. Lentynos buvo užpildytos mėnesius ar metus. Aušinimą galima reguliuoti lėtai. Energijos paskirstymas buvo per didelis nuo pat pirmos dienos.

Debesų era pakeitė prielaidas. Dabar lentynos užpildomos per kelias dienas. Darbo krūviai perkeliami tarp serverių automatiškai. Didelio tankio AI klasteriai gali sunaudoti tris kartus daugiau galios nei gretimų bendrosios paskirties skaičiavimo stelažai.

Šie pokyčiai privertė permąstyti infrastruktūros valdymą. Išryškėja trys tendencijos.

Pirma, tankis didėja netolygiai.Standartinis serverio stovas prieš dešimtmetį išnaudodavo 5-8 kilovatus. Šiandien bendrosios paskirties stelažai sunaudoja 10–15 kilovatų. Didelio našumo skaičiavimo ir AI mokymo stelažai įprastai viršija 30 kilovatų kiekvieno stovo. Kai kurie viršija 50 kilovatų.

Tai sukuria šilumos valdymo iššūkius, kuriuos oro aušinimui sunku išspręsti. Esant 20 kilovatų vienam stovui, oro aušinimas išlieka veiksmingas tinkamai sulaikant. Esant 30 kilovatų, jis tampa ribinis. Esant 40 kilovatų ir didesnei galiai, skysčių aušinimas pereina iš pasirenkamo į būtiną.

Antra, pajėgumų planavimas tapo nuspėjamas.Senasis metodas – įsigykite daugiau talpos nei reikia ir leiskite jam neveikti – nebeveikia dideliu mastu. Tuščiosios eigos pajėgumai turi ir kapitalo sąnaudas, ir nuolatinės priežiūros išlaidas.

Šiuolaikinės infrastruktūros valdymo sistemos naudoja istorinius duomenis ir darbo krūvio prognozes, kad nuspėtų, kada baigsis maitinimas, vėsinimas ar stelažas. Geriausios sistemos gali rekomenduoti, ar perkonfigūruoti esamą pajėgumą, ar užsisakyti naują aparatinę įrangą, likus kelioms dienoms ar savaitėms, kol apribojimas tampa kritinis.

Trečia, matomumo reikalavimai yra expaned.Tradicinis duomenų centras gali sekti galią PDU lygiu. Šiuolaikiniam įrenginiui reikia matomumo stovo lygiu, kartais serverio lygmeniu ir vis dažniau darbo krūvio lygiu – žinant, kuri virtuali mašina ar konteineris naudoja kurią galią.

DCIM sluoksnis: ką jis iš tikrųjų daro

Duomenų centro infrastruktūraValdymo (DCIM) programinė įranga egzistuoja daugiau nei dešimtmetį, tačiau jos pritaikymas išlieka netolygus. Mažiau nei pusė įmonių duomenų centrų įdiegė visą DCIM sistemą. Daugelis jų išnaudojo tik dalį savo galimybių.

Tinkamai įdiegta DCIM sistema atlieka keturis dalykus:

Turto valdymas.Kiekvienas serveris, jungiklis, PDU ir aušinimo įrenginys yra sekami konfigūracijos valdymo duomenų bazėje (CMDB). Vieta, galia, tinklo jungtys, priežiūros istorija – visa tai. Tai skamba paprastai, tačiau daugelis organizacijų vis tiek stebi išteklius skaičiuoklėse, kurių atnaujinimai trunka mėnesius.

Stebėjimas realiuoju laiku.Energijos suvartojimas PDU arba stovo lygiu, temperatūra ir drėgmė tiekimo ir grąžinimo taškuose, aušinimo sistemos būsena, UPS akumuliatoriaus būklė. Pavojaus signalai suveikia, kai parametrai nukrypsta nuo nustatytų verčių. Tikslas yra aptikti problemas, kol jos nesukelia prastovos.

Pajėgumų planavimas.Sistema žino, kiek energijos ir aušinimo pajėgumų yra, kiek naudojama ir kiek rezervuota būsimam diegimui. Jis gali modeliuoti naujo didelio tankio stovo pridėjimo arba senesnių serverių rinkinio pašalinimo poveikį.

Vizualizacija.Skaitmeninis duomenų centro dvynys – stovas po stovo, plytelė po plytelės – rodo esamas sąlygas ir leidžia operatoriams imituoti pokyčius. 10 kilovatų apkrovos pridėjimas prie trečios eilutės, ketvirto stulpelio: ar tai viršija aušinimo pajėgumą? Sistema atsako prieš kas nors perkeliant įrangą.

Efektyvumo matematika, kuri iš tikrųjų veikia

Duomenų centro energijos suvartojimo mažinimas nėra paslaptingas. Metodai yra gerai suprantami. Iššūkis yra įgyvendinimo disciplina.

Padidinkite tiekiamo oro temperatūrą.Daugumoje duomenų centrų veikia šalta – 18–20 laipsnių Celsijaus aušinimo įrenginio grįžtamojoje dalyje – nes operatoriai visada tai darydavo. ASHRAE gairės dabar rekomenduoja nuo 24 iki 27 laipsnių. Kiekvienas laipsnis padidina aušinimo energiją maždaug 4 procentais. Dirbant 26 laipsnių, o ne 20 laipsnių, aušinimo galios sutaupoma 20-25 proc.

Pašalinkite karšto ir šalto oro maišymą.Karšto koridoriaus izoliacija, šalto koridoriaus izoliacija arba vertikalūs išmetimo kanalai priverčia aušinimo orą eiti ten, kur jo reikia, o ne trumpai bėgti per stelažų priekį. Vien izoliacija paprastai sumažina aušinimo energiją 15-25 proc.

Naudokite kintamo greičio pavaras.Pastovaus greičio ventiliatoriai ir siurbliai eikvoja energiją esant dalinei apkrovai. Kintamo greičio pavaros suderina oro ir vandens srautą pagal faktinį poreikį. Remonto atsipirkimo laikotarpis paprastai yra 1–3 metai.

Optimizuokite UPS veikimą.Dauguma UPS sistemų nuolat veikia dvigubos konversijos režimu – konvertuoja kintamąją srovę į nuolatinę ir atgal į kintamą, net kai elektros energija yra švari. Šiuolaikinės UPS sistemos gali persijungti į ekologinį režimą, kai leidžia elektros energijos kokybė, o ne 94–96 proc., o 99 proc. Kompromisas yra trumpas perdavimo į akumuliatorių laikas, jei nutrūksta elektros tiekimas. IT apkrovoms su maitinimo šaltiniais, skirtais tokiems perdavimams, rizika yra minimali.

Priimkite aukštesnės įtampos paskirstymą.Paskirstant galią 415 V, o ne 208 V, paskirstymo nuostoliai sumažėja maždaug 25 procentais. Tam reikalingi suderinami PDU ir serverio maitinimo šaltiniai, tačiau daugelis šiuolaikinių įrenginių tai palaiko.

Kaip atrodo realaus pasaulio efektyvumas

Shangyu CPSY įmonė, aukštųjų technologijų įmonė, daugiausia dėmesio skirianti duomenų centrų infrastruktūrai, praneša, kad modulinių duomenų centro sprendimų PUE yra 1,3. Dėl to įmonė patenka į auksinę pakopą ir juda platinos link.

Teigiama, kad 25 procentų energijos sutaupymas, palyginti su įprastu dizainu, atsiranda dėl daugelio veiksnių. Modulinės UPS sistemos, kurių efektyvumas yra 97,4 procento sistemos lygiu, sumažina paskirstymo nuostolius, kurie kitu atveju veikia 15–20 procentų. Tikslūs oro kondicionieriai su kintamo greičio kompresoriais ir EC ventiliatoriais reguliuoja aušinimo galią, kad atitiktų tikrąją šilumos apkrovą, o ne veiktų fiksuotu pajėgumu. O fizinis išdėstymas – karšto koridoriaus izoliacija, optimalus tarpas tarp lentynų, paaukštintos grindys su tinkamo dydžio perforuotomis plytelėmis – yra skirtas oro srauto valdymui, kuris kenkia daugeliui kitų efektyvių įrenginių.

Įmonės sertifikavimo portfelį sudaro ISO 9001 (kokybės vadyba) ir ISO 27001 (informacijos saugumo valdymas). Klientų diegimas apima partnerystę su „Huawei“, „ZTE“ ir „Inspur“, eksporto įrenginius JAV, Jungtinėje Karalystėje, Vokietijoje, Prancūzijoje ir Australijoje.

Kur skystas aušinimas patenka į paveikslėlį

Daugelį metų aušinimas skysčiu buvo superkompiuterių centrų nišinė technologija. Tai sparčiai keičiasi.

Dirbtinio intelekto mokymo klasteriai, naudojantys NVIDIA H100 arba būsimus B200 GPU, generuoja 30–50 kilovatų viename stove, naudojant grynai oru aušinamas konfigūracijas. Esant tokiam tankiui, oro aušinimui reikia didelio oro srauto – garsių ventiliatorių, gilių stelažų ir vis dar ribinės šiluminės kontrolės.

Tiesioginis skystas aušinimas į lustą pašalina 60-80 procentų šilumos šaltinyje. Traškučiai veikia vėsiau. Ventiliatoriai veikia lėčiau. Kambario oro kondicionierius apdoroja tik likusią šilumą iš maitinimo šaltinių, atminties ir kitų komponentų.

Efektyvumo padidėjimas yra didelis. Įrenginiai su tiesioginiu aušinimu į lustą praneša, kad PUE vertės yra nuo 1,1 iki 1,2. Kompromisai yra didesnės kapitalo sąnaudos, sudėtingesnis nuotėkio valdymas ir poreikis valyti įrenginius atitinkantį vandenį.

Visiškai panardinamas aušinimas – ištisus serverius panardinant į dielektrinį skystį – PUE sumažėja žemiau 1,1, tačiau jis išlieka specializuotas. Dauguma komercinių duomenų centrų pirmiausia pritaikys aušinimą tiesiogiai į lustą, o vėliau panardins tam tikrose didelio tankio zonose.

SHANGYU duomenų centro platformoje yra nuostatos, skirtos oro ir skysčio aušinimo architektūroms, pripažįstant, kad ateityje diegiant didelį tankį reikės skysčiu pagrįsto šilumos valdymo, neatsižvelgiant į įrenginio projektą.

Valdymo atotrūkis: nuo reaktyvaus iki nuspėjamojo

Dauguma duomenų centrų operacijų komandų vis dar dirba reaktyviai. Skamba žadintuvas. Kažkas tiria. Taikomas pataisymas. Ciklas kartojasi.

Perėjimas prie nuspėjamojo valdymo reikalauja trijų galimybių, kurių daugeliui organizacijų trūksta.

Užpildykite konfigūracijos duomenis.Žinojimas, kas yra duomenų centre – kiekvienas serveris, kiekvienas jungiklis, kiekvienas PDU, kiekvienas aušinimo įrenginys – yra pagrindas. Be tikslių CMDB duomenų pajėgumų planavimas yra spėlionė.

Granuliuota telemetrija.Stovo lygio galios matavimas yra minimalus. Vieno serverio galios matavimas yra geresnis. Darbo krūvio lygio galios priskyrimas yra geriausias, bet sunkiausiai pasiekiamas.

Analizė, kuri skiria signalą nuo triukšmo.Temperatūros šuolis viename stove gali reikšti sugedusį ventiliatorių. Temperatūros šuolis per pusę duomenų centro gali reikšti aušintuvo gedimą. Sistema turi diferencijuoti ir atitinkamai rekomenduoti atsakymus.

SHANGYU DCIM platforma teikia SNMP ir Modbus įrenginių palaikymą, žiniatinklio ir Windows taikomųjų programų sąsajas ir integraciją su tinklo kameromis įvykių suaktyvintam vaizdavimui. Nustatyti tikslai yra aiškūs: sumažinti brangias prastovos laiką, sumažinti kasdienes veiklos sąnaudas taikant visišką aplinkosaugos kontrolę ir pagerinti valdymo matomumą bei atsekamumą.

Kodėl tai svarbu ne tik duomenų centro aukšte

Duomenų centrų energijos suvartojimas sudaro maždaug 1 procentą pasaulinės elektros energijos poreikio. Šis skaičius skamba mažai, kol neįtraukiamas į kontekstą. Tai maždaug prilygsta bendram Jungtinės Karalystės elektros suvartojimui.

Dar svarbiau, kad augimo tempas spartėja. Pramonės prognozės rodo, kad duomenų centrų energijos poreikis iki 2030 m. kasmet padidės 10–15 procentų, o tai paskatins dirbtinis intelektas, debesų naudojimas ir nuolatinis prijungtų įrenginių augimas. Tokiu greičiu iki dešimtmečio pabaigos duomenų centrai sunaudotų 3–4 procentus pasaulinės elektros energijos.

Veiksmingumo padidėjimas, dėl kurio praėjusį dešimtmetį energijos suvartojimas išliko nepakitęs, atsirado dėl serverio virtualizavimo (sumažinus fizinių serverių skaičių), pagerėjusio disko efektyvumo (nuo besisukančių diskų prie SSD) ir plataus nemokamo aušinimo (naudojant lauko orą, o ne mechaninį šaldymą). Tie žemai kabantys vaisiai daugiausia buvo nuskinti.

Kita efektyvumo banga kils dėl aušinimo skysčiu, aukštesnės įtampos paskirstymo, dirbtiniu intelektu optimizuotų aušinimo valdiklių ir – galbūt svarbiausia – geresnio infrastruktūros pajėgumų ir faktinės IT apkrovos suderinimo. Šiai paskutinei daliai reikalingas matomumas realiuoju laiku ir nuspėjamoji analizė, kurią teikia DCIM sistemos, tačiau nedaugelis įrenginių pilnai naudojasi.

Keletas klausimų, kuriuos verta užduoti apie savo infrastruktūrą

Ar žinote tikrąjį PUE, o ne numerį specifikacijų lape?Jei nematavote prie UPS išvesties ir IT įrangos įvesties, nežinote. Skirtumas yra jūsų tikrosios pridėtinės išlaidos.

Ar jūsų aušinimo sistemos kovoja viena su kita?Daugelyje duomenų centrų CRAC įrenginiai nustatomi su persidengiančiomis temperatūros ir drėgmės juostomis. Vienas įrenginys sausina, o kitas drėkina. Vienas vėsina, o kitas šildo. Tai nėra neįprasta. Tai taip pat nėra efektyvu.

Koks yra jūsų serverių tuščiosios eigos energijos suvartojimas?Pramonės duomenys rodo, kad įprasti įmonės serveriai sunaudoja 30–40 procentų didžiausios galios, kai nieko nedaro. Nenaudojamų serverių išjungimas arba užmigdymas yra didžiausia galima IG efektyvumo priemonė. Tai taip pat labiausiai nepastebėta.

Ar galėtumėte pakelti tiekiamo oro temperatūrą dviem laipsniais nepažeisdami įrangos specifikacijų?Tikriausiai taip. Dauguma įrenginių yra skirti 25-27 laipsnių įsiurbimo temperatūrai. Dauguma duomenų centrų veikia 20–22 laipsnių temperatūroje. Šis šešių laipsnių atotrūkis reiškia metus nereikalingos vėsinimo energijos.

Kada paskutinį kartą patvirtinote savo UPS efektyvumą?Vardinės lentelės efektyvumas matuojamas esant pilnai apkrovai su puikiu galios koeficientu. Realus efektyvumas esant dalinei apkrovai su realiu galios koeficientu gali būti 5–10 punktų mažesnis.