Sut i Sefydlu Canolfan Ddata? Mae angen i chi wybod

Cyflwyniad: Mwy Nag Adeilad Gyda Gweinyddwyr yn unig

Gall un rac hyfforddi AI wedi'i lwytho â GPUs NVIDIA dynnu 130 i 140 cilowat. Dyna'n fras y defnydd o bŵer o res canolfan ddata draddodiadol gyfan, wedi'i phacio i mewn i un cabinet. Mae'r goblygiadau ar gyfer dylunio cyfleusterau yn ddwys: ni all systemau oeri a ddyluniwyd ar gyfer raciau 5 kW drin raciau 140 kW. Ni all dosbarthiad pŵer maint ar gyfer llwythi gwaith menter fwydo clystyrau GPU. Ac mae'r hen lyfr chwarae ar gyfer adeiladu canolfan ddata, yr un a weithiodd yn berffaith iawn am ugain mlynedd, yn cael ei ailysgrifennu mewn amser real.

Nid yw sefydlu canolfan ddata yn 2026 yr hyn ydoedd hyd yn oed bum mlynedd yn ôl. Mae'n ymgymeriad amlddisgyblaethol sy'n cyffwrdd ag eiddo tiriog, peirianneg drydanol, systemau mecanyddol, telathrebu, diogelwch gwybodaeth, cydymffurfiaeth reoleiddiol, ac yn gynyddol, cynaliadwyedd amgylcheddol. P'un a ydych chi'n adeiladu cyfleuster ymyl bach i gefnogi gofynion hwyrni 5G, canolfan gydleoli ar gyfer mentrau rhanbarthol, neu gampws hyperscale ar gyfer llwythi gwaith AI, mae'r hanfodion yr un peth hyd yn oed os yw'r raddfa'n newid yn ddramatig.

Mae'r canllaw hwn yn cerdded trwy bob pwynt penderfynu mawr yng nghylch bywyd y ganolfan ddata, o'r ymweliad safle cyntaf i'r prawf comisiynu terfynol. Byddwn yn ymdrin â safonau ac ardystiadau, pensaernïaeth pŵer ac oeri, dylunio rhwydwaith, diogelwch ffisegol, realiti cost, a'r pwysau cynaliadwyedd sy'n ail-lunio'r diwydiant. Dim sglein marchnata. Dim rhestrau gwirio wedi'u gorsymleiddio. Dim ond y penderfyniadau peirianneg a busnes sy'n pennu a yw'ch cyfleuster yn llwyddo neu'n methu.

Beth Yw Canolfan Ddata, Mewn gwirionedd?

Nid yw canolfan ddata yn adeilad sy'n llawn gweinyddwyr. Mae hynny fel galw maes awyr yn adeilad llawn awyrennau. Yr adeilad yw'r rhan leiaf diddorol. Yr hyn sy'n bwysig yw'r seilwaith: y systemau pŵer sy'n cadw trydan i lifo heb ymyrraeth, y systemau oeri sy'n tynnu gwres a gynhyrchir gan filoedd o broseswyr, y seilwaith rhwydwaith sy'n cysylltu'r proseswyr hynny â'r byd y tu allan, a'r systemau diogelwch sy'n amddiffyn popeth y tu mewn.

Yn greiddiol iddo, mae canolfan ddata yn amgylchedd wedi'i beiriannu'n ofalus sydd wedi'i gynllunio i ddarparu pedwar peth: pŵer dibynadwy, oeri effeithiol, cysylltedd lled band uchel, a diogelwch ffisegol. Mae popeth arall, y gweinyddwyr, yr araeau storio, y switshis rhwydwaith, y GPUs, yn gargo. Mae'r cyfleuster yn bodoli i greu'r amodau y gall y cargo hwnnw weithredu oddi tanynt yn ddi-ffael, pedair awr ar hugain y dydd, saith diwrnod yr wythnos, am flynyddoedd ar y tro.

Mae canolfannau data'n amrywio o ystafell sengl mewn adeilad swyddfa sy'n tynnu 50 cilowat i gampysau ar raddfa fawr sy'n defnyddio dros 300 megawat. Gallai cyfleuster ymyl bach wasanaethu gorsafoedd sylfaen 5G lleol. Gallai canolfan gydleoli gynnal offer ar gyfer dwsinau o fentrau. Gallai campws hyperscale hyfforddi modelau AI ar gyfer miliynau o ddefnyddwyr ar yr un pryd. Mae'r raddfa'n newid, ond mae'r egwyddorion peirianneg yn parhau'n hynod gyson.

Safonau a Haenau: Iaith Dibynadwyedd

Cyn i chi adeiladu unrhyw beth, mae angen i chi benderfynu pa mor ddibynadwy y mae angen iddo fod. Nid cwestiwn athronyddol mo hwn. Mae'n pennu pob penderfyniad dylunio dilynol, o faint o unedau UPS rydych chi'n eu prynu i faint o dyrau oeri rydych chi'n eu gosod. Ac mae gan yr ateb gost uniongyrchol, mesuradwy.

System Haen Sefydliad Uptime

Datblygodd y Uptime Institute system ddosbarthu pedair haen dros ddeng mlynedd ar hugain yn ôl sydd wedi dod yn iaith gyffredin y diwydiant ar gyfer dibynadwyedd. Mae'r system yn graddio gwytnwch seilwaith pŵer, oeri a ffisegol cyfleuster, nid yr offer TG y tu mewn. Mae pob haen yn adeiladu ar ofynion pob haen is.

Haen I (Gallu Sylfaenol)yn cynnig 99.671% o argaeledd gyda 28.8 awr o amser segur blynyddol. Mae un llwybr pŵer, dim diswyddiad, ac mae unrhyw waith cynnal a chadw yn gofyn am gau'r wefan gyfan. Mae hyn yn addas ar gyfer amgylcheddau TG swyddfa neu ddatblygu lle mae amser segur yn anghyfleustra, nid yn drychineb.

Haen II (Diswyddo Rhannol)yn ychwanegu N{0}} wrth gefn ar bŵer ac oeri, gan wella argaeledd i 99.741% gyda 22 awr o amser segur blynyddol. Mae'n bosibl cynnal a chadw cydrannau segur heb eu cau, ond mae angen toriadau wedi'u hamserlennu o hyd ar gyfer systemau sylfaenol.

Haen III (Cynnaladwy ar yr un pryd)yw safon y diwydiant ar gyfer cyfleusterau masnachol. Mae'n darparu argaeledd o 99.982% gyda dim ond 1.6 awr o amser segur blynyddol trwy ddileu swydd N+1 llawn a llwybrau pŵer ac oeri annibynnol lluosog. Gellir cymryd unrhyw gydran sengl all-lein ar gyfer cynnal a chadw heb amharu ar y neuadd ddata. Yn 2024, adeiladwyd 57.4% o holl adeiladu canolfan ddata'r UD i safonau Haen III, gyda chostau nodweddiadol o $8 i $15 miliwn fesul megawat.

Haen IV (Goddefgar Namau)yn mynd ymhellach gyda diswyddiad 2N neu 2N+1, sy'n golygu bod gan bob system gritigol gopi wrth gefn cwbl actif yn gorfforol. Mae argaeledd yn cyrraedd 99.995% gyda dim ond 26.3 munud o amser segur blynyddol. Mae'r premiwm cost 20 i 40% yn uwch na Haen III. Ar gyfer cyfleuster 10 MW, mae hynny'n ychwanegu $16 i $60 miliwn mewn cost adeiladu. Mae pob munud o ostyngiad blynyddol mewn amser segur yn costio tua $228,000 i $857,000 fesul 10 MW o gapasiti. Mae cyfleusterau Haen IV yn brin ac yn nodweddiadol wedi'u cadw ar gyfer sefydliadau ariannol, gweithrediadau'r llywodraeth, a seilwaith hanfodol cenhadaeth.

TIA-942: Y Safon Ehangach

Tra bod Haenau Sefydliad Uptime yn canolbwyntio ar seilwaith trydanol a mecanyddol, mae ANSI / TIA-942 (diwygiad diweddaraf 2024) yn cwmpasu cwmpas ehangach: telathrebu, pensaernïol, trydanol, mecanyddol, dewis safle, diogelwch tân, a diogelwch corfforol. Mae'n graddio pedair is-system yn annibynnol ar raddfa Rated-1 trwy Rated-4, a phennir graddiad cyffredinol y cyfleuster gan y sgôr isaf ymhlith ei is-systemau. Ni all canolfan ddata hawlio statws Rated-3 os mai dim ond Rated-2 yw ei system drydanol.

Mae hwn yn wahaniaeth pwysig: nid yw hawlio canolfan ddata Rated-3 TIA-942 yr un peth â hawlio cyfleuster Haen III Sefydliad Uptime. Mae'r cwmpasau'n wahanol, mae cymwysterau'r archwilydd yn wahanol, ac mae'r prosesau ardystio yn wahanol. Mae timau caffael craff yn nodi pa safon sydd ei hangen arnynt ac yn dilysu'r cam ardystio, oherwydd nid yw cyfleuster sy'n dal ardystiad Dylunio yn unig wedi profi bod y gwaith adeiladu yn cyfateb i'r dyluniad.

Dewis Safle: Mae Lle Rydych chi'n Adeiladu'n Bwysig Mwy Na'r Hyn Rydych chi'n ei Adeiladu

Gallwch chi ddylunio'r ganolfan ddata fwyaf effeithlon yn y byd, ond os byddwch chi'n ei hadeiladu yn y lle anghywir, byddwch chi'n difaru am oes y cyfleuster. Dewis safle yw'r penderfyniad unigol mwyaf canlyniadol yn y broses gyfan, a dyma'r un sy'n cael ei yrru amlaf gan ffactorau nad ydynt yn gysylltiedig â pheirianneg: cymhellion treth, costau tir, ac agosrwydd at y pencadlys.

Dyma'r realiti anghyfforddus: gall campws hyperscale dynnu mwy na 300 megawat. Nid yw sicrhau cymaint o bŵer o'r grid yn fater o ysgrifennu siec. Mewn marchnadoedd-galw uchel fel Gogledd Virginia a Singapôr, gall ciwiau rhyng-gysylltiad ymestyn rhwng 36 a 48 mis. Cafodd prosiect 70 MW yn Nevada ei atal am 18 mis oherwydd nad oedd gan y llinell drawsyrru agosaf gapasiti ar gael. Dechreuwch sgyrsiau cyfleustodau yn gynnar, a gofynnwch nid yn unig a allwch chi gael 50 MW, ond pryd, ac am ba gost.

Mae hinsawdd yn haeddu sylw arbennig oherwydd mae'n effeithio'n uniongyrchol ar eich costau gweithredu. Gall cyfleuster 10 MW yn Phoenix wario hyd at 20% yn fwy bob blwyddyn ar oeri na safle tebyg yn Portland. Mae hinsoddau oerach yn caniatáu oeri aer am ddim, lle mae aer awyr agored yn cael ei ddefnyddio'n uniongyrchol pan fo tymheredd a lleithder yn addas, gan leihau ynni oeri mecanyddol yn ddramatig. Dyna pam mae cyfleusterau graddfa fawr yng ngogledd Ewrop yn adrodd yn rheolaidd am werthoedd PUE o 1.03 i 1.12.

Dylid asesu risg trychineb naturiol gan ddefnyddio mapiau perygl FEMA, data seismig USGS, a phatrymau tywydd hanesyddol. Mae argaeledd dŵr yn cael ei graffu fwyfwy: mae Utah ac Arizona wedi oedi neu wrthod trwyddedau i ganolfannau data newydd oherwydd pryderon dŵr, ac mae rhai awdurdodaethau bellach yn gofyn am systemau caeëdig neu systemau oeri sych.

Seilwaith Pŵer: Calon y Cyfleuster

Mae systemau trydanol yn cyfrif am 40 i 50% o gyfanswm cost adeiladu canolfan ddata. Nhw yw'r is-system ddrytaf, a nhw hefyd yw'r rhai mwyaf hanfodol: heb bŵer, does dim byd arall o bwys. Deall pensaernïaeth pŵer yw deall y cyfaddawd rhwng cost a dibynadwyedd.

Systemau UPS: -Trosi dwbl yn erbyn Llinell-Rhyngweithiol

Y cyflenwad pŵer di-dor yw'r bont rhwng y grid cyfleustodau a'ch generaduron. Pan fydd pŵer grid yn methu, mae'r UPS yn darparu pŵer ar unwaith o fatris tra bod generaduron yn troi, proses sydd fel arfer yn cymryd 10 i 30 eiliad. Mae'r dewis o dopoleg UPS yn effeithio ar gost a dibynadwyedd.

-trosi dwbl (ar-lein) UPSyn trosi AC sy'n dod i mewn i DC yn barhaus ac yn ôl i AC glân, gan ddarparu ynysu trydanol llwyr rhag aflonyddwch cyfleustodau. Nid oes amser trosglwyddo sero yn ystod methiannau pŵer. Mae'r topoleg hon yn dal cyfran refeniw o 44.65% ym marchnad UPS y ganolfan ddata a dyma'r safon ar gyfer cyfleusterau Haen III a IV. Mae systemau modern fel Galaxy VXL 2025 Schneider Electric yn cyflawni effeithlonrwydd o 99% yn y modd e-Drosi, gan leihau colledion o dan 1%. Mae'r gost tua 35% yn uwch na dewisiadau amgen rhyngweithiol llinell.

Llinell-UPS rhyngweithiolyw'r dewis cost-effeithiol ar gyfer gosodiadau bach i ganolig, gan gynnig tua 40% o gost is. Mae'n addas ar gyfer cyfleusterau Haen I a II ond nid yw'n cael ei argymell ar gyfer canolfannau data Haen III neu IV lle mae ystumio harmonig ac amser trosglwyddo yn annerbyniol.

Topolegau Dileu Swydd: N+1 yn erbyn. 2N yn erbyn. 2N+1

Mae topoleg dileu swydd yn pennu beth sy'n digwydd pan fydd cydran yn methu. Mae'r tair prif saernïaeth yn cynrychioli gwahanol bwyntiau ar y gromlin cost-dibynadwyedd:

Ar gyfer clystyrau hyfforddi AI, mae gan y dewis rhwng N+1 a 2N oblygiadau economaidd y tu hwnt i ddibynadwyedd pur. Mae swyddi hyfforddi AI yn colli cynnydd ar golli pŵer heb ei gynllunio ac mae angen ailgychwyn o'r pwynt gwirio diwethaf. Pan fo hyd y swydd yn hir a chyfyngau pwynt gwirio yn eang, mae cost ailgychwyn sengl yn aml yn fwy na'r gwahaniaeth cyfalaf rhwng N+1 a 2N. Dylai gweithredwyr fapio hyd swydd ac amlder pwyntiau gwirio yn erbyn amser atgyweirio llwybr pŵer cyn dewis.

Dwysedd Pwer: Y Chwyldro AI

Mae canolfannau data menter traddodiadol yn gweithredu ar 3 i 5 kW fesul rac. Mae cyfleusterau modern ar raddfa fawr yn targedu 10 i 30 kW. AI-wedi optimeiddio cyfleusterau? 50 i 140 kW fesul rac. Mae raciau NVIDIA GB200 NVL72 wedi'u graddio ar 130 i 140 kW. Mae raciau Meta's OCP ORv3-HPR V4 yn gwthio capasiti llwyth y cabinet i 800 kW. Mae Vertiv yn rhagweld y bydd dwysedd pŵer lefel rac AI yn ymchwyddo o 50 kW i 1 megawat rhwng 2024 a 2029.

Nid yw hwn yn newid cynyddrannol. Mae'n newid paradigm. Mae cyfleuster a adeiladwyd ddeng mlynedd yn ôl ar gyfer raciau 5 kW wedi'i gynllunio ar gyfer dosbarthu pŵer, oeri a rheoli cebl ar gyfer y dwysedd hwnnw. Ni allwch ollwng rac GPU 140 kW i'r cyfleuster hwnnw a disgwyl iddo weithio. Roedd y bwsffordd, y PDU, y panel torri, yr uned oeri, a'r llawr uchel i gyd o faint ar gyfer cyfnod gwahanol. Dyma pam mae cyfleusterau AI-wedi'u optimeiddio yn costio $20 miliwn neu fwy fesul megawat, o'i gymharu â $10 i $12 miliwn ar gyfer adeiladu hyperscale safonol.

Strategaeth Oeri: Symud Gwres, Nid Dim ond Gwneud Oer

Mae oeri yn cyfrif am 30 i 40% o gyfanswm defnydd ynni canolfan ddata. Dyma'r ffactor mwyaf y gellir ei reoli yn PUE ar ôl llwyth TG ei hun. A dyma'r maes lle mae'r chwyldro AI wedi cael yr effaith fwyaf dramatig, oherwydd ni all oeri aer traddodiadol gadw i fyny â raciau 140 kW.

Oeri Aer Traddodiadol: CRAC a CRAH

Mae Cyflyru Aer yr Ystafell Gyfrifiadurol (CRAC) a Thriniwr Aer yr Ystafell Gyfrifiadurol (CRAH) yn unedau aer oer cyn ei ail-gylchredeg trwy'r neuadd ddata. Mae'r dull hwn yn gweithio'n dda ar gyfer dwyseddau hyd at 10 i 30 kW fesul rac, ond wrth i ddwysedd gynyddu, mae defnydd ynni'r ffan yn cynyddu'n gyflym ac mae effeithlonrwydd yn dirywio. Wedi'i gyfuno â chyfyngiant eil poeth / eil oer, sy'n gwahanu aer gwacáu poeth oddi wrth aer cyflenwad oer, gall oeri aer traddodiadol gyflawni gwerthoedd PUE o 1.4 i 1.8.

Mae cyfyngiant eil poeth/oer yn ofyniad dylunio ar gyfer unrhyw darged PUE difrifol o dan 1.2. Heb gyfyngiad, cymysgedd aer poeth ac oer, mae'r system oeri yn gweithio'n galetach, ac mae effeithlonrwydd yn plymio. Nid yw paneli gwagio mewn safleoedd rac gwag, treiddiadau llawr wedi'u selio, a llwybrau aer dychwelyd rheoledig yn nodweddion dewisol; maent yn ofynion dylunio sylfaenol.

Oeri Hylif: Y Shift Anorfod

Ar gyfer dwysedd uwch na 30 i 50 kW fesul rac, mae oeri aer yn taro wal ffisegol. Mae faint o aer sydd ei angen i dynnu cymaint â hynny o wres yn dod yn anymarferol: mae egni ffan yn dominyddu, mae lefelau sŵn yn dod yn beryglus, ac mae cyfaint enfawr symudiad aer yn creu pryderon strwythurol. Dyma lle mae oeri hylif yn mynd i mewn i'r llun.

Oeri hylif uniongyrcholyn cylchredeg oerydd trwy blatiau oer wedi'u gosod yn uniongyrchol ar CPUs a GPUs, gan dynnu gwres yn y ffynhonnell cyn iddo ledaenu trwy'r gweinydd. Mae'r dull hwn yn cyflawni gwerthoedd PUE o 1.03 i 1.15 ac yn cefnogi dwyseddau rac o 50 i 80 kW. Rhwydwaith o diwbiau a phympiau sy'n cynyddu'r risg o ollyngiadau ac sy'n codi pryderon am gydnawsedd caledwedd yw'r fasnach -.

Oeri trochi -un camyn boddi gweinyddwyr cyfan mewn hylif deuelectrig nad yw'n-ddargludol, gan ddileu'r angen am wyntyllau gweinydd mewnol yn gyfan gwbl. Mae hyn yn cyflawni gwerthoedd PUE o 1.02 i 1.10 a gall gynnal dwyseddau sy'n fwy na 100 kW fesul rac. Mae'r newidiadau llif gwaith gweithredol yn sylweddol: ni all technegwyr agor gweinydd yn achlysurol i gyfnewid DIMM. Ond mae'r perfformiad thermol yn ddigyffelyb.

Oeri trochi dau-gyfnodyn defnyddio system wedi'i selio lle mae hylif dielectrig yn berwi ac yn cyddwyso ar gyfer trosglwyddo gwres, gan gyflawni'r gwerthoedd PUE isaf (1.02 i 1.08) a'r gallu dwysedd uchaf. Mae bron pob gwres gweinydd yn cael ei ddal gan yr hylif, gan greu amodau thermol unffurf sy'n ymestyn oes y gydran. Mae'r cyfnewid yn fuddsoddiad cychwynnol uwch a rheolaeth hylifol cymhleth.

Ar gyfer cyfleusterau tir llwyd sy'n ehangu i lwythi gwaith AI, mae oeri hybrid yn cyfuno oeri aer a hylif yn yr un adeilad. Mae hyn yn caniatáu cadw'r raciau sydd wedi'u hoeri gan aer presennol tra'n defnyddio oeri hylifol lle mae dwysedd yn gofyn am hynny, gan alluogi moderneiddio graddol heb eu hailadeiladu'n llwyr. Mae oeri hylif hefyd yn sicrhau manteision cynaliadwyedd mesuradwy: mae ymchwil Microsoft yn dangos ei fod yn lleihau allyriadau nwyon tŷ gwydr 15 i 21%, y galw am ynni 20%, a'r defnydd o ddŵr 52% o'i gymharu ag oeri aer.

PUE: Y Metrig Effeithlonrwydd Cyffredinol

Effeithiolrwydd Defnydd Pŵer yw'r gymhareb o gyfanswm pŵer y cyfleuster i bŵer offer TG. Mae PUE o 1.0 yn golygu bod pob wat yn mynd i gyfrifiadura. Mae PUE o 1.5 yn golygu hanner wat o orbenion am bob wat o gyfrifiannu. Dyma'r metrig unigol a ddyfynnwyd fwyaf o ran effeithlonrwydd canolfannau data, ac mae deall ble rydych chi'n sefyll o gymharu â meincnodau'r diwydiant yn hanfodol.

Mae PUE cyfartalog y diwydiant oddeutu 1.56, yn ôl Arolwg Canolfan Data Byd-eang 2024 Sefydliad Uptime. Adroddiadau Google 1.09. Adroddiadau Microsoft 1.12. Adroddiadau AWS 1.15. Mae'r-cyfleusterau perfformio gorau, gan ddefnyddio oeri trochi mewn hinsoddau oer, yn cyflawni 1.03 i 1.08. Mae canolfannau data menter nodweddiadol yn rhedeg ar 1.4 i 1.6, ac ystyrir bod cyfleusterau uwchlaw 1.6 yn is na'r cyfartaledd.

Sut mae hyperscalers yn cyflawni gwerthoedd PUE mor isel? Nid yw'n un dechnoleg sengl ond yn gyfuniad: aer - oeri economizer ochr sy'n defnyddio aer awyr agored pan fydd tymheredd yn addas, dŵr - systemau economizer ochr sy'n gwrthod gwres heb gywasgu mecanyddol, tymereddau cyflenwad dŵr oer uwch (yn codi o 6 i 8 gradd i 14 i 18 gradd Celsius), oeri hylif uniongyrchol a throchi sy'n tynnu gwres yn y ffynhonnell, ac oeri llif aer AI3% {6} i leihau'r gallu i optimeiddio ynni AI3{0} i leihau'r llif aer i optimeiddio'r ffynhonnell ynni.

Mae pwysau rheoleiddio yn codi'r polion. Mae Deddf Effeithlonrwydd Ynni'r Almaen yn ei gwneud yn ofynnol i ganolfannau data newydd o fis Gorffennaf 2026 gyflawni PUE o 1.2 neu well, cyfleusterau presennol i daro 1.5 erbyn 2027 a 1.3 erbyn 2030. Mae Cyfarwyddeb Effeithlonrwydd Ynni'r UE yn gofyn am adroddiadau cynaliadwyedd blynyddol ar gyfer canolfannau data uwchlaw 500 kW pŵer TG gosodedig, sy'n cwmpasu 24 o ddangosyddion cynaliadwyedd, gan gynnwys PUE, ffactor defnydd ynni, ac effeithiolrwydd ynni adnewyddadwy.

Pensaernïaeth Rhwydwaith: Y System Nerfol

Mae canolfan ddata heb rwydwaith yn warws drud yn llawn metel poeth. Mae dyluniad y rhwydwaith yn pennu pa mor gyflym y mae data'n symud rhwng gweinyddwyr, sut mae'r cyfleuster yn cysylltu â'r byd y tu allan, a pha mor osgeiddig y mae'r system yn ymdrin â methiannau. Ar gyfer llwythi gwaith AI, gellir dadlau bod dylunio rhwydwaith yn bwysicach na chapasiti cyfrifiadurol amrwd, oherwydd mae clystyrau GPU yn treulio cyfran sylweddol o'u hamser yn aros am ddata.

Asgwrn cefn-Deilen: Y Safon Fodern

Mae pensaernïaeth dail y meingefn wedi disodli dyluniadau tair haen (craidd-cyfuno-mynediad) traddodiadol mewn canolfannau data modern. Mae'n dopoleg fflat, dwy haen lle mae switsh deilen (uchaf-o-rac) yn cysylltu â phob switsh asgwrn cefn, gan greu ffabrig cuddni isel nad yw'n rhwystro. Gall pob gweinydd gyrraedd pob gweinydd arall mewn dwy hop yn union, sy'n hanfodol ar gyfer llwythi gwaith AI lle mae cuddni cyfathrebu GPU- yn effeithio'n uniongyrchol ar amser hyfforddi.

Ar gyfer clystyrau AI sy'n defnyddio NVIDIA H100 neu B200 GPUs gyda 400G Ethernet neu NDR400 InfiniBand, mae ffabrig deilen y meingefn bron bob amser yn seiliedig ar ffibr ar gyfer meingefn {6} i{7}}deilen a dail{-i-raddfa racio{{10}allan dolenni. Mae'r GPU-i{13}}GPU-ffabrig o fewn rac yn defnyddio NVLink/NVSwitch ar gyfer cyfathrebu hwyrni uwch-isel, tra bod dolenni MPO ffibr yn ymdrin â'r rhwydwaith ar raddfa rhwng switshis a raciau.

Dewis Ffibr: OM4, OM5, neu OS2?

Mae dewis math o ffibr yn un o'r pynciau a drafodir amlaf mewn rhwydweithio canolfannau data, ac mae'r ateb cywir yn dibynnu'n llwyr ar eich strategaeth cyrhaeddiad ac opteg:

Ar gyfer clystyrau AI cyfredol gyda chysylltiadau o dan 100 metr, OM4 yw'r dewis mwyaf cost effeithiol o hyd. Ar 400G, mae trawsdderbynyddion amlfodd fel arfer 30 i 50% yn rhatach fesul porthladd na dewisiadau modd sengl. Fodd bynnag, ar gyfer-prawfddarllen yn y dyfodol, mae llawer o weithredwyr yn rhedeg OS2 ffibr tywyll ochr yn ochr ag OM4, gan ganiatáu uwchraddio i 800G neu 1.6T heb-ailgeblau. Mae'r cebl ffibr ei hun yn rhad; yr opteg yw lle mae costau'n cronni.

Rheoli Ceblau: Mae'r Diafol yn y Manylion

Un maes lle mae canolfannau data yn methu'n gyson yw glendid cysylltwyr. Dylid archwilio wyneb pob pen cysylltydd MPO gyda microsgop llaw ar chwyddo 200x neu 400x cyn paru. Gall un gronyn llwch ar gysylltydd MPO achosi mân wallau, ail-drosglwyddiadau, a chyfnodau gweithredu ar y cyd GPU sy'n anhygoel o anodd eu diagnosio. Glanhewch y cysylltwyr gan ddefnyddio'r cliciwr sych neu'r dull sych gwlyb fesul IEC 61300-3-35. Profwch geblau cefnffyrdd MPO am bolaredd gyda phrofwr parhad wedi'i raddnodi, oherwydd bod polaredd Math A/B nad yw'n cyfateb yn achosi methiannau cyswllt sy'n ymddangos yn ysbeidiol ac ar hap.

Mae gan ffibr amlfodd radiws tro lleiaf o 10 gwaith diamedr y cebl dan lwyth a 7.5 gwaith o dan ddim llwyth. Mae torri radiws tro yn achosi colledion macrobending sy'n diraddio ansawdd y signal yn dawel. Ar gyfer ffibr modd sengl, ni chaniateir unrhyw grafiadau na diffygion yn y parth craidd o fewn radiws 0 i 25 micromedr. Mae'r manylion hyn yn ymddangos yn ddibwys nes bydd rhediad hyfforddi AI gwerth miliynau o ddoleri yn methu oherwydd cysylltydd budr.

Realiti Cost: Yr hyn y mae'n ei gymryd mewn gwirionedd

Gadewch inni siarad am arian, oherwydd mae popeth arall yn yr erthygl hon yn ddamcaniaethol nes i chi ddeall y strwythur costau. Mae canolfan ddata hyperscale safonol yn 2025 yn costio $10 i $12 miliwn y megawat. Mae cyfleuster 50 MW yn costio rhwng $800 miliwn ac $1 biliwn. Mae cyfleuster AI-wedi'i optimeiddio yn fwy na $1 biliwn fesul 50 MW a gall gyrraedd $20 miliwn neu fwy fesul MW. Gall -adeiladau AI ar raddfa campws o 1 gigawat neu fwy gyrraedd $45 i $55 biliwn fesul GW.

Mae'r dadansoddiad cost yn adrodd y stori: mae systemau trydanol yn cyfrif am 40 i 50% o gost adeiladu, systemau mecanyddol ac oeri 15 i 20%, a chragen strwythurol a chraidd y gweddill. Mae caledwedd TG yn ychwanegu $20 i $40 miliwn y megawat ar ben y gwaith adeiladu, gydag AI GPU fit-allan yn ychwanegu premiwm o $25 miliwn neu fwy fesul megawat. Mae cyfleuster 100 MW AI-wedi'i optimeiddio yn gofyn am $2 i $4 biliwn mewn gweinyddwyr, rhwydweithio a chyflymwyr, gan ddod â chyfanswm buddsoddiad ymlaen llaw i $3 i $5.2 biliwn.

Ar yr ochr weithredol, pŵer yw'r gost fwyaf, fel arfer 40 i 60% o'r holl wariant gweithredol. Mae canolfan ddata 1 GW AI ar gapasiti llawn yn defnyddio tua 8.76 TWh y flwyddyn, sy'n cyfateb i tua $350 miliwn y flwyddyn ar $40 fesul MWh. Ar $0.15 y kWh, mae safle ar raddfa gigawat yn wynebu costau pŵer blynyddol o tua $1.3 biliwn. Mae adnewyddu caledwedd ar gylch oes 3 i 5 mlynedd ar gyfer GPUs sydd ar flaen y gad yn ychwanegu cannoedd o filiynau o wariant blynyddol effeithiol.

Y Ffordd Ymlaen: Beth Sy'n Newid a Pam Mae'n Bwysig

Mae diwydiant y ganolfan ddata yng nghanol y trawsnewid mwyaf arwyddocaol yn ei hanes. Mae tri grym yn cydgyfeirio: y ffrwydrad cyfrifiadurol AI, y newid i'r defnydd ymylol a modiwlaidd, a'r rheidrwydd cynaliadwyedd. Nid yw deall y tueddiadau hyn yn ddewisol i unrhyw un sy'n ymwneud â chynllunio cyfleusterau.

Mae canolfannau data modiwlaidd yn ail-lunio llinellau amser defnyddio. Gwerthwyd y farchnad fodiwlaidd fyd-eang ar $34.84 biliwn yn 2025, a rhagwelir y bydd yn cyrraedd $143.08 biliwn erbyn 2034 ar 17.2% CAGR. Mae cyfleusterau modiwlaidd yn cael eu defnyddio mewn 12 i 16 wythnos yn erbyn blynyddoedd ar gyfer adeiladu traddodiadol, yn costio tua 30% yn llai fesul kW, ac yn lleihau gwastraff ar y safle hyd at 90%. Ar gyfer cyfrifiadura ymylol ac integreiddio 5G, modiwlaredd yw'r unig ddull ymarferol ar gyfer nifer y gosodiadau sydd eu hangen.

Mae pensaernïaeth pŵer HVDC yn ennill tyniant ar gyfer cyfleusterau AI. Mae Delta Electronics yn amcangyfrif effeithlonrwydd cadwyn HVDC tua 92% yn erbyn effeithlonrwydd UPS traddodiadol o 88%, gan ddileu sawl cam trosi AC i{4}}DC a DC{{5}i-AC. Gallai gweithredwyr mawr arbed tua $3.6 miliwn y flwyddyn mewn costau trydan trwy fabwysiadu HVDC. Mae raciau Meta's OCP ORv3-HPR V4 a gyflwynwyd yn Uwchgynhadledd EMEA 2025 yn defnyddio datrysiad 800V HVDC gan wthio capasiti llwyth y cabinet i 800 kW.

Mae casgliad AI ar fin rhagori ar hyfforddiant fel prif yrrwr y galw cyfrifiadurol, y rhagwelir y bydd yn croesi drosodd yn 2027. Mae gan y newid hwn oblygiadau ar gyfer dylunio canolfannau data: clystyrau hyfforddi mewn cyfleusterau canolog mawr, casgliad wedi'i ddosbarthu ar draws safleoedd ymyl yn agosach at ddefnyddwyr. Mae'r diwydiant yn symud tuag at bensaernïaeth-rhanbarth{-ymyl{{2027.rhanbarth{{-ymyl) canolbwynt.

Casgliad: Adeiladu ar gyfer yr Ugain Mlynedd Nesaf

Mae sefydlu canolfan ddata yn ymarfer cyfaddawdu. Mae pob penderfyniad yn cynnwys cydbwyso cost yn erbyn dibynadwyedd, effeithlonrwydd yn erbyn cymhlethdod, cyflymder yn erbyn trylwyredd. Mae'r system haen yn dweud wrthych pa mor ddibynadwy y mae angen i chi fod. Mae PUE yn dweud wrthych pa mor effeithlon ydych chi. Mae TIA-942 yn dweud wrthych a yw'ch dyluniad yn gynhwysfawr. Ond ni fydd yr un o'r fframweithiau hyn yn gwneud y penderfyniadau i chi.

Yr hanfodion yw'r rhain: dewiswch eich gwefan yn seiliedig ar argaeledd pŵer a hinsawdd, nid cost tir yn unig. Dyluniwch eich pŵer a'ch oeri ar gyfer y dwysedd y byddwch chi'n ei redeg mewn gwirionedd, nid y dwysedd rydych chi'n gobeithio ei redeg ryw ddydd. Adeiladu rhwydwaith dail asgwrn cefn gyda ffibr OM4 ar gyfer dolenni byr ac OS2 ar gyfer asgwrn cefn. Gweithredu diogelwch ffisegol mewn parthau consentrig o'r diwrnod cyntaf. Defnyddio DCIM cyn y bydd ei angen arnoch, nid ar ôl y digwyddiad cyntaf. Cyllidebwch ar gyfer pŵer fel eich cost weithredol fwyaf, a chynlluniwch ar gyfer cynaliadwyedd nid fel baich cydymffurfio ond fel mantais gystadleuol.

A chofiwch hyn: bydd y ganolfan ddata rydych chi'n ei hadeiladu heddiw yn gweithredu am 15 i 25 mlynedd. Nid yw'r llwythi gwaith y bydd yn rhedeg yn 2035 yn bodoli eto. Mae'r dwyseddau pŵer y bydd angen iddo eu cynnal y tu hwnt i'r hyn y gall y rhan fwyaf o ddyluniadau cyfredol ei drin. Adeiladwch ar gyfer hyblygrwydd, adeiladwch ar gyfer dwysedd, ac adeiladwch ar gyfer y posibilrwydd y bydd popeth rydych chi'n meddwl eich bod chi'n ei wybod am beirianneg canolfannau data yn cael ei ailysgrifennu erbyn i'ch cyfleuster gyrraedd canol oed.