100G QSFP28 stuburas-Lapų dizainas: venkite prievado klaidų

Jun 10, 2026

Palik žinutę

100G spine-leaf data center fabric with QSFP28 links

100 G stuburo-lapų audinys yra vienas patikimiausių būdų prijungti 25 G serverius, 100 G įkėlimo nuorodas, saugyklos grupes ir didelius rytų-vakarų- darbo krūvius šiuolaikiniame duomenų centre. QSFP28 patrauklumas yra jo lankstumas: vienas prievadas gali nešti vietinę 100G nuorodą arba išsiskirti į keturias 25G serverio jungtis, todėl vienas jungiklis gali aptarnauti ir prieigos kraštą, ir audinio šerdį.

Greiti jungikliai yra lengviausia dalis. 100G dizainas gyvuoja arba miršta dėl sprendimų, priimtų prieš pirkimo užsakymą: kaip paskirstomas kiekvienas prievadas, kaip atrodo perteklinio abonemento santykis esant normalioms ir gedimo sąlygoms, kuri optika atitinka tikrąjį laidų eigą, kiek ši optika prideda šilumos ir ar audinys gali augti iki 400 G be šakinio krautuvo atnaujinimo.

Šis vadovas yra tiekėjo{0}}neutrali planavimo nuoroda tinklo ir infrastruktūros komandoms. Toliau pateikti skaičiai atitinka dabartines IEEE 802.3 Ethernet specifikacijas ir atitinkamas optinių kelių šaltinių sutartis, tačiau kiekvienas jungiklis ir siųstuvas-imtuvas turi savo duomenų lapą, todėl patvirtinkite tikslius perkamos aparatinės įrangos skaičius.

Kaip skaityti pavyzdžius šiame vadove.Jei nenurodyta kitaip, jie daro prielaidą, kad yra atskiri-naminiai serveriai su po vieną 25G NIC, 48 pagrindinio kompiuterio prievadus viename lape, 100G lapą-į-nugarą, pilną tinklelį, kuriame kiekvienas lapas jungiasi prie kiekvieno stuburo, ir įgalintas peradresavimo klaidų taisymas, kai to reikalauja optika. Dvigubas-prijungimas, greitesni NIC arba skirtingi prievadų skaičiai pakeis kiekvieną sekantį skaičių.

Kas yra 100G spine{1}}lapų tinklas?

Spine{0}}leaf yra dviejų-pakopų duomenų centro architektūra, sukurta iš lapų jungiklių ir stuburo jungiklių. Lapų jungikliai yra kiekvieno stovo viršuje ir suteikia prievadus, nukreiptus į serverį,{3}}ir į stuburą nukreiptas nuorodas. Stuburo jungikliai sudaro didelės spartos{5}}stuburą. Kiekvienas lapas jungiasi su kiekvienu stuburu, todėl eismas tarp stelažų vienodo-ilgio keliu juda nuo lapo prie stuburo prie lapo.

Šis dizainas yra populiarus, nes suteikia:

  • Nuspėjamas, vienodas kelio ilgis tarp bet kurių dviejų stelažų
  • Vietinis intensyvaus rytų{0}}vakarų eismo palaikymas
  • Visos įkėlimo nuorodos aktyvios per ECMP, o ne blokuojamos aprėpiamojo medžio
  • Paprastas horizontalus mastelio keitimas - pridėkite prievadų lapelius, pridėkite spyglių, kad padidintumėte talpą

100 G audinyje lapų-į-stuburo jungtys veikia 100 G, o serverio -prievadai veikia 10 G, 25 G, 50 G arba 100 G, atsižvelgiant į darbo krūvį. Šiandien 25G prieiga su 100G nuorodomis yra labiausiai paplitęs įmonių derinys.

Two-tier spine-leaf network topology

Fizinis dizainas prieš loginį dizainą

"Tinklo dizainas" apima du sluoksnius, kuriuos lengva sujungti. Šiame vadove dėmesys sutelkiamas į fizinį ir talpos lygmens - prievadus, optiką, perteklinį prenumeratą, kabelius -, nes tai yra tai, ko įsipareigojate pirkdami aparatinę įrangą. Tačiau loginis sluoksnis nusprendžia, kaip audinys nukreipia srautą, ir formuoja keletą fizinių pasirinkimų.

Fizinėje pusėje sėdi jungiklis ir prievado pasirinkimas, NIC greičiai, per didelis abonementas, optika, kabeliai, maitinimas ir aušinimas. Loginėje pusėje yra ECMP apkrovos{1}}balansavimas tarp nuorodų; perdanga, pvz., VXLAN su BGP EVPN valdymo plokštuma, skirta 2{2}}nuomotojo sluoksniui ir 3 sluoksniui per nukreiptą apatinį sluoksnį; dvigubas-homingas su MLAG arba MC-LAG ir LACP prieigos krašte; ir nepavyko-pasirinkti domeno dydį. RDMA audiniams taip pat turite sukurti beveik-be nuostolių tinklą, aprašytą toliau. Iš anksto nustatykite loginį modelį, nes jis turi įtakos uplink skaičiui, norimam ECMP pločio spyglių kiekiui ir tai, ar lapai naudojami kaip MLAG poros.

1 - veiksmas. Apibrėžkite serverio greitį ir darbo krūvį

Pradėkite nuo darbo krūvio, o ne nuo optikos. Bendras virtualizacijos klasteris, saugojimo audinys ir AI mokymo blokas turi labai skirtingus poreikius, o tinkamas dizainas atitinka srautą.

25G serveriai su 100G nuorodomis

Daugumoje įmonių ir privačių -debesų aplinkų 25G prieiga su 100 G lapų-į-supainiojo aukštyn kojomis yra miela vieta: didelis šuolis virš 10G išlaikant pagrįstas NIC, kabelio ir jungiklio išlaidas. Įprasta versija suporuoja 25G žemyn, 100G aukštyn ir 2:1 iki 3:1 santykį bendram skaičiavimui, o mažesnis perteklius rezervuotas saugyklos ir delsos -jautrioms pakopoms. Jis tinka virtualizacijai, privačiam debesiui, žiniatinklio pakopoms ir daugumai įmonės duomenų centrų.

Native 100G saugojimui, AI ir HPC

Kai kurioms darbo apkrovoms serveryje reikia 100 G: paskirstytos ir NVMe-saugyklos, AI ir mašininio-mokymosi, HPC, didelio-masto analizės ir mažos-delsos RDMA. Čia perteklinis prenumeratos kiekis turėtų būti mažas - dažnai neblokuojantis- arba artimas jo -, nes problema yra srauto modelis, o ne tik apimtis.

AI, HPC ir RDMA darbo krūviai generuoja tankų, sinchronizuotą srautą iš visų -į-visų rytų-vakarų: daug mazgų perduoda į daugelį mazgų tuo pačiu metu, todėl statistinis išlyginimas, taupantis virtualizacijos audinį, nebegalioja. RDMA per konverguotą eternetą (RoCE) prideda antrą apribojimą, nes tikimasi beveik-be nuostolių, o tai praktiškai reiškia prioritetinį srauto valdymą (PFC) ir aiškų perkrovos pranešimą (ECN), suderintą iki galo. Audinys, numetantis rėmus perpildytas, stebės RoCE našumo žlugimą, todėl šios grupės paprastai kuriamos santykiu 1:1, naudojant kruopščią buferio ir perkrovos konfigūraciją.

2 - veiksmas. Kaip apskaičiuoti lapų ir stuburo jungiklių prievadus 100 G audiniui

Uosto planavimas prasideda nuo lapo, o ne nuo stuburo. Dirbkite iš serverių:

  1. Skaičiuokite serverio{0}}prievadus viename stove.
  2. Nuspręskite, ar kiekviena iš jų yra vietinė 25G, savoji 100G, ar atsitraukimo juosta.
  3. Rezervuokite QSFP28 prievadus stuburo aukštyn nuorodoms.
  4. Pridėkite atsarginių prievadų augimui, atleidimui, bandymui ir pakeitimui.
  5. Perskaičiuoti perteklinį prenumeratą po to, kai priskiriama pertrauka, o ne anksčiau.

Suskaičiuokite serverio{0}}prievadus

Kiekvienai stelažai nustatykite serverių skaičių, NIC greitį, NIC viename serveryje, vieno{0}} arba dviejų-namų tinkle ir reikalingas atsargines dalis. 48 serverių stovui su vienu 25G NIC reikia 48 prievadų. Dvigubas-šių serverių prijungimas prie lapų poros ir prieigos prievadų skaičius visoje poroje padvigubėja.

Rezervuokite uplink prievadus ir stebėkite dvigubą skaičių-

Po pagrindinio kompiuterio prievadų rezervuokite QSFP28 prievadus stuburui. Čia slepiasi dažniausiai pasitaikanti klaida: jei tie patys QSFP28 prievadai naudojami 4x25G pertraukai, jie nebepasiekiami kaip uplinks. Vienintelė didžiausia planavimo klaida yra ne klaidingas 100 G įkėlimo nuorodų skaičiavimas, o pervertinimas likusių uplink prievadų, kai jas suvalgė. Priskirkite pertrauką prieš perteklinio prenumeratos matematiką arba apskaičiuotas santykis yra fikcija.

Padeda veikiantis pavyzdys. Paimkite bendrą 1U lapą su 48 SFP28 prievadais ir 8 QSFP28 prievadais:

Uosto grupė Vaidmuo Talpa
48 x 25 G (SFP28) Vieno{0}}namų serverio prieiga 1,200G
6 x 100 G (QSFP28) Stuburo aukštyn nuorodos 600G
2 x 100 G (QSFP28) Rezervuota: augimas, saugojimas arba atsarginis -

Su šešiais aukštyn ryšiais, perkeliančiais 1 200 G prieigos srautą, lapas veikia 2:1, o du QSFP28 prievadai lieka rezerve. Suteikite kiekvienam prievadui vieną, aiškų vaidmenį skaičiuoklėje prieš nustatydami kito dydžio dydį.

Palikite laisvus pajėgumus

Nevartokite kiekvieno porto pirmą dieną. Rezervuokite vietos naujiems serveriams, papildomiems stulpams, laikinoms bandomosioms nuorodoms, nepavykusiems-prievadų apsikeitimams, stebėjimo palietimams ir perkėlimui. Šiek tiek nepanaudota talpa yra daug pigesnė nei pertvarkyta.

3 - veiksmas Apskaičiuokite perteklinį prenumeratą, įskaitant N-1

Perteklinis prenumerata lygina visą serverio{0}}pralaidumą lape su bendru jo aukštyn nukreiptu pralaidumu:

Perteklinio prenumeratos koeficientas=bendras žemyn nukreiptos nuorodos pralaidumas / bendras aukštyn nukreiptos nuorodos pralaidumas

Aukščiau pateiktame lape 48 x 25 G=1, 200 G žemyn ir 6 x 100 G=600 G aukštyn, todėl gaunama 1 200 / 600=2:1. Tai reiškia, kad teorinis prieigos pralaidumas yra dvigubai didesnis nei aukštyn nukreipto ryšio dažnių juostos plotis - paprastai tinka bendram skaičiavimui, kai retai visi serveriai vienu metu perduoda linijos spartą, tačiau tai yra realus saugyklos, AI, HPC ir RDMA apribojimas.

Visada patikrinkite N-1 korpusą

Audinys gali atrodyti sveikas normaliai dirbant ir užspringti gedimo metu. Apsvarstykite lapą su aštuoniais 100 G aukštyn stulpeliais, tolygiai paskirstytais per keturis stuburus - po du kiekvienam stuburui, iš viso 800 G, taigi 1 200 G prieigos yra 1,5:1. Prarasite vieną stuburą ir lapas nukris dviem aukštyn iki 600 G, o pertrūkio metu santykis bus 2:1. Jei jūsų tikslas yra „ne blogesnis nei 2:1 net ir nesėkmės atveju“, turite pradėti nuo 1,5:1. Apskaičiuokite ir normalų santykį, ir N-1 santykį praradus vieną stuburą arba aukštyn stulpelį; antrasis skaičius yra tas, kuris įkando priežiūros metu.

100G spine-leaf oversubscription planning example

Planavimo diapazonai pagal darbo krūvį

Nėra universalaus santykio, todėl toliau nurodytus dalykus laikykite planavimo diapazonais, o ne standartais, ir patvirtinkite pagal išmatuotą srautą, kai galite:

Darbo krūvis Dizaino kryptis
AI / HPC / RDMA 1:1 arba beveik neblokuoja-
Paskirstyta saugykla 1:1 iki 2:1
Bendroji virtualizacija 2:1 iki 3:1
Žiniatinklio / taikomųjų programų pakopos 3:1 arba didesnis, jei srautas yra nuspėjamas
Kūrėjas / bandymas Optimizuoti sąnaudų- santykiai priimtini

Atnaujindami peržiūrėkite dabartinį uplink panaudojimą, piko ir rytų{0}}vakarų modelius, saugyklos srautus ir atsarginius langus prieš įsipareigodami laikytis santykio.

Veiksmas 4 - Pasirinkite QSFP28 optiką ir kabelius

QSFP{0}}G sąsajas standartizuoja IEEE 802.3 -802.3bm pakeitimaspridėta 100 GBASE-SR4 kartu su vieno-mode LR4 PHY. Pasirinkite optiką pagal atstumą, šviesolaidžio tipą, jungtį, maitinimą ir jungiklių suderinamumą ir nesinaudokite ilgiausiu pasiekiamumu: pasiekiamumas, kurio jums nereikia, paprastai reiškia išlaidas ir galią, kurių jums nereikia. Suderinkite modulį su eiga su protinga marža.

QSFP28 optics and cable options for 100G networks

DAC ir AOC trumpoms serverio nuorodoms

Stovo ir gretimos{1}}stovo jungtims naudoti QSFP28 tiesioginio-prijungimo variniai (DAC) ir aktyvieji optiniai kabeliai (AOC) yra praktiški. Pasyvus DAC tinka trumpiausiems apyniams - kelių metrų - už mažiausią kainą ir mažiausią galią, o AOC išplečia pasiekiamumą ir yra lengvesnis bei lankstesnis, kai vario masė tampa problema. 25G prieigai, QSFP28-4x SFP28 pertrauka DAC arba AOC yra įprasta, kai jungiklis palaiko pertrauką.

100 GBASE-SR4 trumpoms kelių režimų nuorodoms

SR4 neša 100G daugiauaštuoni lygiagrečios daugiamodės skaidulosnaudojant MPO/MTP jungtį, todėl tai yra ekonomiškai{0}}efektyvus pasirinkimas trumpiems lapams-į-stuburo eilutes eilėje. Jo pasiekiamumas priklauso nuo pluošto klasės - maždaug 70 m OM3 ir 100 m OM4 -, todėl verta žinoti pasiekiamumo, kurio galite tikėtis išOM3, OM4 ir OM5 daugiamodis pluoštastavo aukšte. Pagrindinis planavimo apribojimas yra lygiagretus kabelis: MPO pataisymas ir poliškumas turi būti parengti iš anksto.

CWDM4 arba FR viengubu{1}}režimu nuvažiuoja iki maždaug 2 km

Tarp-eilių,-kambarių ar tarp-salių nuorodoms geriau tinka vieno-modės optika, pvz., CWDM4 arba FR. The100G CWDM4 MSAapibrėžia 2 km pasiekiamumą per vieną porą vienmodžių skaidulų su dvipuse LC jungtimi ir FEC. Kadangi jie naudoja dvipusį skaidulą, o ne lygiagrečią MPO, CWDM4 ir FR optika dažnai patenka į vieno -režimo įrenginį švariau nei SR4 -, o šiais atstumais galima pasirinkti tarpOS1 ir OS2 vieno-modo skaidulospradeda reikšti jūsų nuostolių biudžetą. Trumpesni vieno -režimo variantai, pvz., DR, apima maždaug 500 m, kur to reikia.

100 GBASE-LR4 universiteto miesteliui ir DCI

LR4 yra ilgo pasiekiamumo-parinktis, nešanti 100 Giki maždaug 10 km per dvipusį vieno -modo skaiduląmiesteliui, pastatui-į-pastatui ar duomenų-centrui-sujungti. Naudokite jį tik ten, kur to tikrai reikia dėl atstumo; Ilgo-galio optika ant trumpų vidinių-duomenų-centrų tiesiog padidina kainą, galią ir šilumą nepagerindama audinio.

QSFP{0}}G optikos palyginimas

Lentelėje apibendrinama, kur tinka kiekviena parinktis. Pasiekimus laikykite tipiniais planavimo skaičiais ir kiekvieno modulio duomenų lape patvirtinkite tikslius skaičius, pluošto klasę ir FEC reikalavimus.

Parinktis Žiniasklaida / pluoštas Jungtis Tipiškas pasiekiamumas Kur tinka
QSFP28 DAC (pasyvus varis) Twinax varis Integruota ~1–3 m Į-stoties serverį arba nuo-į-lapą
QSFP28 AOC Daugiamodis (integruotas) Integruota ~iki 30 m Gretimi{0}}stelažo serveriai, trumpos nuorodos
100 GBASE-SR4 Lygiagretus daugiamodis, 8 skaidulos (OM3/OM4) MPO/MTP ~70 m OM3 / 100 m OM4 Trumpas{0}}eilės lapas-į-stuburą
100G CWDM4 Dvipusis vieno{0}}režimas LC iki ~2 km Tarpinės-eilės / tarp-salės nuorodos
100 GBASE-FR / DR Dvipusis vieno{0}}režimas LC ~500 m (DR) iki ~ 2 km (FR) Vidutinis paleidimas vienu{0}}režimu
100 GBASE-LR4 Dvipusis vieno{0}}režimas LC iki ~10 km Universitetas / pastatas-į-pastatas / DCI

Dirbti pavyzdžiai: maži, vidutiniai ir dideli audiniai

Tai supaprastinti planavimo modeliai, o ne brėžiniai. Stuburo skaičius paprastai pasirenkamas siekiant tolygiai padalyti aukštyn nukreiptas nuorodas ir nustatyti ECMP plotį: du stuburai yra praktiškas pertekliaus minimumas, keturi suteikia smulkesnį N-1 granuliuotumą ir geresnį apkrovos paskirstymą, o aštuoni tinka dideliems audiniams. Lapų skaičiavimo svarstyklės su jums reikalingais serverio prievadais.

Mažas audinys

  • 8 lapų jungikliai
  • 2 stuburo jungikliai
  • 48 x 25G serverio prievadai viename lape
  • 4 x 100G aukštyn nukreiptos nuorodos viename lape
  • 384 vieno-namų 25G serverio prievadai

Vienam lapui: 1 200 G žemyn, 400 G aukštyn, taigi 3:1. Veikia atliekant bendruosius skaičiavimus, tačiau mažai tinka dideliam saugojimui arba dirbtiniam intelektui. Jei reikia mažesnio santykio, pridėkite aukštyn arba apkarpykite prieigą prie kiekvieno lapo.

Vidutinis audinys

  • 16 lapų jungiklių
  • 4 stuburo jungikliai
  • 48 x 25G serverio prievadai viename lape
  • 6 x 100G aukštyn nukreiptos nuorodos viename lape
  • 768 vieno-namų 25G serverio prievadai

Vienam lapui: 1200 G žemyn, 600 G aukštyn, taigi 2:1. Tvirtas virtualizacijos ir įmonės darbo krūvių balansas, o keturi stuburai ECMP paskirsto geriau nei du.

Didelis audinys

  • 32 lapų jungikliai
  • 8 stuburo jungikliai
  • 48 x 25G serverio prievadai viename lape
  • 8 x 100G į viršų viename lape
  • 1 536 vieno-namų 25G serverio prievadai

Vienam lapui: 1 200 G žemyn, 800 G aukštyn, taigi 1,5:1. Daugiau vietos aukštyn, bet daugiau optikos, šviesolaidžio, sąnaudų, galios ir kabelių. Šiuo mastu dokumentacija yra projekto dalis: ženklinimas, prievadų žemėlapiai, poliškumas, atsarginė optika, oro srautas ir stebėjimas turi būti suplanuoti prieš įdiegiant.

QSFP28 Breakout planavimas (100G iki 4x25G)

Breakout yra pati naudingiausia ir labiausiai nesuprantama QSFP28 dizaino dalis. Kai tai leidžia jungiklis, kabelis ir konfigūracija, vienas QSFP28 prievadas padalijamas į keturias 25G SFP28 nuorodas, jungiančias keturis 25G serverius iš vieno 100G prievado. Jis užsitarnauja, kai reikia didelio 25G tankio, turite daug QSFP28 prievadų, norite sumažinti serverio ryšio kainą arba kuriate pereinamąjį 25G/100G audinį, naudodami QSFP28-4x SFP28 DAC, AOC arba AOC.MTP/MPO pertraukimo kabeliaipriklausomai nuo atstumo.

Bėda ta, kad „breakout“ sunaudoja QSFP28 prievadus. Jei 32-prievadų QSFP28 jungiklis skiria 16 prievadų 4x25G pertraukai, tie 16 prievadų palaiko 64 serverius, tačiau tik 16 QSFP28 prievadų lieka nuorodoms, saugyklai, sujungimams ir atsarginėms dalims. Nykščio taisyklė yra ta, kad pirmiausia reikia skaičiuoti perjungimo prievadus, tada skaičiuoti, kas liko nuorodoms.

Prieš įsipareigodami patvirtinkite keletą dalykų ir anksti nuspręskite, ar kiekvienas bėgimas turėtų būti abagažinė arba išlaužimo mazgas:

  • Kurie prievadai palaiko pertrauką ir ar yra prievadų{0}}grupių apribojimų?
  • Ar įjungus pertrauką išjungiami gretimi prievadai?
  • Ar jungiklio operacinė sistema palaiko jums reikalingą režimą?
  • DAC, AOC arba „breakout“ optika kiekvienam važiavimui?
  • Ar visų keturių juostų reikia dabar, ar tik vėliau?
  • Kaip pertrauka paveiks būsimą perėjimą prie vietinių 100G serverių?

Maitinimas, aušinimas ir kabelių valdymas

100 G audinys sukuria daugiau nei pralaidumas -, jis sukuria šilumą, oro srauto apkrovą ir kabelio tankį. Galios biudžetas turėtų apimti jungiklių važiuoklę ir ventiliatorius, QSFP28 optinius modulius (ir DAC arba AOC, jei naudojamas), perteklines medžiagas, stovo{4} lygio talpą ir augimo atsargą. Vėsinant turi būti atsižvelgiama į karšto- ir šalto- koridorių išdėstymą, nuoseklų oro srautą priekyje-į-galą-prie-, uždarymo plokštes, kabelių kliūtis, aplinkos temperatūrą ir modulio{12}}temperatūros stebėjimą, nes stuburas yra tikra šiluminė apkrova.

Kabeliai plečiasi greitai: nuo 16 lapų iki 4 spyglių jau yra 64 lapų-su{4}}stuburo jungtys, kurių kiekviena turi būti pažymėta, nukreipta, išbandyta ir dokumentuota. Viso-tinklelio audinį kur kas lengviau sukurti ir prižiūrėti su iš anksto-su sandarumuMPO/MTP magistralinis kabelisnei naudojant lauko{0}}užbaigtą skaidulą. Komandos taip pat turėtų iš anksto susitarti dėl jungčių ir poliškumo susitarimų; įpraktiniai skirtumai tarp MTP ir MPOverta patvirtinti prieš užsakant. Netvarkingi dokumentai nieko nekainuoja pirmą dieną, o per pirmąjį gedimą – daug.

Projektavimas 400G atnaujinimui

Sukurkite audinį realiu atnaujinimo keliu. Pirmą dieną jums nereikia visur 400 G, tačiau turėtumėte vengti pasirinkimų, dėl kurių vėliau judėjimas bus skausmingas. Pradėkite galvoti apie 400 G pasirengimą, kai stuburo aukštyn nuorodos jau yra labai apkrautos, kai tampa nepatogu pridėti daugiau 100 G stuburų, kai ECMP kelių skaičius artėja prie platformos ribos arba kai AI, saugykla ar rytų-vakarų augimas spartėja.

Įprasta strategija yra pirmiausia atnaujinti stuburą: lapai išlaiko savo 100 G aukštyn stulpelius, o didesnės -talpos stuburas - naudojant prievadus, pvz.QSFP-DD- prideda vietos, dažnai su 400 G prievadais, išeinančiais į 4 x 100 G atgal link esamų lapų. Platesnę trajektoriją nustato pramonė:Ethernet aljanso planasdabar veikia per 400G, 800G ir daugiau, daugiausia skatinamas dirbtinio intelekto. Kai vertinate jungiklius, patikrinkite, ar platforma palaiko greitį, optiką, pertraukos režimus ir programinės įrangos funkcijas, kurių reikės laipsniškai atnaujinti.

Kai 100 G stuburo{1}}lapų dizainas nėra tinkamas pasirinkimas

Šis dizainas nėra universalus, o kai kuriais atvejais reikia kažko kito. Keletas serverių vienoje ar dviejose stovuose retai pateisina pilno-lapo konstrukciją, kai perteklinių jungiklių pora yra paprastesnė ir pigesnė. Labai didelės dirbtinio intelekto mokymo grupės gali prasilenkti su 100 G prieigos ir 100 G stuburo audiniais ir nuo pat pradžių nusileis 400 G arba 800 G audiniams - ar net tam skirtame InfiniBand tinkle -. Ir jei beveik visas eismas nukreiptas į šiaurę{10}}į vartus, o ne į rytus-į vakarus tarp stelažų, rytų-vakarų stuburo-lapų pranašumai yra mažiau svarbūs, todėl topologija turėtų būti pagrįsta augimo ir veikimo priežastimis, o ne prielaida. Derinkite architektūrą su eismu ir mastu, o ne atvirkščiai.

Dažnos 100G stuburo{1}}lapų dizaino klaidos

  • QSFP28 prievadai skaičiuojami du kartus.Prievadas yra arba 4x25G pertrauka, arba 100G uplink, niekada abu. Kiekvienam prievadui skirkite vieną vaidmenį.
  • Optikos pasirinkimas pagal maksimalų pasiekiamumą.Ilgesnis pasiekiamumas padidina išlaidas ir galią; suderinkite optiką su tikruoju šviesolaidžio atstumu ir tipu.
  • N-1 ignoravimas.Patikrinkite santykį normaliai dirbant ir netekus stuburo.
  • Pamiršus optinę galią ir šilumą.Stuburas, pilnas QSFP28 modulių, yra tikra šiluminė apkrova, todėl įtraukite optiką į galios ir aušinimo skaičiavimą.
  • Kabelių tiesimas kaip pasekmė.Maršrutas, ženklinimas, poliškumas ir dokumentacija priklauso projektavimui, o ne diegimui.
  • Sukurta tik šiandieniniam serverio greičiui.Jei 25G prieiga pereis į 100G, palikite vietos 100G arba 400G stuburui.

DUK

Kl .: koks yra geriausias 100 G stuburo{1}} tinklo prenumeratos pertekliaus koeficientas?

A: Nėra vieno geriausio santykio. Atliekant bendrą skaičiavimą, 2:1 arba 3:1 dažnai yra praktiška. Saugyklos, dirbtinio intelekto, HPC ar RDMA darbo krūviams naudokite 1:1 arba mažesnį -perteklinės prenumeratos dizainą, kur tik įmanoma, ir patvirtinkite pagal išmatuotą srautą.

Kl.: Ar turėčiau naudoti QSFP28 SR4 arba CWDM4 lapų{3}}į-stuburo saitams?

A: Naudokite SR4 trumpiems kelių režimų paleidimams, kai yra MPO / MTP kabeliai. Naudokite CWDM4 ar panašią vieno-modės optiką, kai atstumas didesnis arba kai pageidaujama dvipusio LC vieno-modės įrenginio, iki maždaug 2 km.

Kl.: Ar QSFP28 gali išsiskirti į 4x25G?

A: Taip, daugelis QSFP28 platformų palaiko 4x25G pertrauką, tačiau palaikymas priklauso nuo jungiklio modelio, prievadų grupės, operacinės sistemos ir kabelio tipo. Visada patikrinkite jungiklio suderinamumo matricą prieš projektuodami aplink išsiveržimą.

Kl.: Ar 100 G stuburas{1}} vis dar vertas dabar, kai yra 400 G?

A: Taip, daugumoje įmonių ir debesies aplinkų su 25G arba 100G serverio prieiga. 400G uždirba didesnes išlaidas, kai tai pateisina uplink pajėgumas, AI srautas arba didelis -masto rytų-vakarų pralaidumas.

K: Kiek stuburo jungiklių man reikia?

A: Mažiausiai du už atleidimą. Didesniems audiniams dažnai naudojami keturi ar daugiau, kad būtų geresnis ECMP paskirstymas ir didesnis ryšio pajėgumas. Tinkamas skaičius priklauso nuo lapų skaičiaus, uplink greičio, per didelio prenumeratos tikslo ir platformos apribojimų.

Kl .: Kokia yra vienintelė dažniausiai pasitaikanti dizaino klaida?

A: neteisingas prievado skaičiavimas. Komandos iš pradžių planuoja jungtis, o vėliau sužino, kad nutrūkę kabeliai sunaudojo QSFP28 prievadus, kuriuos jos tikėjosi naudoti stuburui. Prieš užbaigdami uplink pajėgumą, priskirkite pertraukų prievadus.

Išvada

Geras 100 G stuburo-lapų dizainas yra sprendimų, priimtų prieš ateinant aparatūrai, suma: apibrėžkite darbo krūvį, teisingai skaičiuokite prievadus, apskaičiuokite perteklinį abonementą tiek įprastomis, tiek gedimo sąlygomis, pasirinkite optiką pagal atstumą, apgalvokite pertrauką, planuokite energijos ir aušinimo biudžetą ir palikite vietos 400 G. Daugumoje įmonių duomenų centrų 25G prieiga su 100G QSFP28 uplink išlieka tvirta našumo, sąnaudų ir masto pusiausvyra, o saugykla, dirbtinis intelektas ir HPC tiesiog reikalauja mažesnio prenumeratos ir griežtesnio patvirtinimo. Patikimas metodas nesikeičia: projektuokite iš serverio į išorę, įrodykite matematiką įprastomis ir N-1 sąlygomis ir dokumentuokite kiekvieną nuorodą prieš įdiegiant.

Siųsti užklausą