QSFP-DD puikiai tinka dirbtinio intelekto klasteriui, kai jungiklis arba galutinis taškas jau naudoja vietinį QSFP-DD narvą, kai turi likti daug kvalifikuotų QSFP-šeimos modulių ir skaidulų ir kai platforma gali vėsinti pasirinktus modulius, kai yra kiekvienas prievadas. Tai neteisingas atskaitos taškas, kai GPU serveriai ir jungikliai yra pastatyti aplink natūralius OSFP narvus arba kai iš tikrųjų reikalinga optika reikalauja daugiau šiluminės erdvės, nei gali suteikti pagrindinis kompiuteris.
Formos veiksnys nėra pirmasis sprendimas. Tai maždaug ketvirtas. Tinklo dizainas, kuris išgyvena pirmąjį gamybos mokymą, prasideda nuo serverio sąsajų, bėgių skaičiaus, tikslinės topologijos, priimtino perteklinio abonemento koeficiento ir išmatuoto kabelio maršruto. Tik tada svarbi modulio forma.
Šiame vadove pateikiamas užsakymas iki galo, apskaičiuojamas darbo pajėgumas, nuorodų{0}}pasirinkimo lentelė ir patvirtinimo seka, kurią galite perduoti laboratorijos komandai.

Kurį formos faktorių turėtumėte pasirinkti?
| Galinio taško sąlyga | Pirmas pasirinkimas vertinimui |
|---|---|
| Abu galai savaime QSFP-DD / QSFP-DD800 | QSFP-DD |
| Abu galai yra OSFP | OSFP |
| Perkeliama iš įdiegtos 400G QSFP bazės | QSFP-DD, jei priegloba palaiko reikiamą prievado režimą |
| Didelės{0}}galios optika platformoje, kurios pagrindinis narvas yra OSFP | OSFP |
| Vienas galas OSFP, kitas QSFP-DD | Kvalifikuotas kryžminis -form-faktorius DAC/AEC arba optinis ryšys su atitinkamu PMD, juostos dažniu ir FEC režimu abiejuose galuose |
Pagrindinė taisyklė yra trumpa:pasirinkite narvelį, kuris yra būdingas galutiniam taškui, tada patikrinkite elektros juostų dažnį, optinę sąsają, FEC režimą, galios klasę ir programinę-aparatinę įrangą, atitinkančią tą tikslų dalies numerį.Viskas, kas nurodyta toliau, yra darbas, kurio reikia norint sąžiningai taikyti šią taisyklę.
Penki sprendimai, eilės tvarka
Dauguma blogų AI tinklų kūrimo atsiranda, kai šie sprendimai priimami ne iš eilės - pirmiausia pasirenkant modulį ir vėliau atrandant apribojimą. Kiekviename toliau pateiktame veiksme pateikiamas kitas veiksmas, o kiekvienas keičia, ką galite nusipirkti atlikdami kitą veiksmą.
- Patvirtinkite galutinius taškus.Natūralus narvelio tipas ir protokolo režimas abiejuose kiekvienos nuorodos galuose.
- Apskaičiuokite talpą.Prievadai vienam mazgui, vienam bėgiui, tada nukreipkite žemyn ir aukštyn siųstuvų pajėgumus pagal tikslinį perteklinio prenumeratos koeficientą.
- Pasirinkite fizinę nuorodą.Išmatuotas maršruto ilgis, pluošto gamykla, jungtis, išsiveržimo reikalavimas.
- Patvirtinkite dalies numerį.FEC, eismo juostų dažnis, galios klasė, programinė įranga, CMIS peržiūra, pardavėjo kvalifikacija.
- Diegimas pagal klaidos domeną.Pirmiausia laboratorijoje, tada po vieną stovą, bėgelį arba keičiamo dydžio įrenginį vienu metu.
1 veiksmas: Atskirkite formos koeficientą, protokolą ir optinę sąsają
Šie trys dalykai nuolat sugriūna į vieną sprendimą ir dažniausiai kyla netikėtumų dėl suderinamumo. Jie yra atskiri sluoksniai su atskirais valdymo dokumentais.
Formos faktoriusapibrėžia mechaninius matmenis, pagrindinę jungtį, elektros juostas, valdymo elgseną ir šiluminį dizainą. TheQSFP{0}}DD MSA techninės įrangos specifikacijaapima mechaninius, elektrinius ir šiluminius reikalavimus, o vėlesni pakeitimai išplečia tuos pačius aštuonių{0}} juostų pagrindinio prievado prievadus iki 800G ir 1,6T variantų, kartu išlaikant atgalinį suderinamumą su QSFP šeima. Jei norite gauti mechaninių ir valdymo žinių prieš eidami toliau, mūsųQSFP{0}}DD techninė apžvalgadetaliai apima patį formos veiksnį.
Protokolas- Ethernet, RoCEv2 arba InfiniBand - nustato NIC, jungiklio ASIC, programinė įranga ir prievado konfigūracija, o ne narvelio forma. QSFP-DD modulis niekada neturėtų būti apibūdinamas kaip "palaikantis ir Ethernet, ir "InfiniBand" kaip formos faktoriaus ypatybę. Ši galimybė priklauso pagrindiniam kompiuteriui ir turi būti patvirtinta konkrečiame prievade.
Optinė sąsaja- DR8, FR4, SR8, LR - apibūdina juostų organizavimą, pasiekiamumą ir pritaikymą. Jame neaprašoma jungtis, skaidulų skaičius, pertraukų žemėlapis ar elektros juostų dažnis. Du moduliai, turintys tą pačią optinę etiketę, gali skirtis kiekvienu iš jų. Pats signalizavimas apibrėžiamas IEEE, o ne MSA:IEEE Std 802.3df-2024pridėjo MAC parametrus ir fizinius sluoksnius 800 Gb/s veikimui ir papildomus 400 Gb/s PHY.
Valdymo elgsena yra ketvirtas, tylesnis sluoksnis. Tiek QSFP-DD, tiek OSFP moduliai yra valdomi per CMIS, o peržiūra yra svarbi programinės aparatinės įrangos atnaujinimo veikimui, programos pasirinkimui ir pagrindinio{2}}modulio laikui. Paskelbtos pataisos išvardytosOIF įgyvendinimo sutartys.
2 veiksmas: nustatykite tinklo dydį iš serverio prievadų, o ne iš GPU skaičiaus
GPU skaičius rodo, kokio dydžio yra klasteris. Tai nenurodo, ką tinklas turi atlikti, nes tinklas mato tik serverio sąsajas.
Du pavyzdžiai rodo esmę. Sistema NVIDIA DGX H100/H200 atskleidžia aštuonias ConnectX-7 compute-medžiagos sąsajas, kurių kiekviena siekia iki 400 Gb/s, tačiau tai nėra aštuoni fiziniai narvai. SuperPOD atskaitos architektūra rodo pateiktą skaičiavimo audinįketuri dviejų{0}}prievadų siųstuvai-imtuvai, pasiekiantys visus aštuonis GPU. Priešingai, pristatomas DGX B300aštuoni tinklo prievadai GPU dėkleaptarnaujantis aštuonias ConnectX-8 sąsajas iki 800 Gb/s. Tas pats GPU skaičius, visiškai kitoks prievadų inventorius, kabelių skaičius ir optikos sąskaita.
Taigi, prieš žiūrėdami į vieną jungiklio duomenų lapą, dokumentuokite kiekvieną mazgo tipą: apskaičiuokite-medžiagos prievadus, prievado spartą, NIC-į-GPU arba bėgių atvaizdavimą, vietinį narvelio tipą, palaikomus protokolo režimus ir atskiras saugojimo ir valdymo sąsajas. Šis inventorius, o ne GPU numeris, yra kiekvieno tolesnio skaičiavimo įvestis.
Darbinio pajėgumo skaičiavimas
Paimkite 32 mazgų, kurių kiekvienas turi aštuonis 400G skaičiavimo{2}}medžiaginius prievadus, po vieną prievadą kiekvienam bėgiui, optimizuotą bėgių-konstrukciją. Dirbkite vienu bėgiu vienu metu:
- Žemyninės nuorodos pajėgumas vienam bėgio lapui= 32 mazgai × 1 prievadas × 400 G =12,8 Tb/s
- 1:1 (ne-blokavimas), reikalingas uplink pajėgumas=12.8 Tb/s → 12 800 ÷ 800 =16 × 800G aukštyn
- Esant 2:1, reikalingas uplink pajėgumas=6.4 Tb/s →8 × 800G aukštyn
Tada patikrinkite rezultatą pagal jungiklio radiksą: 32 žemyn ir 16 aukštyn nukreiptų nuorodų reikia 48 naudotinų prievadų tame lape, o tai apriboja jūsų pasirinkimą iš karto. Pridėkite nuorodų, skirtų pertekliui ir priežiūrai, ir pakartokite kiekvienam bėgiui - aštuoni bėgiai, aštuonios lapų grupės, o ne vienas bendras skaičius. Čia 800G užsitarnauja arba ne: čia jis perpus sumažina uplink prievadų skaičių, o tai yra radix argumentas, o ne pralaidumo argumentas.
Bėgių-optimizuoti, subalansuoti riebalai{1}}medžių audiniai – tai NVIDIA dokumentų modelis, skirtas didelėms treniruočių grupėms -DGX H100 SuperPOD atskaitos architektūranaudoja pilną riebų{0}}medį su aštuoniais skaičiavimo{1}}ryšiais sistemoje. Ar šis modelis tinka jūsų darbo krūviui, yra projektinis sprendimas, tačiau aukščiau pateiktas skaičiavimo metodas galioja neatsižvelgiant į topologiją.
3 veiksmas: suplanuokite visus keturis audinius, tada grįžkite į modulius
AI klasteris nėra vienas tinklas. DGX SuperPOD atskaitos architektūros atskiriamosskaičiavimas, saugykla, -juostos valdymas ir-iš-juostinis valdymasaudinių, ir kiekvienas gamina savo prievadą ir optikos reikalavimus.
Theskaičiuoti audinįatlieka gradiento mainus, parametrų sinchronizavimą, kolektyvines ir nuotolinės atminties operacijas. Jai taikomi griežčiausi delsos, perkrovos ir kelio-simetrijos reikalavimai, todėl čia iš tikrųjų išspręstas 800 G-prieš 400 G argumentas.
Thelaikymo audinysneša treniruočių duomenis, kontrolinius taškus ir modelių artefaktus. Jo talpa priklauso nuo duomenų rinkinio formato, talpyklos pataikymo dažnio, duomenų-įkeltuvo lygiagretumo, tikrinimo taškų dažnio ir metaduomenų intensyvumo -, todėl „saugai pakanka 400 G“ nėra saugus numatytasis nustatymas. Etaloninės architektūros nurodo saugyklos našumą sistemos lygiu ir tiksliai išlaiko jį nuo skaičiavimo medžiagos, kad du darbo krūviai nepažeistų vienas kito.
Thejuostos valdymo tinkle-vykdo aprūpinimą, planavimo srautą, registrus, saugyklas ir stebėjimą. Theiš-ne{1}}juosčio tinklopasiekia BMC, jungiklių valdymo prievadus ir stovo maitinimą ir turi likti pasiekiamas, kol sulaužytas gamybos audinys. Laikykite jį kaip atkūrimo ir saugos kelią su atskira nuoroda, o ne kaip likusį mažo{1}} spartos srautą.
Modulio pasirinkimo praktinė pasekmė yra tokia: kiekvienas audinys turi savo prievadų skaičių, savo atstumo profilį ir savo narvelio tipą, ir jie dažnai skiriasi. Klasteris gali būti OSFP skaičiuojant ir QSFP{1}}DD saugojimui ir tvarkymui be nieko blogo.
4 veiksmas: pasirinkite 400 G arba 800 G iš apribojimų, o ne tendencijų
800G prievadas padvigubina vardinę talpą. Tai nesumažina jūsų programos generuojamo srauto. Jo reikšmė beveik visada yra struktūrinė - mažiau nuorodų, geresnis radikso efektyvumas arba vietinis 800G galutinis taškas.
400G išlieka geresnis pasirinkimaskai skaičiavimo galutiniai taškai iš esmės yra 400 G, dabartinis audinys jau atitinka blokavimo tikslą, klasteris auga turimo radix viduje, jau yra kvalifikuotas 400 G modulis ir kabelių bazė arba dėl galios ir aušinimo apribojimų 800 G nėra patrauklus. Naudojant 800gaukštyn nukreiptos nuorodosvirš 400G serverių vis dar yra visiškai pagrįstas -, bet pateisinkite tai pagal anksčiau pateiktą prievado aritmetiką, o ne iš etiketės.
800G pagerina dizainąkai serveriai atskleidžia vietines 800G sąsajas, kai daugelis 400G srautų turi susijungti į mažiau pagrindinių nuorodų, kai jungiklio prievadų skaičius yra privalomas apribojimas arba kai perkėlimas iš 800G į mažesnio-greičio antrines sąsajas supaprastina perkėlimą. Nurodyta tiksliai: 800G gali sumažinti fizinių nuorodų ar perjungimo prievadų skaičiųprojektuose, kuriuose agregacija ir radiksas yra ribojantys apribojimai. Tai nėra gamtos dėsnis.

Mišrus{0}}greitasis perkėlimas reikalauja aiškių dokumentų
Breakout yra ta vieta, kur mišrios{0}}greičio dizainas tyliai žlunga. Dėl šiuolaikinių NIC tai galima konfigūruoti, o ne fiksuoti - NVIDIA ConnectX-8prievado-padalijimo dokumentusrodomas vienas 800G OSFP narvas, perkonfigūruotas į du 400GbE prievadus arba aštuonis 100GbE prievadus, kurių kiekvienam reikia pakeisti programinės aparatinės įrangos{3}}lygio konfigūraciją ir maitinimo ciklą. Šis lankstumas egzistuoja tik tada, kai pardavėjas jį išbandė ir paskelbė.
Taigi perkėlimo plane kiekvienam prievadui turėtų būti nurodyta: kurie prievadai veikia kokiu greičiu, ar pagrindinis kompiuteris palaiko numatytą perjungimo režimą, elektros juostų dažnis abiejuose galuose, ar išjungimas yra loginis, ar optinis, ar{0}}pagrįstas kabeliu, FEC režimas, kurio reikia kiekvienai antrinei sąsajai, ar galima pakartotinai naudoti esamą skaidulų skaičių ir jungties tipą ir kaip stebėjimas identifikuos kiekvieną antrinį prievadą. Įdėjus mažesnio-greičio modulį, pasiekiami ne visi prieglobos režimai.
QSFP-DD prieš OSFP
| Sprendimo veiksnys | QSFP-DD | OSFP |
|---|---|---|
| QSFP{0}}suderinamumas su šeima | Gimtasis, kai pagrindinis kompiuteris palaiko režimą | Kai kuriems moduliams galima naudoti naudojant tam skirtą{0}}adapterį |
| Modulio dydis | Mažesnis | Didesnis |
| Šiluminis dizainas | Važiavimo{0}}radiatoriaus dizainas; patikrinkite visą populiaciją | Integruotas arba veikiantis radiatorius; MSA apibrėžia aukštesnes galios klases |
| Įprastas AI-sistemos naudojimas | Ethernet jungikliai,{0}}mišraus greičio platformos | Kelios didelio{0}}našumo GPU ir „InfiniBand“ platformos |
| Sprendimo taisyklė | Pirmenybė teikiama, kai galutiniai taškai yra vietiniai QSFP{0}}DD ir QSFP pakartotinis naudojimas | Pirmenybė teikiama, kai galiniai taškai yra vietinis OSFP arba optikai reikia savo galios apvalkalo |
Du ieškiniai turi būti apriboti. Pirma, „OSFP neturi atgalinio suderinamumo“ yra per plati -OSFP MSAdokumentuoja QSFP suderinamumą naudojant specialų adapterį, o jo modulio specifikacijose apibrėžiamos aukštesnės galios klasės ir integruotos -radiatoriaus parinktys, kurios suteikia OSFP šiluminę reputaciją. Antra, ši reputacija yra specifikacijos riba, o ne garantija. Ar tam tikra važiuoklė iš tikrųjų gali paleisti 30 W-klasės modulius kiekviename narve, priklauso nuo narvelio konstrukcijos, oro srauto krypties, įleidimo temperatūros, ventiliatoriaus politikos, gretimo-prievado sumažinimo ir paties sistemos tiekėjo apribojimų.
Štai kodėl dėl visiško-populiacijos terminio patvirtinimo negalima-sutarti: modulis, praeinantis per vieną prievadą, gali viršyti savo atvejo-temperatūros ribą, kai šviečia visi 32 arba 64 prievadai, ir vėl, kai sugenda ventiliatorius arba maitinimo šaltinis. Išbandykite užpildytą sistemą esant realiai įleidimo temperatūrai.
Jei serveris yra OSFP, o jungiklis yra QSFP-DD, atsispirkite standartizavimo refleksui. Adapteriai prideda mechaninį tarpą, oro srautą, galią, signalo vientisumą, atsargas ir palaikymą. Kvalifikuotas kryžminio-form- koeficiento kabelis arba optinė jungtis su atitinkamais PMD ir FEC abiejuose galuose dažnai yra švaresnė, nei pakeisti aparatinę įrangą, kad formos atitiktų.

5 veiksmas: pasirinkite nuorodą pagal išmatuotą atstumą ir esamą pluoštą
Pajėgumai ir galiniai taškai dabar nustatė prievado greitį ir narvelį. Atstumas ir įrengta pluoštinė gamykla sutvarko visa kita. Kaip inžinerinės gairės, o ne taisyklė, trumpiausia techniškai tinkama jungtis paprastai yra lengviausia naudoti -, tačiau lankstumas, kabelio skersmuo, tinkamumas naudoti ir nutraukimo reikalavimai – visa tai prieštarauja.
| Maršrutas | Tipiškas variantas | Ką patvirtinti |
|---|---|---|
| Vidinis{0}}stelas, labai trumpas | Pasyvus DAC | Tikslus ilgis ir kabelio tipas palaikomas abiejuose galuose; lenkimo spindulys; svorio |
| Trumpas, bet už pasyvaus vario | AEC / ACC | Energijos suvartojimas, papildoma delsa, oro srauto blokavimas, pardavėjo kvalifikacija, prievado režimo palaikymas |
| Trumpas optinis, fiksuotas ilgis priimtinas | AOC | Tinkamumas aptarnauti - gedimas pakeičia visą agregatą |
| Daugiarežimas, iš-eilės į gretimą-eilutę | SR-klasės lygiagreti optika | Pluošto klasės ir pasiekiamumo ribos; pamatyti mūsųOM1–OM5 atstumo ribų vadovas |
| Vieno{0}}režimo, po-kilometro, reikalingas išsiveržimas | DR-klasės lygiagreti optika | MPO dydis, poliškumas, APC/UPC poliravimas, išsiveržimo žemėlapis |
| Vieno{0}}režimo, kilometrų skalė | FR-klasės dvipusis arba lygiagretus, priklausomai nuo gaminio | Jungties tipas skiriasi priklausomai nuo dalies numerio; pluošto klasė - palygintiOS1 ir OS2 vieno-modo skaidulos |
Jungties įgyvendinimas čia yra spąstai, nes optinėje etiketėje tai nenurodoma. Pardavėjai tiekia 800G DR8 gaminius su dvigubu MPO-12 arba vienu MPO-16 ryšiu ir 2 km FR klasės produktus su lygiagrečiu MPO arba dvigubu dvipusiu LC. Abu variantai yra teisėti; jiems reikia visiškai kitokių laidų. Prieš užsakydami bagažines, sąmoningai išspręskite jungties klausimą – mūsųMTP vs MPO atrankos vadovasapima mechaninius ir poliškumo skirtumus, irMPO nutraukimo kabelio vadovasapima ventiliatoriaus{0}}išvedimo žemėlapį, nuo kurio priklauso pertraukų prievadai.
Dar du elementai priklauso tam pačiam pokalbiui. Kanalo praradimas turi būti įtrauktas į biudžetą pagal modulio specifikaciją, skaičiuojant jungtis ir sandūras, o ne manoma - žr.kaip skaiduliniuose tinkluose kaupiasi įterpimo nuostoliai. O struktūrinius kabelius tarp eilučių lengviau prižiūrėti, kai jie yra sukurti iš anksto-MPO/MTP magistraliniai kabeliainaudojant dokumentuotą poliškumo metodą, o ne lauko{0}}surinktus paleidimus. Kai naudojamos dvipusės FR jungtys, jungties galo kokybė tiesiogiai grąžina nuostolius; įLC jungties vadovasapima ką tikrinti.
Kiekvienai nuorodai įrašykite: pagrindinio kompiuterio narvelį, pagrindinio kompiuterio juostos greitį, sukonfigūruotą prievado greitį, PMD arba kabelio tipą, jungtį, skaidulų tipą ir skaičių, maksimalų kanalo praradimą, FEC režimą, pertraukos atvaizdavimą, modulio programos kodą, CMIS ir programinės įrangos reikalavimus, didžiausią galią ir kvalifikacijos būseną. Šis įrašas per-nuorodą yra vertas daugiau nei bet kokia bendra taisyklė, kuri optika kur eina.

RoCEv2 arba InfiniBand: nuspręskite tai savarankiškai
Protokolo pasirinkimas yra statmenas formos veiksniui ir turėtų būti atliktas dėl eksploatacinių priežasčių.
RoCEv2tinka organizacijoms, kurios jau naudoja eternetą dideliu mastu, su patvirtintomis RoCE funkcijomis perjungimo platformoje ir komanda, galinčia turėti QoS, perkrovos valdymą, telemetriją ir pagrindinio kompiuterio konfigūraciją. Įspėjimas yra tas, kad „įjungti PFC ir ECN“ nėra diegimo planas. Aprašoma NVIDIA Cumulus Linux dokumentacijojeRoCE kaip sudėtinga konfigūracijaapimantis buferio telkinius, srauto klasifikavimą, prioritetų susiejimą, PFC ir ECN slenksčius ir planavimą, naudojant be nuostolių režimą, naudojant PFC ir ECN kartu, ir nuostolingą režimą naudojant tik ECN -, ir pažymi, kad konfigūracija, sukurta vienai ASIC jungiklio kartai, neperkeliama į kitą.
InfiniBandtinka diegimui pagal patvirtintą tiekėjo architektūrą, kur integruotas audinių valdymas yra vertingas, o komanda jau turi įrankių ir patirties.
Pagrįskite pasirinkimą pagal patikrintą programos veikimą, veikimo įgūdžius, palaikymo ribas ir bendrą sistemos dizainą. Rinkodaros našumo procentai priklauso nuo topologijos, programinės įrangos versijos, pranešimo dydžio, perkrovos būsenos ir NIC konfigūracijos ir retai perkeliami į kitą grupę.
Patvirtinimas: ką reikia patikrinti prieš perkant
Reprezentatyvus laboratorinis testas apima keturias sritis, o tvarka yra svarbi - pirmiausia nuorodos stabilumas, nes nestabilios nuorodos našumo skaičiai yra beprasmiai.
Išugdyti-:šaltas įkrovimas, šiltas paleidimas iš naujo, modulio įdėjimas ir pašalinimas, prievado išjungimas / įjungimas, pertraukos kūrimas ir pašalinimas bei abiejų galų perkrovimas skirtingomis sekomis.Signalo vientisumas:iš ankstoNašumas:nuolatinis pralaidumas, kolektyvai ir pranešimų dydžiai, kuriuos iš tikrųjų naudoja jūsų darbai, vienu metu kelių{0}}geležinkelių eismas, incast, saugykla-plius-apskaičiavimas ir ilgas įjungimas.Nesėkmė:viena jungtis, lapų jungiklis, stuburo jungtis, maitinimo{0}}ciklo atkūrimas, kabelio ir modulio keitimas, valdymo{1}}kelio praradimas.
Įrašykite slenksčius, o ne tik išlaikymą / nesėkmę. Nepataisomų FEC klaidų lygis turi būti lygus nuliui sveikoje nuorodoje; iš anksto Ryšys, kurio tendencijos didėja per 48 valandų mirkymą, yra ryšys, kurio gamyba nepavyks.
Tada pagal gedimą išleiskite domeną - po vieną stovą, vieną bėgią, vieną lapų porą arba vieną keičiamo dydžio įrenginį - ir stebėkite nuorodos būsenos pokyčius, FEC pataisytus ir nepataisomus skaičius, modulio temperatūrą, optinę galią, PFC pauzės veiklą, ECN žymėjimą, eilės užimtumą ir užduoties-lygio ryšio laiką. Vis dar esanti nuoroda vis tiek gali būti žeminanti; didėjančios ištaisytos-klaidos ir temperatūros tendencijos yra ankstyviausias įspėjimas.
Trys dizaino scenarijai
Esamo 400G Ethernet tinklo išplėtimas.Kvalifikuoti QSFP-DD 400G jungikliai ir struktūrinis kabelis jau yra; nauji mazgai atskleidžia 400G. Laikykite serverio-nuorodas ties 400 G, atlikite aukščiau pateiktą aukštyn nukreiptos nuorodos skaičiavimą, kad patikrintumėte blokavimo santykį, ir įveskite 800 G tik ten, kur perkamas pagrindinio prievado efektyvumas. Pakartotinai naudokite kvalifikuotą optiką ir šviesolaidį, kur tik leidžia nuostolių biudžetas, ir prieš pirkdami patikrinkite kiekvieną mišraus{8}}greičio konfigūraciją. Switch radix lemia šį sprendimą, o ne GPU skaičių.
800 G-savosios grupės kūrimas.Serveriai rodo vietinį 800G. Vadovaukitės serverio pardavėjo patvirtinta topologija, pasirinkite jungiklius su atitinkamu vietiniu narvu, patikrinkite visą-populiacijos šiluminę galią esant įėjimo temperatūrai, pasirinkite sujungimą iš išmatuotų maršruto ilgių ir prieš įsipareigodami patikrinkite kiekvieną pertraukos ir FEC derinį. Čia 800G pateisinamas pats galutinis taškas.
Gyvenimas su dviem formos veiksniais.Serveriai yra OSFP; Ethernet komutavimo įrangos dalis yra QSFP{0}}DD. Palyginkite kvalifikuotus kryžminio -form-faktorių DAC arba AOC mazgus, optinį suderinamumą su skirtingais narveliais kiekviename gale, patvirtintus adapterius, galią ir terminį poveikį, atsargines atsargas ir palaikymo nuosavybę. Vienos pusės keitimas vien tam, kad būtų standartizuota modulio forma, dažnai yra brangesnis nei dokumentais pagrįstos mišrios aplinkos valdymas.
Septynios klaidos, dėl kurių reikia perdaryti
- Pradedant nuo GPU skaičiaus.Jame neaprašomas NIC skaičius, geležinkelių žemėlapis, prievado tarifas ar perteklinis abonementas. Apskaičiuokite iš serverio sąsajų.
- Darant prielaidą, kad 800G yra greitesnis kiekvienam darbui.Tai padeda tik ten, kur gali naudoti galiniai taškai, topologija ir srauto modelis. Palyginkite kolektyvus, kuriems iš tikrųjų vadovaujate.
- QSFP{0}}DD traktavimas kaip protokolas.Tai narvas. Atskirai patvirtinkite narvelį, protokolą, elektrinį režimą, optiką ir FEC.
- Saugojimo ir valdymo audinių ignoravimas.Greitas skaičiavimas negali kompensuoti lėto kontrolinio punkto pristatymo ar nepasiekiamo BMC.
- Optinės etiketės skaitymas kaip kabelių specifikacija.DR8 ir FR4 nenurodo jungties, skaidulų skaičiaus ar pertraukos dizaino. Naudokite tikslius dalių numerius ir laidų schemą.
- Vieno prievado testavimas.Visas{0}}gyventojų oro srautas ir įleidimo temperatūra yra tikras išbandymas.
- Našumo procentų citavimas be metodo.Paskelbkite topologiją ir bandymo metodą arba palikite numerį.
Sukurkite TCO modelį, kurį galite apginti
Kapitalo sąnaudos apima NIC arba DPU, lapų ir nugarėlių jungiklius, siųstuvus-imtuvus, DAC, AEC ir AOC, skaidulų magistrales ir pataisymus, stelažus ir kabelių valdymą, bandymo įrangą ir atsargines dalis. Eksploatacinės išlaidos apima modulių ir jungiklių maitinimą, aušinimą, stebėjimą, programinės įrangos kvalifikaciją, mokymą, pakeitimo darbą ir pardavėjo palaikymą. Rizikos sąnaudos -, kurios paprastai neįtraukiamos, - apima suderinamumo gedimus, diegimo delsą, terminį sumažinimą, jungties nestabilumą, per-laidų perjungimą, pertraukiamus mokymo darbus ir ilgesnį atkūrimo laiką.
Atgalinis suderinamumas tikrai sumažina išlaidas, tačiau taupymas turi būti skaičiuojamas nuo konkrečios įrangos, kurią galima pakartotinai naudoti reikiamu greičiu ir režimu. Vien tik formos-veiksnio suderinamumas negarantuoja, kad esama ASIC, PCB, narvelio, aušinimo sistemos, programinės aparatinės įrangos ar maitinimo biudžeto gali veikti naujos kartos. Būsimą greičio perkėlimą traktuokite kaip platformos, o ne jungties klausimą.
Dažnai užduodami klausimai
Ar QSFP{0}}DD tinka dirbtinio intelekto mokymo grupėms?
Taip, kai jis priklauso pasirinktam jungikliui arba galutiniam taškui, atitinka šiluminius reikalavimus esant visai prievado populiacijai ir palaiko reikiamą prievado režimą bei optinę sąsają. Vien tik nominali duomenų perdavimo sparta nėra priežastis jį pasirinkti.
Kiek GPU reikia 800G tinklo?
GPU slenksčio nėra. Apskaičiuokite pagal tinklo prievadus vienam serveriui, prievado greitį, bėgių atvaizdavimą, topologiją, perteklinės prenumeratos tikslą ir programos srautą - pagal 2 veiksmą aukščiau.
Ar QSFP{0}}DD yra geresnis nei OSFP?
Nė vienas nėra visuotinai geresnis. QSFP-DD siūlo vietinį QSFP-šeimos suderinamumą ir mažesnį plotą; OSFP specifikacijose apibrėžiamos aukštesnės galios klasės ir integruotos -radiatoriaus parinktys, jos būdingos kelioms didelio našumo -AI platformoms. Galutinis taškas nusprendžia.
Ar OSFP prievadas gali naudoti QSFP modulį?
Kai kurie OSFP diegimai palaiko QSFP modulius per patvirtintą adapterį, tačiau suderinamumą, maitinimą, prievado režimą ir tiekėjo palaikymą reikia patikrinti konkrečiai platformai.
Ar QSFP{0}}DD galima naudoti ir Ethernet, ir InfiniBand?
Formos faktorius nenustato protokolo. Pagrindinis prievadas, NIC, jungiklis, programinė įranga, kabelis ir siųstuvas-imtuvas turi palaikyti numatytą veikimo režimą.
Kurį 800G siųstuvą-imtuvą turėčiau naudoti?
Pradėkite nuo išmatuoto atstumo, galinio taško narvelio, reikalingo pertraukimo, skaidulų tipo, jungties, juostos greičio, FEC režimo, galios klasės ir pardavėjo kvalifikacijos. Vien optinės sąsajos pavadinimo nepakanka.
Ar atgalinis QSFP{0}}DD suderinamumas garantuoja lengvą 1.6T naujovinimą?
Ne. Pagrindinis prievadas gali priimti modulį mechaniškai, o ASIC, PCB, narvelio, aušinimo ar maitinimo biudžetas negali palaikyti naujo juostos greičio. Patvirtinkite platformos lygiu.
Prieš pasirašydami pirkimo užsakymą
Patvirtinkite galinio taško narvelį abiejuose kiekvieno nuorodos tipo galuose; kiekvieno mazgo audinio prievadų{0}}skaičius ir greitis; geležinkelių žemėlapis ir tikslinis pertekliaus santykis; lapų ir stuburo prievadų skaičius, įskaitant dubliavimą; visų keturių audinių reikalavimus; darbo režimas ir, RoCE atveju, visas perkrovos{1}}valdymo dizainas; išmatuota kabelio trasa ir sujungimo pasirinkimas; jungtis, poliškumas ir nuostolių biudžetas; FEC ir išsiveržimo režimas; modulio galia pagal visas -gyventojų šilumines ribas; programinės įrangos ir CMIS suderinamumas; pardavėjo kvalifikacijos statusas; ir BER, našumo, perkrovos, gedimo ir įmirkimo bandymų laboratoriniai rezultatai.
QSFP-DD puikiai palaiko keičiamo dydžio 400G arba 800G AI audinį. Tai vis dar tik viena dizaino sudedamoji dalis. Pradėkite nuo galinių taškų ir eismo modelio, apskaičiuokite topologiją, pasirinkite fizinį ryšį iš išmatuoto atstumo ir patvirtinkite surinktą sistemą prieš jai atliekant mokymo darbą.
Metodika ir taikymo sritis
Šiame vadove remiamasi trijų rūšių šaltiniais ir jie sąmoningai atskirti aukščiau esančiame tekste.Standartai ir MSA dokumentai- IEEE 802.3df, QSFP-DD ir OSFP MSA techninės įrangos specifikacijos ir OIF CMIS diegimo sutartys - apibrėžia formos veiksnius, signalizaciją ir valdymo elgseną.Pardavėjo dokumentacija- NVIDIA DGX sistemos vadovai, DGX SuperPOD nuorodų architektūros, ConnectX-8 prievado konfigūracijos pastabos ir Cumulus Linux RoCE dokumentacija - nurodoma kaip konkretus tiekėjo pavyzdys, o ne kaip universali elgsena; kitos platformos skiriasi.Inžinerinės gairės- sekos nustatymo patarimas, trumpesnių nuorodų pirmenybė, patvirtinimo slenksčiai - yra rekomendacijos, paimtos iš diegimo praktikos ir yra pažymėtos kaip tokios, o ne pateikiamos kaip specifikacija.