AI klasterio tinklo projektavimo vadovas: RoCEv2, Lossless Ethernet ir 400G/800G GPU audinys

Jul 07, 2026

Palik žinutę

GPU klasteryje tinklas nėra palaikomasis sluoksnis -, jis nusprendžia, ar brangūs greitintuvai skaičiuoja, ar laukia duomenų. Dirbtinio intelekto grupių tinklas tiesiogiai lemia mokymo greitį, GPU panaudojimą ir užduočių atlikimo laiką, be to, jis veikia labai skirtingai nei bendrosios paskirties duomenų centrų tinklas. Šiame vadove aprašoma, kaip sukurti be nuostolių skirtą audinį GPU apkrovoms: topologija, RoCEv2 konfigūracija, 400G/800G optika ir kabeliai bei patvirtinimas, kuris atskiria pralaidumo testą išlaikantį audinį nuo to, kuris iš tikrųjų laiku baigia mokymo darbus.

AI klasterio tinklo projektavimas

Gerai -sukonstruotas AI klasterio audinys atskiria frontend ir backend srautą, naudoja ne-blokuojančią arba mažą-perteklinio prenumeratos-stuburo topologiją užpakalinei sistemai, paleidžia RoCEv2 su PFC, ECN ir DCQCN sureguliuota, kad ECN veiktų anksčiau nei PFC, skleidžiant didelius{5}MP programų srautus. vien, šiandien standartizuoja 400 G, aiškus kelias iki 800 G, ir yra patvirtintas naudojant telemetriją, koreliuojančią su AI-kaip kolektyvinis srautas -, o ne tik paprastus pralaidumo testus.

AI klasterio tinklo projektavimas iš pirmo žvilgsnio

Sprendimas Rekomenduojamas numatytasis
Srauto domenai Atskiri priekinės ir galinės dalies audiniai
Backend topologija Lapų-stuburas, ne-blokuojantis arba mažas prenumeratos perteklius
Transportas RoCEv2 su PFC + ECN + DCQCN
Apkrovos balansavimas Perkrovos-žinoma / dinaminė, o ne tik numatytasis ECMP
Uosto greitis 400G dabar, su planuojama 800G migracija
Patvirtinimas Telemetrija ir kolektyvinis (NCCL) srautas, ne tik iperf

AI cluster network fabric connecting GPU servers with leaf-spine switches

Kas yra AI klasterio tinklas?

AI klasterio tinklas yra didelio{0}}našumo audinys, jungiantis GPU serverius, saugyklą, valdymo mazgus ir kartais kelis duomenų centrų domenus, kad būtų galima mokyti ar daryti išvadas. Viename klasteryje vyksta kelių srauto tipų - GPU-į-GPU ryšys, RDMA tarp serverių, saugyklos nuskaitymas ir įrašymas, duomenų rinkinio perdavimas, patikros taškai, registravimas ir orkestravimas -, tačiau labiausiai našumui-jautri dalis yra užpakalinės programos mokymo audinys, paskirstantis GPU srautą}}}į{{{7}. Kai šis audinys yra lėtas arba nenuspėjamas, GPU laukia, o ne skaičiuoja.

Štai kodėl dirbtinio intelekto audinys vertinamas kitaip nei įprastas duomenų centrų tinklas. Neapdorotas dažnių juostos plotis yra svarbus, bet taip pat yra delsos nuoseklumas, perkrovos elgesys, paketų praradimas, telemetrijos gylis, topologija ir net optinės energijos suvartojimas.

Kodėl dirbtinio intelekto krūviai skirtingai apkrauna tinklą

Paskirstytos treniruotės nuolat sinchronizuojamos

Dideli modeliai treniruojami daugelyje GPU, kurie keičiasi gradientais ir aktyvinimais koordinuotais etapais - kolektyviniais modeliais, pvz., All-Reduce ir All-to-All. Pasekmė yra neryški: lėčiausias kelias gali atidėti visą treniruotės žingsnį. Net jei 99 % nuorodų yra sveikos, viena perkrauta stelažas-į-stuburo sąsają gali paversti GPU stulbinamąja mašinėle, kurios laukia visi kiti.

Uodegos delsa eikvoja GPU, o ne vidutinį delsą

Vidutinė delsa yra neteisinga metrika. Kadangi sinchronizavimo veiksmas laukia, kol ateis paskutinis GPU, keletas uždelstų paketų gali sulaikyti visą darbą. 256 GPU klasteryje viena karšta stuburo jungtis, kuri prideda uodegos delsą vienam bėgiui, gali sumažinti visos užduoties naudojimą.

AI srautą sudaro dramblių srautai

Tradiciniai tinklai žongliruoja daug mažų srautų; AI klasteriai generuoja kelis didelius, ilgai{0}}veikiančius GPU-į-GPU srautus. Numatytoji ECMP maiša paskirsto srautus, o ne baitus, taigi, kai keli dramblių srautai maišosi į tą patį stovą-į-stuburo nuorodą, ta nuoroda įkaista, o lygiagrečios nuorodos neveikia -, todėl susidaro eilės, delsos šuoliai ir galiausiai sumažėja. Didesnis prievado greitis savaime to neišsprendžia: 400G jungtis vis tiek perkrauta, jei dramblys į ją prastai teka maišos.

Paketų praradimas yra ypač brangus

Įprastas TCP toleruoja praradimą; RoCEv2{2}}pagrįsta RDMA ne. Tikimasi, kad audinys elgsis kaip mažai-nuostolių arba be nuostolių, o kritimas per spūstį gali sumažinti RDMA našumą. Dėl šios priežasties RoCEv2 audiniams reikia apgalvotos be nuostolių projektavimo, o ne didžiausios pastangos persiuntimo.

Pagrindiniai AI klasterio tinklo reikalavimai

Geras užpakalinis audinys turi vienu metu tenkinti kelis reikalavimus: didelis bisekcijos pralaidumas, todėl daug GPU gali kalbėti vienu metu, kad audinys netaptų kliūtimi; žemasir nuspėjamasdelsą, nes retkarčiais atsirandantys spūsčių šuoliai yra tokie pat žalingi kaip ir didelis vidutinis vėlavimas; „RoCEv2“ be nuostolių arba beveik{0}}be nuostolių; topologija, kuri keičiasi be krūvų ant apynių ir kabelių; ir gilus veiklos matomumas. Paskutiniame taške - be telemetrijos komandos reguliariai klaidingai diagnozuoja tinklo perkrovos problemą kaip GPU arba skaičiavimo problemą ir kelias dienas ieško netinkamo sluoksnio.

AI klasterio tinklo architektūra: Frontend vs Backend Fabric

Svarbiausias ankstyvas sprendimas yra atskirti priekinį tinklą nuo užpakalinės mokymo sistemos. Frontend atlieka vartotojo prieigą, valdymą, orkestravimą, stebėjimą, registravimą, prieigą prie saugyklos, duomenų rinkinio perdavimą ir kontrolinių taškų perkėlimą -, ji gali atrodyti panašiai kaip įprastas duomenų centrų tinklas, nors saugykla ir tikrinimo taškai vis tiek reikalauja tikro pralaidumo. Užpakalinė programa skirta GPU-to{4}}GPU mokymo srautui ir yra optimizuota RDMA, mažos delsos, be nuostolių perdavimui ir nuspėjamam pralaidumui.

Šis atskyrimas nėra teorinis. Metos paskelbtas darbasRoCE tinklai, skirti plataus masto AI mokymuitiksliai apibūdina šį padalijimą: sąsajos tinklas, skirtas tokioms užduotims kaip duomenų perdavimas, patikros taškas ir registravimas, ir specialus užpakalinis RoCEv2 audinys, jungiantis RDMA NIC į neblokuojančią GPU ryšio architektūrą. JųSIGCOMM 2024 dokumentas apie RDMA per Ethernet meta mastusuformuluoja tą pačią idėją kaip dizaino principą: pirmiausia supraskite darbo krūvį, tada atskirkite GPU mokymą į savo pagrindinį tinklą, kad jis galėtų vystytis ir keistis nepriklausomai.

Kodėl tai apsimoka: domenų atskyrimas pagerina našumo nuspėjamumą, trikčių šalinimo aiškumą, izoliaciją ir perkrovos{0}}valdymo derinimą. Jei saugojimas, valdymas ir mokymas dalijasi vienu audiniu be kruopštaus QoS, sunkus kontrolinio punkto įrašymas gali sustabdyti treniruočių ryšį blogiausiu įmanomu momentu. Pagal „Meta“ dizainą lapų jungikliai sujungia GPU stove per varinį DAC, o stovo-su{4}}stuburo jungtys veikia vieno-mode skaiduloje su 400G siųstuvų-imtuvais -.MPO/MTP magistralinis kabelistarp lapų ir stuburo pakopų.

Frontend and backend network separation in an AI cluster

RoCEv2 ir Lossless Ethernet: kaip jie veikia kartu

RDMA (nuotolinė tiesioginė prieiga prie atminties) leidžia vienai sistemai skaityti arba rašyti kitos sistemos atmintį su minimaliu procesoriaus įtraukimu, todėl galimas mažas-delsavimas, didelis{1}}našumas GPU-į-GPU. „RoCEv2“ perduoda tą RDMA srautą per eternetą, įtraukdamas jį į UDP/IP, todėl galite sukurti audinį naudodami standartinį Ethernet perjungimą.

Apeliacija yra ekosistemos plotis. Ethernet turi didžiulę tiekėjų bazę, brandžias operacijas ir sparčią jungiklio silicio, optikos ir įrankių raidą. TheUltra Ethernet konsorciumastai yra pagrindinis argumentas: atviras, sąveikus, kelių tiekėjų eterneto dėklas, dabar įformintas 1.0 specifikacijoje, paskirtis-sukurta siekiant išplėsti AI ir HPC tinklus be tiekėjo blokavimo-. NVIDIA pastūmėjo ta pačia kryptimi iš produkto pusės - josSpectrum{0}}X Ethernet platformayra eternetas, sukurtas specialiai dirbtiniam intelektui, todėl prie standartinio eterneto pridedamas be nuostolių perdavimas, adaptyvus maršruto parinkimas ir tinklo telemetrija.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

RoCEv2 neprarandantis audinys, komponentas po komponento

„Lossless“ – tai ne vienas jungiklis, tai bendradarbiaujančių mechanizmų šūsnis. Žemiau esančioje lentelėje parodytas detalumo lygis, kurio iš tikrųjų reikia dizainui.

Komponentas Vaidmuo Kodėl tai svarbu
Eismo klasifikacija (DSCP / PCP) Prideda RDMA į be nuostolių klasę Neteisingas žymėjimas siunčia RDMA į nuostolingą eilę
PFC Susiekite{0}}lygio pristabdymą, kad išvengtumėte kritimo Apsauginis tinklas; netinkamas naudojimas sukelia pristabdymo audras ir{0}}prieš-linijos blokavimą
ECN Pažymi paketus prieš išsipildant eilėms Turi suaktyvinti prieš PFC, kad būtų naudinga
DCQCN NIC dažnio valdymas, pagrįstas ECN/CNP grįžtamuoju ryšiu Sumažina PFC įsijungimo dažnumą
Dinaminis / adaptyvus apkrovos balansavimas Skleidžia dramblių srautus keliais Numatytoji ECMP maiša palieka nuorodas įjungtas ir neveikiančias
Telemetrija Atskleidžia kritimus, ECN žymes, PFC pauzes, eilės gylį Vienintelis būdas susieti audinio sveikatą su darbo sveikata

Jie turi būti suderinti kartu. Svarbus ryšys yra tas, kad ECN riba turi atitiktižemiauįėjimo PFC slenkstį, todėl siuntėjai sulėtėja, kol kada nors prireikia pristabdyti kadrų. KadagioDCQCN dokumentacijatiksliai apibūdina šį balansavimo veiksmą: leiskite ECN valdyti srautą anksti sumažindamas perdavimo greitį, kad būtų sumažintas PFC -, kuris visiškai sustabdo srautą -. Sukonfigūruokite per aukštą ECN, o PFC suveikia pirmiausia ir dažnai; per agresyviai sukonfigūruokite PFC ir sulauksite pauzės audrų.

Ką tai reiškia praktiškai: PFC skaitikliai nėra sėkmės metrika. Jei PFC pauzės rėmeliai stabiliai kyla įprastų treniruočių metu, audinys nėra sveikas -, pristabdydamas eismą, jis išgyvena spūstis. Tikrai sveikas audinys rodo, kad ECN dirba, o PFC retai įtraukia.

Dažni AI klasterio tinklo iššūkiai ir kaip juos spręsti

1 iššūkis: uodegos delsimas ir svyravimai

Problema:sinchronizuotame mokyme vienas lėtas kelias atitolina visą darbą.Atlikite:išlaikyti žemą pagrindinę programą-; išvengti nereikalingo prenumeratos pertekliaus; stebėti uodegos delsą, o ne vidurkius; naudoti perkrovos{1}}apkrovos balansavimą; patvirtinkite pagal kolektyvinius srauto modelius, o ne nuo taško{2}}į{3}}tašką.Praktikoje:Darbas, kurio GPU panaudojimas atitinka kiekvieną sinchronizavimo intervalą, paprastai patenka į nukrypimo kelią, o ne į skaičiavimo ribą.

2 iššūkis: spūstys ir{1}}dramblių srauto susidūrimai

Problema:keli dideli srautai patenka į tą pačią nuorodą ir sukuria viešosios interneto prieigos tašką.Atlikite:nepasikliaukite numatytuoju ECMP dideliam AI audiniui; įgalinti dinaminį / adaptyvų apkrovos balansavimą; žiūrėti per{0}}nuorodos stuburo panaudojimą ir eilės gylį; leiskite ECN ir DCQCN droselio siųstuvams, kol spūstys išliks.Praktikoje:netolygus stuburo{0}}nuorodos naudojimas su viskuo kitu vardiniu yra prastos srauto maišos, o ne nepakankamo pralaidumo požymis.

3 iššūkis: keitimas nuo 400 G iki 800 G

Problema:augant GPU skaičiui, dėl mažesnio{0}}greičio nuorodų reikia perjungti daugiau jungiklių, pakopų, optikos ir kabelių.Atlikite:apskaičiuoti reikiamą pralaidumą vienam GPU ir vienai stelažai (8-GPU serveris su 400 G NIC vienam GPU yra labai skiriasi nuo 200 G dizaino); nuspręsti ne-blokuoti, palyginti su nežymiu tyčiniu prenumeravimu; kartu apsvarstykite komutatoriaus radiksą, prievado greitį ir topologijos gylį; suplanuokite kelią nuo 400G iki 800G, kol nebūsite priversti jį atlikti; Nuo pat pirmos dienos projektuokite optiką, kabelius ir maitinimą.

4 iššūkis: galios, aušinimo ir optikos pasirinkimas

Problema:Dirbtinio intelekto audiniai sunaudoja daug energijos, ypač esant dideliam prievadų greičiui ir optiniam tankiui.Atlikite:jei įmanoma, naudokite DAC trumpoms{0}}rack nuorodoms; naudokite AOC arba optinius siųstuvus-imtuvus ilgesniam laikui nuo stuburo-to{2}}; palyginti optinių parinkčių galią; patvirtinti šilumines ribas didelio-tankio prievaduose; projektuoti kabelius ir oro srautą kartu. Pasirinkimas tarpvieno-momento ir kelių režimų siųstuvai-imtuvaiiš esmės yra pasiekiamumo-pagal-išlaidos sprendimas, todėl jis turėtų būti priimtas kiekvienai nuorodų klasei, o ne visai grupei.

Optikos galia dabar yra pirmos eilės{0}}projekto apribojimas, o ne išnaša. NVIDIA darbasefektyviai{0}} dirbtinio intelekto audiniai su Spectrum-X Ethernet fotonikatiesiogiai iliustruoja tendenciją: bendrai supakuota silicio fotonika naudojama-prievado galiai sumažinti ir jungties sklendėms, palyginti su tradicine prijungiamąja optika, būtent todėl, kad siųstuvai-imtuvai yra vieni iš didžiausios-galios ir didžiausio-gedimų-greičio komponentų didelėje grupėje.

5 iššūkis: aklųjų zonų matomumas ir trikčių šalinimas

Problema:be telemetrijos tinklo problema atrodo kaip skaičiavimo problema.Atlikite:stebėti paketų kritimus, ECN žymes, PFC pauzės kadrus, eilių užimtumą, nuorodų klaidas, prievadų naudojimą, srauto paskirstymą, NIC perkrovos skaitiklius, GPU panaudojimą ir užduoties užbaigimo laiką -, tada susiekite audinio metriką su AI užduočių metrika. Tyliai -atrodo jungiklis negarantuoja sveiko mokymo darbo, o užimtas GPU negarantuoja naudingos pažangos.

„RoCEv2“ ir „InfiniBand“, skirta dirbtinio intelekto klasterių tinklui

Tiek RoCEv2/Ethernet, tiek InfiniBand valdo tikrus AI ir HPC grupes; pasirinkimas priklauso nuo masto, komandos įgūdžių, ekosistemos, sąnaudų modelio ir veiklos tikslų. Toliau pateikta lentelė yra redakcinis palyginimas, o ne absoliutus reitingas - teisingas atsakymas yra darbo krūvis- ir organizacija-.

faktorius RoCEv2 / Ethernet InfiniBand
Ekosistema Plačios, kelių tiekėjų, pažįstamos operacijos Stiprus HPC paveldas, brandus didelio našumo{0}}dėklas
Operacijos Pakartotinai naudojami eterneto įgūdžiai, tačiau reikia kruopštaus be nuostolių derinimo Labiau specializuota, skirta-sukurta tvirtai sujungtam HPC
Tiekimo lankstumas Paprastai didesnis pardavėjo pasirinkimas Dažnai labiau integruotas kaminas
Spektaklis Stiprus, kai tinkamai suprojektuotas ir suderintas Žinomas dėl mažo vėlavimo glaudžiai susietose grupėse
Mastelio keitimas Reikia apgalvotos topologijos, perkrovos kontrolės, telemetrijos Puikus pasirinkimas dideliems HPC{0}}stiliaus audiniams
Geriausiai tinka Komandos, norinčios lankstumo Ethernet ir AI{0}}paruošto RoCEv2 dizaino Komandos teikia pirmenybę integruotam, įrodytai glaudžiai sujungtam HPC

Tikrasis klausimas yra ne tai, kuri technologija laimi abstrakčiai. Tai, ar pasirinktas audinys gali užtikrinti nuspėjamą pralaidumą, mažą delsą, mažus nuostolius ir veikimo matomumą tikslinėje GPU mastu.

GPU mastelis prieš tinklo dizainą

64-GPU laboratorijos klasteris ir kelių-tūkstančių GPU gamybos klasteris nėra tas pats projektas su skirtingu prievadų skaičiumi. Mastelis keičia dizainą.

Klasterio skalė Tipiškas dizainas Pirminis dėmesys
Iki ~64 GPU (laboratorija / bandomasis) Vieno-pakopos arba mažas dviejų-pakopų lapų-stuburas, dažnai vienas perjungimo domenas Teisinga RoCEv2 konfigūracija, švarus kabelis, bazinė telemetrija
~128–512 GPU Ne{0}}blokuojantis dviejų-pakopų lapų-stuburas, priekinės dalies ir galinės dalies atskyrimas Per didelis prenumeratos tikslas, dinaminis apkrovos balansavimas, ECN / PFC derinimas
~1 000–4,000+ GPU (gamyba) Kelių-pakopų arba geležinkelių-optimizuotas, duomenų-centras-galinė programa Topologijos{0}}suvokiamas planavimas, 400G/800G, galia ir optikos tankis

Žingsnis-po-Žingsnis AI klasterio tinklo projektavimo sistema

1 veiksmas: apibrėžkite darbo krūvį ir GPU mastelį

Pradėkite nuo darbo krūvio, o ne nuo jungiklio modelio. Išsiaiškinkite GPU skaičių dabar ir kitą ciklą, nesvarbu, ar darbas yra mokymas, tikslus-derinimas, išvados, ar mišrus, numatomus kolektyvinius modelius, kontrolinio taško dydį, saugyklos srauto apimtį ir tai, ar klasteris yra vienas-, ar keli{3}}nuomotojai.

2 veiksmas: atskirkite srauto domenus

Nuspręskite, kas priklauso priekinei sistemai, palyginti su užpakaline: valdymas, saugykla ir kontrolinis taškas, mokymas / RDMA ir srauto stebėjimas. Mažiems diegimams gali pakakti loginio atskyrimo su VLAN ir QoS; didesnėse grupėse fizinį frontend ir backend atskyrimą paprastai yra lengviau valdyti ir pagrįstai.

3 veiksmas: pasirinkite topologiją ir per didelės prenumeratos tikslą

Leaf{0}}spine yra numatytasis keičiamo AI eterneto audinių dydis. Nuspręskite vieną, dvi ar daugiau pakopų; ne-blokavimas, palyginti su pertekline prenumerata; GPU viename stove; NIC vienam serveriui; uplink greitis ir skaičius; stuburo talpa; ir nesėkmės domeno dydis. Užpakalinio mokymo srauto atveju mažesnis perteklinis prenumeratos perka nuspėjamumas -, o jei per daug užsiprenumeruojate, padarykite tai apgalvotu koeficientu, pagrįstu išmatuotu darbo krūvio elgesiu, o ne atsitiktiniu prievadų skaičiavimu.

4 veiksmas: pasirinkite jungiklio greitį ir prievado tankį

Pasirinkite perjungimo platformas pagal reikiamą pralaidumą, topologiją ir augimą - įvertindami 400 G ir 800 G, radix, bendrą talpą, buferio architektūrą, RoCEv2/PFC/ECN/DCQCN palaikymą, telemetriją, galią vienam prievadui ir NOS / automatizavimą. Neįvertinkite vien greičio: greitas jungiklis be tinkamo perkrovos valdymo, buferio ir telemetrijos vis tiek sukels problemų dirbant dirbtinio intelekto sraute.

5 veiksmas: suplanuokite NIC, optiką, DAC/AOC ir kabelius

Audinys yra daugiau nei jungikliai. Suplanuokite NIC greitį vienam GPU, NIC-to-perjungti jungties tipą, DAC trumpoms varinėms jungtims, AOC ir optinius modulius ilgesniam veikimui, vieno-modo optiką atstumui ir šviesolaidžio įrenginį, pataisų išdėstymą, ženklinimą ir prieigą prie paslaugų. Čia svarbu tinkamai prijungti formos faktorių - aQSFP{0}}DD ir OSFP formos{1}}faktorių apžvalgaVerta pažvelgti prieš jungiant jungiklį ir NIC prievadus esant 400G/800G. Kalbant apie kabelius, didelio-tankio jungiklio prievado suskaidymas į serverio nuorodas paprastai reiškiaMPO{0}}į-LC atjungimo kabeliai, o pluošto klasė turi atitikti atstumą - praktinįdaugiamodio pluošto pasiekiamumo ribos (OM1–OM5)nuspręskite, kur vis dar veikia kelių režimų, o kur reikalingas vieno{0}}režimas. Dėl prastos kabelių konstrukcijos techniškai teisinga topologija gali būti apgailėtina.

Susieti klasę Tipiškas atstumas Bendras pasirinkimas
Į-stovo GPU-į-lapą Iki ~3 m DAC (varis)
Gretima{0}}stelažas ~3–7 m AOC arba DAC
Lapas-į-stuburą salėje Dešimtys metrų iki ~100 m Daugiamodė (OM4/OM5) + SR optika arba vieno -režimo
Visose salėse / DC{0}}mastas ~100 m iki 2 km Vieno{0}}modės + 400G/800G siųstuvai-imtuvai

6 veiksmas: sukonfigūruokite be nuostolių transportavimo ir spūsčių kontrolę

Tai yra jautriausia diegimo dalis. Teisingai klasifikuokite RoCEv2 srautą ir susiekite jį su tinkamu prioritetu; įgalinti PFC šiuo prioritetu; nustatyti ECN slenksčius žemiau PFC slenksčio; patvirtinti, kad NIC įgyvendina numatytą DCQCN atsaką; neleiskite nesusijusiam srautui patekti į be nuostolių klasės; ir aiškiai patikrinkite, ar nėra audrų pristabdymo ir linijos blokavimo. PFC traktuokite kaip saugos mechanizmą, o ne kaip kasdienį perpildyto tinklo valdymo būdą.

7 veiksmas: patvirtinkite naudodami telemetriją ir AI-pavyzdžiui, bandomąjį srautą

Prieš paleisdami gamybines užduotis, patikrinkite pralaidumą nuo pabaigos{0}} iki galo, delsos pasiskirstymą, vėlavimą, paketų kritimus, ECN žymėjimo elgseną, PFC pristabdymo dažnį, susiejimo-gedimų atkūrimą, srauto paskirstymą ir GPU užduočių našumą apkraunant. Nepakanka paprasto iperf pralaidumo - patikrinkite ECN žymėjimą, PFC pauzę, eilės gylį ir NCCL{5}}sumažins našumąkartu, nes audinys, kuris išlaiko -to{1}}taško testus, vis tiek gali užspringti nuo sinchroninio kolektyvinio bendravimo.

DUK: AI klasterio tinklas

Klausimas: Ar „RoCEv2“ tikrai gali pakeisti „InfiniBand“ AI mokymui?

A: Daugeliui grupių taip -, kai eterneto tinklas yra tinkamai suprojektuotas ir suderintas. Stambūs operatoriai rengia gamybinius mokymus RoCEv2 foninėse sistemose, o Ultra Ethernet konsorciumas ir tiekėjų platformos, pvz., NVIDIA Spectrum-X, stumia eternetą būtent į AI-masto našumą. Įspėjimas yra tas, kad RoCEv2 reikalauja apgalvotos be nuostolių projektavimo; jis „neveikia“ iš karto taip, kaip gali{7}}pagamintas HPC audinys.

K: Kada man iš tikrųjų reikia 800 G vietoj 400 G?

A: Kai pagal{0}}GPU ir pagal- stovo pralaidumo paklausa išauga daugiau nei 400G nuorodos, nepridedant pakopų, kabelių ir optikos. Įprasti aktyvikliai yra tankūs serveriai su didelės spartos-NIC viename GPU ir didesnės grupės, kuriose kitu atveju atsirastų per didelė prenumerata. Suplanuokite migracijos kelią iš anksto, kad 800G būtų žingsnis, o ne pertvarkymas.

Kl .: Kas atsitiks, jei PFC sukonfigūruotas netinkamai?

Ats.: Prasta PFC konfigūracija gali sukelti pristabdymo audras,{0}}linijos blokavimą-ir spūsties plitimą, kai pristabdžius vieną nuorodą, srautas visame audinyje bus palaikomas. Štai kodėl ECN turėtų nešti didžiąją dalį perkrovos signalizacijos, o PFC retai įsijungtų; kylantys PFC skaitikliai įprastų važiavimų metu yra įspėjamasis ženklas, o ne sėkmės rodiklis.

Kl.: Ar AI klasterio tinklas turi būti fiziškai izoliuotas?

A: Ne visada, bet didesnėms grupėms paprastai naudinga fiziškai atskirti užpakalinę mokymo medžiagą nuo priekinės dalies. Mažesniuose diegimuose dažnai gali būti naudojamas loginis atskyrimas naudojant VLAN ir QoS, su sąlyga, kad saugyklos ir kontrolinių taškų serijos nepatenka į be nuostolių mokymosi klasės.

K: Kaip pasirinkti DAC, AOC ir optinius siųstuvus-imtuvus?

A: Pagal atstumą ir galią. DAC tinka trumpoms-stelažo varinėms jungtims; AOC apima šiek tiek ilgesnius, lanksčius važiavimus; ir optiniai siųstuvai-imtuvai su daugiamodžiais arba vienmodžiais -modais pluošto rankenos-į-stuburo ir kryžminiais{5}}atstumais. Pritaikykite pluošto rūšį, kad pasiektumėte, ir pasverkite optikos galią, nes siųstuvai-imtuvai sudaro didelę audinio galios ir gedimų dažnio dalį.

Kl.: Ar mažoms GPU klasteriams reikalingas visiškas be nuostolių audinys?

A. Jiems vis tiek reikia tinkamos RoCEv2 konfigūracijos - klasifikacijos, PFC turi būti nustatytas tinkamas prioritetas, o ECN žemiau PFC -, tačiau nedidelis vieno-domeno klasteris dažnai gali praleisti kelių-pakopų topologiją ir sunkų prenumeratos planavimą, kurio reikia dideliems audiniams. Elgesys be nuostolių nėra neprivalomas; sudėtingumas yra-mažesnis.

Išvada ir kitas žingsnis

AI klasterio tinklas nusprendžia, ar GPU veikia kaip viena koordinuota sistema, ar nenaudojami laukia duomenų. Tvirtas dizainas apjungia didelį pralaidumą, nuspėjamą delsą, RoCEv2 perdavimą be nuostolių, keičiamo dydžio lapų{2}stuburo topologiją, tinkamą optiką ir kabelius bei pakankamai gilią telemetriją, kad audinio ir darbo būklė būtų koreliuojama. Maži klasteriai veda su švaria topologija ir teisinga RoCEv2 konfigūracija; didelėse grupėse taip pat turi būti atsižvelgiama į priekinės ir užpakalinės sistemos atskyrimą, perkrovos{5}}apkrovos balansavimą, 400G/800G perkėlimą, energijos tankį ir telemetrija{8}}pagrįstas operacijas.

Kitas geriausias žingsnis yra pirmiausia sutvarkyti įvestis: GPU mastelį, darbo krūvio modelį, stovo dizainą ir srauto domenus. Tada pasirinkite atitinkančius jungiklius, NIC, optiką ir be nuostolių Ethernet konfigūraciją. Jei lygiagrečiai vertinate GPU audinio optinę ir struktūrinę{2}}laidų pusę, mūsųduomenų centro šviesolaidžio ir kabelių sprendimaigali padėti suderinti magistralinio, pertraukos ir siųstuvo-imtuvo pasirinkimus su jūsų topologija ir nuorodų atstumais. Dirbtinio intelekto infrastruktūroje tinkamas tinklas yra ne tik greitesnis -, bet ir labiau nuspėjamas, labiau pastebimas ir lengviau keičiamas.

 

Siųsti užklausą