AI klasterio tinklo dizainas: Spine{0}}Leaf, RoCE ir NIC

AI klasterio tinklo projektavimas – tai GPU serverio NIC dydžio, lapų{0}}stuburo pralaidumo, perteklinio prenumeratos koeficiento, RoCE nustatymų, optikos ir kabelių nustatymo procesas, todėl paskirstytas treniruočių srautas išlieka nuspėjamas didėjant klasterio masteliui. Supraskite bet kurį iš šių klaidų ir tinklas -, o ne GPU - taps kliūtimi.

Kodėl AI klasterio tinklas skiriasi

Tradiciniame įmonės duomenų centre tinklas tvarko šiaurės{0}}pietų naudotojų srautą, prieigą prie saugyklos, virtualizavimą ir valdymą. Rytų-Vakarų eismas egzistuoja, tačiau retai kada dominuoja. AI klasteryje situacija apsiverčia. GPU serveriai, kuriuose veikia paskirstytas mokymas, keičiasi gradientais ir sinchronizuoja parametrus kiekviename darbo etape. Šis bendravimas yra skaičiavimo dalis, o ne šalutinis jo poveikis.

Jei 30 000 USD vertės GPU praleidžia 30 % savo laiko laukdamas tinkle per visas-sumažinimo operacijas, klasteris veiksmingai sumoka už 30 % skaičiavimo pajėgumų, kad jis neveiktų. Tai yra ekonominė priežastis, dėl kurios dirbtinio intelekto tinklams skiriama tiek daug dėmesio.

Trys darbo krūvio charakteristikos lemia dizainą:

• Intensyvus rytų{0}}vakarų eismas.Kolektyvinės komunikacijos operacijos, pvz., visi{0}}sumažina, visi-surenka ir mažina-sklaidą, sukuria sinchronizuotus serijas daugelyje mazgų vienu metu.
• Uodegos{0}}latencijos jautrumas.Vienas lėtas mazgas atitolina visą mokymo žingsnį. Nuspėjamas delsos laikas yra svarbesnis už vidutinį delsą.
• Sumažinkite{0}}augimą.Klasteriai, kurie prasideda nuo 32 GPU, dažnai išauga iki 256 arba 1024 per 18 mėnesių. Audinys turi mastelėti be perdarymo.

Kodėl Spine{0}}Leaf tinka dirbtinio intelekto klasteriams

Spine{0}}leaf yra standartinis hiperskalinių duomenų centrų audinys, nes kiekvienam serveriui-į-suteikia tokį patį perėjimų skaičių ir tą patį teorinį pralaidumą. Dirbant dirbtinio intelekto darbo krūviams šis vienodumas tiesiogiai paverčia labiau nuspėjamą mokymo žingsnių laiką.

Stuburo{0}}lapų topologijoje GPU serveriai jungiasi prie lapų jungiklių, o kiekvienas lapas jungiasi prie kiekvieno stuburo. Bet koks GPU-to{3}}GPU ryšys kerta tiksliai vieną lapą, vieną stuburą ir dar vieną lapą. Nėra agregavimo sluoksnių, įvedančių kintamą delsą arba droselio taškus.

Nuspėjamas delsos laikas

Vienodos-kainos kelių-kelių (ECMP) maršruto parinkimas paskirsto srautus per pagrindinius jungiklius. Tinkamai sukonfigūravus adaptyvųjį maršruto parinkimą arba dinaminį apkrovos balansavimą, tai apsaugo nuo maišos susidūrimų, dėl kurių kai kurie srautai yra daug lėtesni nei kiti - žinoma problema statiniuose ECMP audiniuose, kuriuose srautai yra nedideli, bet dideli, o tai yra būtent tai, ką sukuria AI mokymas.

Didelis bisekcijos dažnių juostos plotis

Bisection pralaidumas yra pralaidumas tarp bet kurių dviejų lygių klasterio pusių. Dirbtinio intelekto mokymas yra naudingas dėl ne-blokuojančių arba beveik -neblokuojančių-konstrukcijų, kai iš lapo-su{5}}supainiojamojo ryšio pajėgumas yra lygus arba beveik lygus serverių nukreipto žemyn nukreipto ryšio pajėgumui. IETF apibrėžia ir aptaria šias sąvokasRFC 7938, kuri apima BGP{0}}nukreiptus Clos audinius, plačiai naudojamus-didelės apimties duomenų centruose.

Lengvesnis mastelis{0}}

Pridėkite daugiau lapų, kad pridėtumėte daugiau serverių. Pridėkite daugiau spygliuočių, kad padidintumėte pusiausvyros pralaidumą. Klasteriuose, kuriuose yra daugiau nei keli tūkstančiai GPU, super-spine (5-pakopos Clos) arba bėgiams optimizuota topologija išplečia tą patį principą dar vienu sluoksniu.

Pagrindiniai AI klasterio tinklo komponentai

GPU serveriai ir NIC

NIC yra vieta, kur audinys susitinka su šeimininku. Dirbtinio intelekto grupėse NIC parinkimas lemia viską pasroviui - jungiklio prievado greitį, optikos pasirinkimą ir kabelių tankį.

AI darbo krūvių atrankos kriterijai:

• Uosto greitis:200G, 400G arba 800G vienam prievadui. Atitinka GPU generavimą ir PCIe pralaidumą.
• PCIe karta:400G NIC reikia PCIe Gen5 x16, kad būtų išvengta prieglobos-pusės droselio. PCIe Gen4 x16 dangteliai ~ 256 Gbps.
• RDMA ir RoCEv2 palaikymas:Reikalingas branduolio{0}}apeiti GPU ryšio bibliotekas, pvz., NCCL.
• GPUDirect RDMA:Leidžia tiesiogiai GPU-į-NIC DMA, pašalinant pagrindinio kompiuterio atminties kopijas.
• Kelių{0}}bėgelių galimybė:Daugelis AI serverių naudoja 4 arba 8 NIC viename mazge, po vieną GPU porai, optimizuotoms topologijoms.

Įprastas 8 GPU serveris šiandien naudoja 4 × 400 G NIC (po vieną dviem GPU) arba 8 × 400 G NIC (po vieną kiekvienam GPU), priklausomai nuo darbo krūvio ir biudžeto. Nuorodų architektūros išNVIDIA tinklo dokumentacijaišsamiai aptarkite dizaino kompromisus.

Lapų ir stuburo jungikliai

AI audinių jungiklių pasirinkimo kriterijai skiriasi nuo įmonės pasirinkimo. Buferio dydis, perkrovos valdymo elgsena ir telemetrija yra svarbesni nei funkcijos plotis.

• Pagal-prievado greitį ir radiksą:51,2 Tbps jungiklis ASIC suteikia 64 × 800 G arba 128 × 400 G prievadus. Radix nustato, koks plokščias gali būti audinys.
• Buferio architektūra:Gilūs buferiai sugeria intarpus, bet padidina delsą. Sekli buferiai sumažina delsą, tačiau reikalauja tikslios perkrovos kontrolės.
• RoCE funkcijų rinkinys:ECN žymėjimas, PFC, DCQCN arba lygiavertis perkrovos valdymas ir tinkamas prioritetinių eilių tvarkymas nuo pabaigos{0}}iki-pabaigos.
• Telemetrija:Inband tinklo telemetrija (INT), per{0}}eilės gylio ataskaitų teikimas ir mikrosekundžių-raiškos skaitikliai ECN žymėms ir PFC pauzėms.

Optika, DAC ir AOC kabeliai

Esant 400 G ir 800 G, kabelių įrengimas tampa tikra inžinerijos problema. Formos veiksnius, nuorodų biudžetus ir pertraukų konfigūracijas reikia planuoti iš anksto.

• DAC (tiesiogiai pritvirtinamas varis):Iki ~3 metrų 400G, mažiausia kaina ir mažiausia galia. Sunkūs ir dideli pagal mastą.
• AOC (aktyvus optinis kabelis):Iki ~30 metrų, plonesnis nei DAC, bet fiksuoto-ilgio ir naudoja abiejuose galuose optinę energiją.
• Prijungiama optika:Reikalingas už AOC atstumo. QSFP-DD ir OSFP formos faktoriai dominuoja 400G/800G. MPO / MTP skaidulų rinkiniai tvarko lygiagrečias{5}}pluošto jungtis.

Inter-rack jungtims ir struktūriniams 400G / 800G kabeliams lygiagreti optika per MPO galus dabar yra standartinė. Pasirinkimas tarp magistralinių kabelių ir atjungimo mazgų priklauso nuo jūsų jungiklio prievado paskirstymo - žr. mūsųMPO nutraukimo kabelio vadovasdėl praktinės atrankos logikos ir platesnėsMPO kamieno ir išsiveržimo palyginimasplanuodami bėgimą nuo lapų-į-nuo stuburo.

RoCE ir Lossless Ethernet AI audiniuose

RoCEv2 (RDMA per Converged Ethernet v2) yra dominuojantis eterneto perdavimas dirbtinio intelekto apkrovoms. Tai leidžia NIC tiesiogiai perkelti duomenis tarp GPU atminties regionų, nedalyvaujant branduoliui abiejuose galuose. NCCL, GPU komunikacijos biblioteka, kuri yra beveik visų paskirstytų mokymo sistemų pagrindas, naudoja RoCEv2, kai „InfiniBand“ nėra.

RoCE veikia gerai, kai sukonfigūruotas teisingai. Neteisingai sukonfigūruotas jis sugenda. The„InfiniBand“ prekybos asociacijaskelbia RoCE specifikacijas, o dauguma NIC ir jungiklių pardavėjų skelbia išsamius konfigūracijos vadovus, kurių reikia laikytis nuo - iki- pabaigos.

Kodėl be nuostolių yra svarbus elgesys

RDMA buvo sukurta darant prielaidą, kad transportavimas yra be nuostolių. Kai sumažėja paketų, RDMA atkūrimas yra brangus - go-back-N pakartotinis siuntimas gali sustabdyti mokymo žingsnį milisekundėms, o tai yra milžiniška, palyginti su mikrosekundžių-skaldymo RDMA biudžetu.

Kad būtų galima apytiksliai nustatyti be nuostolių Ethernet, audinys naudoja du kartu veikiančius mechanizmus:

• PFC (prioritetinis srauto valdymas, IEEE 802.1Qbb):Jungiklis pristabdo įeinantį srautą konkrečioje prioritetinėje eilėje, kai jo buferis užpildomas. Tai paskutinis-priežiūros mechanizmas.
• ECN (aiškus pranešimas apie perkrovą, RFC 3168):Perjungia žymėjimo paketus, kai eilės artėja prie slenksčio. NIC sumažina siuntimo greitį, kol buferiai iš tikrųjų nepasipildo, idealiu atveju visiškai išvengiant PFC.

Tikslas yra, kad ECN atliktų beveik visą perkrovos valdymą, naudojant PFC kaip apsaugos tinklą. Jei matote dažnas PFC pauzes esant pastoviai -būsenai srautui, jūsų ECN slenksčiai yra neteisingi arba jūsų audinys yra per mažo dydžio.

Dažni RoCE diegimo gedimai

Kaip sukurti AI klasterio tinklą: darbo sistema

Tai yra dalis, kurią praleidžia dauguma „AI tinklų“ straipsnių. Toliau pateikiami septyni veiksmai kiekviename etape pateikiami konkretūs įvesties ir išvesties duomenys.

1 veiksmas: apibrėžkite darbo krūvį ir mastą

Įėjimai:Darbo krūvio tipas (išankstinis mokymas, tikslus{0}}derinimas, išvados, mišrus), tikslinis GPU skaičius šiandien, tikslinis GPU skaičius po 18 mėnesių, modelio dydžio diapazonas.

Išvestis:Darbo krūvio profilis, informuojantis NIC greitį ir per didelės prenumeratos toleranciją. Dideliam pasienio modelių paruošimui reikia ne{1}}blokuoti 400 G+ audinių. Tikslus-darbo krūvis gali toleruoti 2:1 perteklinį prenumeratą. Išvadų klasteriams dažnai reikia mažesnio pralaidumo, bet mažesnio uodegos delsos.

2 veiksmas: pasirinkite NIC greitį ir skaičių kiekvienam serveriui

Sprendimo logika:

• Didelių modelių, 8 GPU serverių paruošimas → 4–8 × 400 G NIC vienam serveriui arba 4 × 800 G
• Vidutinio masto-mokymas, 8 GPU serveriai → 2–4 × 400 G NIC vienam serveriui
• Išvadų aptarnavimas → 1–2 × 200 G arba 400 G NIC vienam serveriui, atsižvelgiant į modelio lygiagretumą

Patikrinkite PCIe pralaidumą pagrindiniame kompiuteryje. Vienam 400G prievadui reikalingas PCIe Gen5 x16, kad jis veiktų linijos greičiu; norint padvigubinti iki 800 G, reikia Gen6 arba padalinti į du lizdus.

3 veiksmas: nustatykite lapų sluoksnio dydį

Veiktas pavyzdys - 32-mazgų klasteris, 8 GPU viename mazge, 4 × 400 G NIC viename mazge:

• Iš viso reikia serverio -prievadų: 32 × 4=128 prievadų esant 400 G
• Žemyninės nuorodos pralaidumas mazge: 4 × 400=1.6 Tbps
• Bendras klasterio nukreipimo pralaidumas: 32 × 1.6=51.2 Tbps

Naudojant 64 prievadų 400G lapų jungiklį (bendra talpa 25,6 Tbps), kiekvienas lapas gali prijungti 32 serverio prievadus, o likusius 32 prievadus naudoti kaip uplink. 4 lapeliais uždengiate visus 128 serverio prievadus. Kiekvienas lapas į stuburą nukreipia 32 × 400 G=12.8 Tbps aukštyn.

4 veiksmas: nustatykite stuburo sluoksnio dydį

Naudojant ne{0}}blokuojančią (1:1) dizainą, bendras aukštyn nukreiptos nuorodos pajėgumas turi būti lygus bendrai žemyn nukreipto ryšio talpai. Nuo 3 veiksmo:

• Iš viso reikalingas lapų nukreipimas: 4 lapai × 12,8 Tbps=51.2 Tbps
• Jei kiekvienas stuburas turi 32 × 400 G prievadus=12.8 Tbps, jums reikia 4 stuburų
• Kiekvienas lapas jungiasi prie visų 4 spygliuočių, naudojant 8 aukštyn stuburą (8 × 400 G × 4=12.8 Tb/s lape - atitinka)

Jei naudojate 64 prievadų 400G stuburinius jungiklius, kiekvienas stuburas turi laisvos talpos klasteriui auginti, o tai naudinga 18 mėnesių planui nuo 1 veiksmo.

5 veiksmas: nustatykite perviršio santykį

6 veiksmas: atskirkite skaičiavimo, saugojimo ir valdymo srautą

Trys variantai, didinant izoliaciją:

• Bendras audinys su QoS klasėmis:Apskaičiuokite, saugokite ir valdykite atskirus DSCP prioritetus. Mažiausia kaina; reikalauja kruopštaus QoS konfigūravimo.
• Logiškai atskirti VLAN / VRF:Ta pati aparatūra, atskiros valdymo plokštumos. Naudinga kelių-nuomotojų grupėms.
• Fiziškai atskirti audiniai:Specialūs NIC, jungikliai ir kabeliai, skirti skaičiavimui ir saugojimui. Didžiausia kaina; paplitęs pasienio-modelių grupėse, kuriose bet koks ginčas yra nepriimtinas.

DI saugyklos srautas pats savaime yra sunkus - didelio modelio kontrolinis taškas gali perkelti šimtus gigabaitų trumpomis serijomis. Suplanuokite tai aiškiai. Didelio-tankio struktūrinio kabelių įrengimo įrenginysMPO/MTP magistraliniai kabeliaisupaprastina lygiagrečių audinių paleidimą toje pačioje fizinėje infrastruktūroje.

7 veiksmas: patvirtinkite prieš gamindami

Tinklo{0}}lygio bandymai nustato tam tikras problemas. Darbo krūvio-lygio testai sulaiko likusius.

• Pralaidumas:iperf3 arba ib_send_bw tarp kiekvienos mazgų poros; turėtų pasiekti 90%+ NIC linijos tarifo.
• Vėlavimas:ib_read_lat ar panašiai; patikrinkite pasiskirstymą, o ne tik vidutinį. P99.9 svarbesnis nei vidutinis.
• Paketo praradimas:Atlikite 24-valandų mirkymo testą esant apkrovai; bet koks nenulinis nuostolis RoCE eismo klasėje yra problema.
• ECN žymėjimo elgsena:Patikrinkite, ar prieš PFC užsidega žymės; jei pastovios būsenos PFC pauzės yra dažnos, sureguliuokite.
• Kolektyvinis bendravimas:Vykdykite NCCL testus (all_reduce_perf, all_gather_perf) visu klasterio dydžiu. Palyginkite su pardavėjo nuorodų numeriais.
• Darbo{0}}lygio testas:Vykdykite reprezentatyvų mokymo darbą 4–6 valandas. Žiūrėti GPU panaudojimo - nuolatinės vertės, mažesnės nei 50 % tinkamo-dydžio modelyje, paprastai rodo tinklo problemą.

Tradicinis duomenų centrų tinklas ir dirbtinio intelekto stuburo{0}}lapų audinys

Ethernet RoCE vs InfiniBand: greito sprendimo vadovas

Šis klausimas iškyla beveik kiekviename AI klasterio projekte. Abu veikia. Pasirinkimas paprastai priklauso nuo tinkamumo naudoti, o ne nuo gryno veikimo.

• Pasirinkite InfiniBand, jei:Jūsų komanda jau eksploatuoja „InfiniBand“ audinius, norite paprasčiausio kelio į be nuostolių transportavimą arba perkate visiškai{0}}integruotą tiekėjo orientacinę architektūrą.
• Pasirinkite Ethernet RoCE, jei:Jūsų operacijų komanda yra eterneto{0}}vietinė, jums reikia kelių-tiekėjų perjungimo parinkčių, turite integruoti dirbtinio intelekto audinį su esamais duomenų centrų tinklais arba tikimasi, kad mastelis bus didesnis nei dabartinės „InfiniBand“ topologijos.

2023 m. įkurtas „Ultra Ethernet“ konsorciumas aktyviai dirba standartizuodamas Ethernet patobulinimus, skirtus specialiai dirbtinio intelekto darbo krūviams. Daugumoje naujų 2026 m. grupių „Ethernet RoCE“ yra pagrįstas numatytasis nustatymas, nebent yra konkreti priežastis pasirinkti kitaip.

Dažnos klaidos, kurių reikia vengti

Komutatorių atnaujinimas netikrinant NIC

800 G jungiklio audinys jums nieko nepadės, jei jūsų NIC veikia 400 G arba jūsų pagrindinio kompiuterio PCIe pritrūksta pralaidumo. Pirmiausia suprojektuokite pagrindinio kompiuterio pusę, tada jungiklio pusę. PCIe Gen5 x16 riboja vieną prievadą iki maždaug 504 Gbps realaus-pasaulio pralaidumo - patogus 400G, ribinis 800G.

Prievado greičio optimizavimas, bet kabelių tankio nepaisymas

Esant 64- 400G prievadui, kabeliai po kiekvienu jungikliu gali tapti fiziškai nevaldomi be planavimo. Jei reikia, naudokite pertraukiamuosius kabelius, nukreipkite pluoštus struktūriškais keliais ir standartizuokite jungčių tipus. Didelės spartos jungties kokybė ir užbaigimas yra svarbūs – mūsųšviesolaidinių jungčių tipų vadovasapima kompromisus tarp LC, MPO ir atsirandančių didelio{0}}tankio formų faktorių.

„RoCE“ traktavimas kaip „Plug{0}}and-Play“.

Didžiausia projektavimo klaida tikrose AI klasteriuose yra netinkamo jungiklio pasirinkimas - tai nepakankamas įvertinimas, kiek reikia atlikti RoCE konfigūravimo darbus nuo pabaigos{1}} iki pabaigos. Biudžeto laikas ECN slenksčiams, PFC prioritetams ir MTU nuoseklumui derinti. Prieš pradedant bet kokį gamybos krūvį, suplanuokite tam skirtą patvirtinimo etapą.

Viso srauto maišymas viename audinyje be QoS

Saugyklos replikacija, stebėjimo agentai ir valdymo srautas gali sutrumpinti mokymo žingsnių laiką, jei jie bendrina buferius su skaičiavimo srautu. Atskirkite jas fiziškai arba vykdykite griežtas QoS klases su atskirais prioritetais ir ECN konfigūracija.

Pastatas tik šiandieniniam klasteriui

Dauguma AI grupių per dvejus metus nuo pradinio diegimo išauga 4–8 kartus. Pasirinkite jungiklio radiksą ir stuburo talpą, kuri leistų ne-trukdomai plėstis. Ištraukti kabelius veikiančiame AI duomenų centre yra brangu; planuoti kanalų ir pataisų pajėgumus diegimo metu yra pigu.

Kada padidinti nuo 400 G iki 800 G

Galimi 800G NIC ir jungikliai, tačiau jie yra brangesni už kiekvieną prievadą. Apsvarstykite galimybę paspartinti, kai:

• Vienam-GPU pralaidumo poreikiai viršija 400G, - pvz., H100 ir naujesni GPU su NVLink 5 tikisi didesnio išorinio pralaidumo
• NCCL visi{0}}sumažinti laiką prastai sumažina klasterio dydį, o tai rodo tinklo prisotinimą
• 400 G kabelių tankis tampa fiziškai nevaldomas - mažiau 800 G prievadų gali pakeisti daugiau 400 G prievadų
• Tikimasi, kad kitai jūsų plano GPU kartai jo reikės per klasterio nusidėvėjimo langą
• Kuriate pasienio{0}}modelių mokymo grupę, kurioje bet koks skaičiavimo neveikimo laikas kainuoja daug daugiau nei optikos atnaujinimas

Daugumoje gamybos grupių 2026 m. 400G išlieka tinkamas sąnaudų, ekosistemos brandumo ir pajėgumų balansas. 800G yra prasminga aukščiausioje klasėje ir kaip išankstinė investicija į šiandien statomas grupes, kurios, kaip tikimasi, veiks 4–5 metus.

Išvada

Stipriausias AI klasterio tinklas nėra tas, kurio jungikliai yra greičiausi. Tai yra tas, kuriame NIC pasirinkimas, lapų / stuburo dydžio nustatymas, perteklius, RoCE konfigūracija, eismo atskyrimas ir fizinis kabelis palaiko vienas kitą ir darbo krūvį, dėl kurio jie buvo pasirinkti.

Pradėkite nuo darbo krūvio ir 18-mėnesių augimo plano. Apskaičiuokite pralaidumo poreikius kiekviename sluoksnyje naudodami realius skaičius, o ne tik nykščio taisykles. Sukonfigūruokite RoCE pabaigą-į-pabaigą ir patvirtinkite naudodami tikrus kolektyvinio bendravimo etalonus. Kabelių įrengimo biudžetas – esant 400G ir 800G, fizinis sluoksnis nebėra trivialus.

Į visus šiuos sluoksnius buvo atkreiptas dėmesys į klasterį, kurio GPU išnaudojimas 95 % ir didesnis kiekviename mokymo etape. Klasteris, kuris pristatomas su greitesniu jungikliu ir lėtesniu audiniu, daugelį metų aiškins, kodėl GPU neveikia.

Tolesnis skaitymas

• RFC 7938 - BGP didelio-masto duomenų centruose
• InfiniBand Trade Association - RoCE specifikacijos
• NVIDIA tinklo dokumentacija
• Šviesolaidinio kabelio montavimo vadovas
• Įterpimo praradimas prieš grąžinimo praradimą