InfiniBand vs RoCE, skirta AI išvadų tinklams

PasirinkiteInfiniBandkai jūsų išvadinis darbo krūvis išlieka arba miršta pagal nuspėjamą uodegos delsą, ir pasirinkiteRoCE(RDMA per Converged Ethernet), kai norite RDMA{0}}klasės našumo eterneto tinkle, galite keisti, bendrinti ir dirbti su jau turima komanda. Nei vienas variantas laimi ne visur. Tinkamas skambutis priklauso nuo jūsų išvadų modelio, jūsų p99 ir p999 delsos tikslų, GPU masto, biudžeto ir nuo to, kiek jūsų komandoje iš tikrųjų yra be nuostolių{5}}Ethernet derinimo patirties.

Kodėl tinklas yra svarbesnis, nei tikisi komandos

Daugelį metų išvados buvo traktuojamos kaip lengviausia GPU istorijos pusė: modelis įkeltas į vieną mazgą, užklausos teikiamos atskirai, labai mažas rytų-vakarų srautas. Dabar ši nuotrauka pasenusi. Šiuolaikinės išvados vis labiau platinamos, o keli raštai daro tikrą spaudimą audiniui.

• Tenzorinis lygiagretumaspadalija vieną sluoksnį tarp GPU, todėl kiekvienas prieigos rakto veiksmas suaktyvina visas-sumažinimo arba visų-surinkimo operacijas tarp jų. Tai dažnas, delsos -jautri, kryžminis-GPU srautas, kurį GPU blokuoja laukdami.
• Dujotiekio lygiagretumasrankų aktyvinimas iš vieno etapo į kitą, dažnai per mazgus, pridedant kryžminę{0}}mazgų priklausomybę prie kiekvieno perdavimo.
• Išskaidytas išankstinis užpildymas ir dekodavimasatskiria skaičiavimo-sunkų išankstinio užpildymo fazę nuo delsos-jautrios dekodavimo fazės, tada perkelia KV talpyklą tarp jų. Tie perkėlimai yra dideli ir intensyvūs, o bet koks delsimas tiesiogiai parodomas kaip lėtesnis laikas-iki-pirmojo-žetono ir tarp-žetonų delsos.
• Atkūrimo{0}}papildytos kartos (RAG)prideda rytų{0}}vakarų srautą į vektorines ir paieškos paslaugas. Paprastai tai yra mažesnė uždelsimo{2}}kritinė reikšmė nei kolektyvinės operacijos, tačiau ji vis tiek apkrauna audinį, ypač esant dideliam užklausų kiekiui.
• Kelių{0}}nuomotojų aptarnavimasdaug modelių ir naudotojų pritaiko prie to paties audinio, o mikro sprogimai ir triukšmingi{0}} kaimynų efektai tampa dominuojančia rizika.

Kai tinklas yra kliūtis, simptomai yra brangūs: ilgesnis-pirmojo-žetono-laikas, GPU užstringa, kol laukia duomenų, pralaidumas sutrinka po serijų ir nestabilus p95 ir p99. Ir štai ta dalis, kuri pakerta etalonus: vidutinė delsa visa tai paslepia. Gamybos išvada vertinama pagal uodegą, o ne pagal vidurkį.

InfiniBand vs RoCE: AI išvadų suvestinė

Kas yra InfiniBand?

„InfiniBand“ yra tam tikslui{0}}sukurtas tinklo audinys, nuo pat pradžių sukurtas mažam delsimui, dideliam pralaidumui ir nenutrūkstamam ryšiui. Tai nėra greitesnis eterneto skonis. Jame yra atskiri pagrindinio kanalo adapteriai, jungikliai, potinklio tvarkyklė, kabelių ekosistema ir perkrovos{3}}valdymo modelis. Jo esminė vertė yra deterministinis elgesys: daugelis GPU gali susisiekti su griežtais laiko reikalavimais, o audinys veikia nuosekliai, net kai kolektyvinis srautas yra didelis.

Šiuolaikinės dirbtiniu intelektu{0}}orientuotos „InfiniBand“ platformos išplečia šią bazę su galimybėmis, skirtomis dideliems GPU klasteriams. Pavyzdžiui, pridedama NVIDIA „Quantum InfiniBand“ linijaadaptyvus maršruto parinkimas,{0}}tinklo skaičiavimas ir telemetrija{1}}pagrįstas perkrovos valdymas, kurios padeda audiniui protingai paskirstyti srautą ir atskirti vieno nuomininko krovinį nuo kito. Kad būtų galima daryti išvadą, „InfiniBand“ užsitarnauja savo vietą, kai darbo krūvis negali toleruoti drebėjimo arba kai keli GPU mazgai turi greitai ir nuosekliai keistis duomenimis.

Kompromisai- yra kaina, ekosistemų koncentracija ir veiklos specializacija. Specialus „InfiniBand“ audinys reiškia tam skirtus jungiklius, adapterius, kabelius ar optinius modulius ir inžinierius, kuriems patogu valdyti „InfiniBand“ audinį. Organizacijai, kuri jau valdo didelius eterneto įrenginius, atskiro audinio pritvirtinimas padidina pirkimo sudėtingumą, atsarginių-dalių planavimą ir stebėjimo išlaidas.

Kas yra RoCE (RDMA per Converged Ethernet)?

„RoCE“ perkelia RDMA, tiesioginės atminties-į-atminties duomenų judėjimą su mažu procesoriaus krūviu, Ethernet tinkluose. RoCEv2, versija, naudojama šiuolaikiniuose duomenų centruose, yra nukreipiama per Layer 3 IP tinklus ir buvo standartizuota„InfiniBand“ prekybos asociacija. Dėl šio maršrutizavimo RoCE natūraliai įsilieja į eterneto lapų{1}}stuburo dizainą, pakartotinai naudojant pažįstamus NIC, jungiklius, optiką ir stebėjimo įrankius.

Bėda ta, kad RDMA perdavimas veikia beveik{0}}be nuostolių. Atmeskite paketą ir transportavimas vėl persiųs, o tai sumažina uodegos delsą. Taigi RoCE reikia, kad po juo esantis eternetas veiktų kaip neprarandantis audinys, ir tai priklauso nuo kruopštaus dviejų mechanizmų konfigūravimo:Prioriteto srauto valdymas (IEEE 802.1Qbb), kuri pristabdo vieną eismo klasę, kad išvengtų kritimų, irAiškus pranešimas apie perkrovą (ECN), kuris anksti praneša apie spūstis, todėl siuntėjai sulėtėja prieš perpildant buferius. Prie to pridėjus eilių valdymą, buferio paskirstymą ir QoS susiejimą, paaiškės, kad didelio našumo{1}}RoCE nėra įprastas eternetas.

Atliktas gerai, RoCE užtikrina pakankamai delsos ir pralaidumo įvairioms gamybos išvadų paslaugoms, o daugelis išvadų darbo krūvių yra mažiau sinchronizuojami nei paskirstytas mokymas, o tai naudinga RoCE. Prastai atliktas, dėl to prarandami paketai, užblokuojama linija, plinta perkrova ir nestabili uodega, o visa tai tiesiogiai lemia pablogėjusią paslaugų kokybę.

„InfiniBand vs RoCE“ delsa: kas geriau daro p99 išvadas?

Abi medžiagos gali užtikrinti didelį{0}}pralaidumą ir mažą{1}}delsą. Jie skiriasi tuo, kaip jie ten patenka. „InfiniBand“ yra deterministinė pagal konstrukciją, todėl drebėjimas išlieka mažas net esant mišriai apkrovai. RoCE tinka daugeliui darbo krūvių, tačiau rezultatas priklauso nuo eterneto audinio ir nuo to, kaip gerai jis suderintas.

Diegimo požiūriu tikroji gamybos problema retai būna didžiausias pralaidumas. Mišrus, intensyvus, kelių nuomininkų srautas yra drebantis. RoCE audinys, kuris atlieka švarų, iperf-stiliaus pralaidumo testą, vis tiek gali nepataikyti savo p99 tikslo, kai į vaizdą pateks mikro sprogimai ir ginčai. Šis atotrūkis tarp laboratorijos etalono ir gamybos SLA yra ta vieta, kur daugiausiai netikėtumų.

„InfiniBand“ paprastai turi pranašumą, kai:

• Paslauga turi griežtus p99 arba p999 delsos tikslus.
• Išvada apima kelis GPU mazgus su tenzoriniu arba konvejeriniu lygiagretumu arba naudoja išskaidytą išankstinį užpildymą ir dekodavimą.
• GPU naudojimas yra labai jautrus tinklo vėlavimui, todėl kioskai yra brangūs.
• Klasteris atlieka keletą didelio{0}}prioritetinių darbo krūvių, kai nuspėjamumas nusveria lankstumą.

RoCE paprastai yra pakankamai geras, kai:

• Prašymai dažniausiai yra nepriklausomi arba susiejimas yra laisvas.
• Darbas vyksta mazge arba nedideliame mazgų skaičiuje.
• Paketinis pralaidumas yra svarbesnis nei itin{0}}maža uodegos delsa.
• Komanda jau naudoja eternetą, o sąnaudų ar pardavėjo lankstumas yra prioritetas.
• Klasteris palaiko kelis nuomininkus arba mišrius darbo krūvius.

„RoCE“ ir „InfiniBand“ kaina: kas iš tikrųjų lemia TCO?

RoCE dažnai vadinamas pigesniu variantu, tačiau jungiklio kaina yra nedidelė nuotraukos dalis. Realus palyginimas apima visą krūvą: tinklo adapterius arba HCA, jungiklius, optinius modulius, DAC, AOC ir šviesolaidžio kabelius, stovo topologiją, maitinimą ir aušinimą, tinklo operacinę sistemą, stebėjimą ir telemetriją, inžinerijos laiką, atsargines dalis, pardavėjo palaikymą ir kelią į 400G arba 800G.

„InfiniBand“ paprastai kainuoja didesnes išankstines išlaidas, nes jai reikalingas specialus audinys ir specializuoti komponentai. Aplinkose, kur deterministinis elgesys yra svarbiausias prioritetas, tai gali sumažinti derinimo ir trikčių šalinimo pastangas, kurių reikia be nuostolių Ethernet tinklui. RoCE sumažina aparatūros sąnaudas, kai esamą eternetą su tinkamu duomenų centro tilto palaikymu galima naudoti pakartotinai, tačiau pastangos perkeliamos kuriant, tikrinant, stebint ir šalinant triktis be nuostolių. Nebrangus-RoCE dizainas greitai pabrangsta, jei dėl jo atsiranda nestabili delsa ir pasikartojantys gaisro gesinimo darbai.

Didėjant greičiui, išlaidos ir rizika susitelkia fiziniame lygmenyje. 400G ir 800G optika dominuoja tiek sąskaitoje, tiek gedimo režimuose. Dauguma greitųjų-prievadų nusileidžiaQSFP-DD arba panašius formos veiksnius, ir atitinkantis dešinęvieno-režimo arba kelių režimų optikajūsų faktinis pasiekiamumas yra vienas iš paprasčiausių būdų, kaip išvengti per didelių išlaidų pirkdami audinį, kuriam nereikia ilgo{0}}atstumo modulių.

Atvirai kalbant: RoCE nėra pigesnis pasirinkimas, jei jūsų komandai trūksta be nuostolių{0}}Ethernet patirties. Sutaupytas techninės įrangos kiekis gali būti greitai suvalgytas dėl inžinerinių išlaidų, reikalingų audinio stabilumui išlaikyti.

Mastelio keitimas ir operacijos

Mastelio keitimas yra daugiau nei prievadų skaičius. Tai apima, kaip lengvai audinys yra įdiegiamas, stebimas, plečiamas ir atkuriamas, kai kas nors nepavyksta.

„InfiniBand“ yra stiprus, kai nuo pat pirmos dienos klasteris sukurtas kaip specialus didelio našumo{0}} audinys. Ji užtikrina nuoseklų elgseną dideliu mastu, tačiau tikimasi specialių „InfiniBand“-įrankių, pvz., potinklio tvarkyklės ir vieningo audinio valdymo, bei personalo, kuris yra patenkintas „InfiniBand“ koncepcijomis. Dėl to jis natūraliai tinka centralizuotoms AI grupėms, sukurtoms atsižvelgiant į GPU darbo krūvius.

RoCE prijungtas prie Ethernet duomenų centro dizaino: lapų{0}}stuburo topologijos, IP maršruto parinkimas, ECMP ir žinomos stebėjimo praktikos. Kaip tik todėl jis patinka debesies-stiliui ir kelių nuomininkų GPU infrastruktūrai. Jo reikalaujama disciplina yra nuoseklumas. PFC, ECN, QoS, buferio valdymas ir perkrovos valdymas turi būti suprojektuoti nuosekliai visame kelyje, nes nedidelis klaidingas konfigūravimas viename audinio kampe gali išplisti ir pabloginti daugybę darbo krūvių vienu metu. Fizinis sluoksnis taip pat turi būti švarus; didelis-tankisMPO ir MTP magistraliniai ir pertraukimo kabeliaiaugantis lapų{0}}stuburo audinys yra valdomas, o ne kiekvieną išplėtimą paverčia kabelių galvosūkiu.

Verta paminėti veidrodinį-vaizdo tašką: „InfiniBand“ sunku pateisinti, kai išvados dažniausiai lieka viename mazge, o audinys beveik nenaudojamas.

Kuris tinklas kiekvienam išvados darbo krūviui

Kai RoCE yra pakankamai geras ir kai jis tampa rizikingas

RoCE yra pakankamai geras nepriklausomoms arba laisvai susietoms užklausoms, į pralaidumą -orientuotam paketiniam darbui ir kelių-nuomotojų klasteriams, kuriuose galite suderinti izoliaciją, ypač kai komanda laisvai naudoja duomenų centro tilto eternetą. Tai tampa rizikinga konkrečiais, atpažįstamais būdais:

• PFC audros.Pristabdyti kadrai plinta prieš srovę ir sustabdo srautą, kuris neturėjo nieko bendra su pradine spūstimi.
• Linijos blokavimo-galva-.Grubus prioritetų atvaizdavimas leidžia vienai perpildytai klasei sustabdyti kitus, kurie dalijasi eile.
• ECN suklaidinimas.Pažymėkite per vėlai ir gausite lašus; per agresyviai pažymėsite ir be reikalo sumažinsite pralaidumą.
• Mikropluošto spūstys.Pus-sekundės serijos perpildo buferius, bet lieka nematomos, kad būtų galima stebėti, kaip mėginiai ima-vienos sekundės skyra.
• Nenuosekli konfigūracija.Neatitinkantys lapų ir stuburo parametrų spūstys išplinta, o ne išlieka vietinės.

Nė viena iš šių priežasčių nėra priežastis vengti RoCE. Tai yra priežastis sukurti nenutrūkstamą audinį nuosekliai nuo galo iki galo ir investuoti į smulkių-grūdžių, mikroskopų{2}}suvokiančią telemetriją prieš keičiant mastelį.

Kai „InfiniBand“ to verta ir kai perkate

„InfiniBand“ verta savo premijos dėl griežtų p99 ir p999 tikslų, glaudžiai susietų kelių{2}}mazgų aptarnavimo ir kritinių darbo krūvių, kai SLA baudos yra didelės, ypač naudojant specialią GPU grupę, sukurtą aplink audinį. Tikėtina, kad perkate per daug, kai išvados lieka mazgo viduje, kai darbas yra -orientuotas į pralaidumą, kai jums reikia tos pačios medžiagos, kad būtų galima vykdyti saugyklą, tvarkymą ir kelių nuomininkų debesies srautą, arba kai tiesiog trūksta operatyvinių pajėgumų gerai paleisti „InfiniBand“.

Išlaidos, kurios nėra nurodytos jungiklio pasiūlyme, yra tikros: ekosistemos koncentracija, papildomos išlaidos, susijusios su antrojo tinklo eksploatavimu lygiagrečiai su Ethernet tinklu ir atskiras atsarginių dalių, optikos ir stebėjimo planavimas.

Kaip išbandyti „InfiniBand vs RoCE“ prieš pasirenkant

Neapsispręskite dėl protokolo reputacijos ar specifikacijų lapo. Nuspręskite dėl etalono, panašaus į gamybą. Praktinė seka:

• Apibrėžkite SLA uodegomis.Nustatykite p50, p95, p99 ir p999 laiko-iki-pirmąjį-ir tarp-žetonų delsą, o ne tik vidurkį.
• Pakartokite tikrovišką eismą.Naudokite serijinius, įvairaus dydžio modelius ir kelių{0}}nuomotojų lygiagretumą, o ne vieną švarų srautą.
• Apkrova iki spūsties.Stumkite audinį, kol jis tikrai susiginčys, tada išmatuokite GPU panaudojimą. Jei GPU tinkle stringa, audinys yra jūsų kliūtis.
• Stebėkite tinkamus skaitiklius.Stebėkite pauzės kadrus, ECN žymes, paketų nukritimus, pakartotinį siuntimą, prievado klaidų skaitiklius ir, esant 400G ir 800G, FEC klaidas.
• Patvirtinkite fizinį sluoksnį.Švarios, teisingai sumontuotos skaidulinės medžiagos;kruopštus pluošto montavimasapsaugo nuo pertrūkių, sunkiai{0}}-diagnozuojamų klaidų, kurios yra linkusios į didelės spartos{2}}nuorodas.

Jei RoCE išlaiko savo p99 tikslą esant realistiškam, ginčytinam, kelių nuomininkų apkrovai su stabiliais skaitikliais, tai yra tvirtas ir ekonomiškas{2}} pasirinkimas. Jei jis išlaiko tik švarius vieno- srauto testus, dar neišbandėte dalyko, kuris lemia jūsų SLA.

Dažnos klaidos, kurių reikia vengti

• Darant prielaidą, kad visos išvados yra lengvas tinklas.Kai kurios išvados yra paprastos ir nepriklausomos; kai kurie yra paskirstyti, jautrūs delsai-, o pralaidumo-alkana. Jei visa tai traktuosite kaip nesudėtingą, tai bus nepakankamai išplėtota infrastruktūra.
• Lyginant tik vidutinį delsą.Gamybos išvada priklauso nuo uodegos. Visada įvertinkite p95, p99 ir p999 esant tikroviškam srautui.
• „RoCE“ traktavimas kaip „Plug{0}}and-Ethernet“.Didelio{0}}našumo RoCE reikalingas apgalvotas be nuostolių{1}}audinio dizainas, spūsčių kontrolės ir nuolatinio stebėjimo.
• InfiniBand pasirinkimas tik todėl, kad jis greitesnis.Geriausias našumo pasirinkimas ne visada yra geriausias verslo pasirinkimas. Jei darbo krūviui nereikia deterministinio elgesio, RoCE gali suteikti geresnę vertę.
• Fizinio sluoksnio nepaisymas.Esant 400G ir 800G, kabeliai, optika, jungtys ir šviesolaidžio švara sukuria periodiškas klaidas, kurias sunku rasti ir brangiai ištaisyti.

Apatinė eilutė

Dirbtinio intelekto išvadai „InfiniBand“ ir „RoCE“ galioja ir teikia skirtingus prioritetus. Pasirinkite „InfiniBand“, kai reikia nuosekliausio mažo-delsavimo tinklo realiuoju-laiku, SLA-jautriu arba glaudžiai susietu išvadomis. Pasirinkite RoCE, kai jums reikia keičiamo dydžio eternetu{5}}pagrįsto, ekonomiškai-efektyvaus paketo išvadų, kelių-nuomotojų GPU paslaugų, RAG darbo krūvių ir lanksčios infrastruktūros.

Sprendimas turėtų prasidėti nuo darbo krūvio, delsos tikslo, klasterio masto, jūsų operacijų galimybių ir atnaujinimo plano, o ne nuo protokolo. Jei jūsų grupė turi griežtai išlaikyti p99 esant didelei apkrovai, „InfiniBand“ nusipelno rimto dėmesio. Jei jūsų tikslas yra ekonomiškai padaryti išvadas Ethernet duomenų centre, RoCE paprastai yra praktiškesnis kelias. Bet kuriuo atveju prieš įsipareigodami atlikite gamybos-pavyzdžiui, įkėlimą, palyginimą.