
Komutatorių buferiai yra maži atminties telkiniai tinklo komutatoriaus viduje, kurie tam tikrą akimirką sulaiko paketus, kai srautas pasiekia greičiau nei prievadas gali jį išsiųsti. Ramiame įmonės LAN tai skamba kaip aparatinės įrangos išnaša. Dirbtinio intelekto mokymo grupėje arba tankiame debesų sluoksnyje tie patys keli megabaitai atminties gali nuspręsti, ar paskirstytas darbas baigiamas laiku, ar sustoja laukti vienoje perkrautoje nuorodoje.
Pagrindinė idėja yra paprasta, tačiau ji apsunkina daugybę pirkimo sprendimų: buferiai yra vertingi, nes jie sugeria sprogimus, tačiaudaugiau buferio automatiškai nėra geresnis. Tinkamas dizainas priklauso nuo jūsų srauto modelio, darbo krūvio jautrumo delsai ar praradimui, kurį perkrovos{1}}valdymo metodą naudojate ir kaip jungiklis paskirsto buferinę atmintį prievaduose ir eilėse. Jungiklis su labai dideliu buferiu vis tiek gali veikti blogiau nei mažesnis, jei ši atmintis slepia perkrovas, o ne ištuština.
Šis vadovas parašytas pagal raštus, kurie dažniausiai matomi naudojant RoCEv2 audinius ir didelio{1}}tankio lapų{2}}stuburą. Jame paaiškinama, ką iš tikrųjų veikia jungiklių buferiai, kodėl AI ir GPU srautas juos skirtingai apkrauna, kaip buferio pasirinkimai veikia delsą ir paketų praradimą ir ką reikia patikrinti prieš perjungiant.
Kas yra perjungimo buferiai?
Jungiklio buferis yra laikina paketų atmintis. Kai keli paketai turi išeiti per tą patį prievadą tą pačią akimirką, jungiklis negali jų visų perduoti vienu metu, todėl jis nustato priedus ir persiunčia juos, kai išvesties prievadas atsilaisvina.
Ši eilė įvyksta per keletą nuspėjamų akimirkų:
- Daug{0}}prie-srautas
- Mikroskopai, trumpi ir intensyvūs šuoliai, trunkantys nuo mikrosekundžių iki kelių milisekundžių
- Sąsajos greičio neatitikimai, pvz., 400G prievadas, maitinantis lėtesnę pasroviui skirtą nuorodą
- Per daug prenumeruojamos nuorodos ir sinchronizuotos serijos, gaunamos iš daugelio šaltinių vienu metu
- Spūstys vienoje konkrečioje išvesties eilėje arba eismo klasėje
Neturėdamas pakankamai naudojamo buferio, jungiklis numeta paketus. Esant per daug užimto buferio, paketai stovi eilėje, o delsa didėja. Geras buferio dizainas gyvena įtampoje tarp šių dviejų gedimų: sugeria tikrus pliūpsnius, nepaverčiant eilės laikymo rašikliu.
Kodėl AI ir GPU srautas skirtingai perjungia buferius
AI darbo krūviai neatrodo kaip žiniatinklio ar biuro srautas. GPU klasteriai generuoja didžiulį rytų-vakarų srautą tarp serverių, o paskirstyto mokymo metu ryšys dažnai sinchronizuojamas: daugelis greitintuvų keičiasi duomenimis tą pačią akimirką, ta pačia kryptimi, toje pačioje sistemoje.
Kolektyvinės operacijos tai dar labiau pablogina. Viso-sumažinimo veiksmas, parametrų sinchronizavimas arba gradiento keitimas gali sugriūti į daug-į-vieną arba daug-iki-daugelio serijų, kurios per mikrosekundes nutraukia išėjimo eilių rinkinį. Kadangi pliūpsniai yra trumpi ir glaudžiai susiję, juos lengva nepastebėti atliekant grubų stebėjimą. Pavyzdžiui, nuoroda gali nuskaityti tik apie 40 % vidutinį panaudojimą per vienos-sekundės ar penkių{10}}minučių apklausos langą, tačiau vienu metu vis tiek pasiekia eilutės dažnį milisekundėmis, o tai yra pakankamai ilga, kad užpildytų eilę, pažymėtų ECN arba suaktyvintų PFC pauzę.
Priežastis, dėl kurios tai labai svarbu dirbtinio intelekto audiniuose, yra darbo priklausomybės struktūra. Paskirstytos treniruotės linkusios judėti lėčiausio srauto greičiu. Kai vienas GPU mazgas laukia uždelsto srauto, likusi klasterio dalis dažnai neveikia su juo, o brangūs greitintuvai sudegina laukimo tinkle laiką, o ne skaičiuodami. Buferio įvykis, kuris būtų nematomas žiniatinklio pakopoje, gali tiesiogiai pailginti užduoties užbaigimo laiką.
Dėl to rytų-vakarų audinys taip pat yra priežastis, kodėl fizinio-sluoksnio pasirinkimas yra susijęs su buferio elgesiu. Didelio-tankio GPU užpakalinės sistemos paprastai yra prijungtos prie laidųdidelio{0}}tankio MTP/MPO magistraliniai kabeliaitarp lapo ir stuburo, o ryšio greitį vis dažniau nustato pasirinkta optika400G ir 800G moduliai, pvz., QSFP-DD. Kuo tos nuorodos yra greitesnės ir per daug prenumeruojamos, tuo daugiau darbo turi atlikti jungiklio buferis ir perkrovos nustatymai sinchronizuoto serijos metu.

Kaip perjungimo buferiai veikia delsą, paketų praradimą ir pralaidumą
Buferiai formuoja našumą trimis sujungtais būdais.
Per mažas buferis sukelia paketų praradimą
Kai serija viršija turimą buferį, jungiklis{0}}pameta paketus. TCP{2}}pagrįstame sraute, kuris suaktyvina pakartotinius siuntimus ir sumažina efektyvų pralaidumą. Atliekant saugyklą ir dirbtinio intelekto srautą, tai gali pailginti darbo užbaigimo laiką ir padaryti našumą nepastovus. Spąstai yra ta, kad vidutinis pralaidumas dažnai atrodo gerai: incast atveju keli siuntėjai beveik tą pačią akimirką pasiekia tą pačią išėjimo eilę, o eilė persipildo, nors minučių -po-minučių diagrama atrodo rami.
Per didelis srautas eilėje padidina delsą
Didelis buferis nėra laisva saugos riba. Jei paketai yra gilioje eilėje, jie kaupia eilės delsą ir tinklas įslenkabuferio išsipūtimas, kur lašai yra reti, bet latentinis laikotarpis yra didelis ir nenuspėjamas. Šis gedimo režimas buvoišsamiai dokumentavo Gettys ir Nichols ACM eilėje, ir tai yra visiškai neteisingas rezultatas delsai{0}}jautrioms GPU foninėms programoms, kur nuspėjamas mažas delsimas yra svarbesnis nei atminties perkrovos slėpimas.
Prastas buferio paskirstymas sukuria nesąžiningumą
Bendras buferio dydis slepia svarbesnį klausimą: kaip jungiklis padalija tą atmintį į prievadus, eiles ir srauto klases. Komutatorius gali turėti daug bendro buferio ir vis tiek veikti blogai, jei vienas prievadas ar klasė išeikvoja bendrą baseiną, o likusį badą. Dirbtinio intelekto ir saugojimo aplinkoje šis nesąžiningumas sulėtina visą darbą, nes lėčiausias srautas nustato pabaigos laiką.

Bendrinamas buferis vs dedikuotas buferis vs gilus buferis
Kai lyginate duomenų centro jungiklius, buferio architektūra yra svarbesnė nei antraštės talpos skaičius.
Bendrinamas buferis
Bendrinamas buferis yra bendras atminties telkinys, kurį prievadai ir eilės naudoja pagal poreikį. Kadangi nepanaudota atmintis ramioje vietoje gali būti paskolinama visur, kur atsiranda spūstis, bendri buferiai gerai sugeria serijas duomenų centruose, kur vieną akimirką neaktyvus prievadas gali sugauti kitą. Jų trūkumas yra tas, kad jie pasikliauja gera paskirstymo logika, kad neleistų vienai karštai eilei valgyti baseiną.
Specialus buferis
Specialus buferis yra rezervuotas konkrečiam prievadui, eilei arba srauto klasei. Tai pagerina izoliaciją, nes viena perpildyta klasė mažiau gali sunaudoti viską, tačiau per-rezervuojant eikvojama talpa, nes ramiam prievadui užrakinta atmintis nepasiekiama ten, kur iš tikrųjų patenka serija.
Gilus buferis
Gilus{0}}buferio jungiklis turi daug didesnį buferį, skirtą didelėms serijoms, toli{1}}nuorodoms arba nuolatiniams greičio neatitikimams. Gilieji buferiai užsitarnauja kai kuriuos WAN, maršruto parinkimo ir agregavimo vaidmenis, dažnai suporuotus suvieno{0}}mode skaidulos ilgesniam-atstumui, tačiau jie dažnai yra netinkami numatytieji mažos{0}}delsavimo trukmės GPU vidinėje sistemoje, kur jie linkę užmaskuoti spūstis ir pridėti delsos. Jei audiniai jautrūs delsai{2}}, nuspėjamas persiuntimas paprastai pranoksta neapdoroto buferio gylį.
Greitas palyginimas
| Buferio tipas | Jėga | Pagrindinė rizika | Geriausiai tinka |
|---|---|---|---|
| Bendrinama | Lankstus sprogimo sugėrimas | Reikia tvirtos paskirstymo logikos | Dinaminis duomenų centro srautas |
| Skirta | Stipri izoliacija tarp klasių | Išeikvotas pajėgumas, jei{0}}daugiau rezervuota | Eismo klasės, kurias būtina saugoti |
| Giliai | Sugeria labai didelius sprogimus | Didesnė eilės delsa | WAN, maršrutizavimas, specialus agregavimas |
Perjungimo buferiai ir RoCEv2 perkrovos valdymas: ECN ir PFC
Daugumoje dirbtinio intelekto eterneto audinių veikia RoCEv2, kad būtų užtikrintas mažas-delsavimas ir didelis{2}}pralaidumas RDMA. Šiuose tinkluose buferiai ir perkrovos valdymas yra neatsiejami: jūsų nustatyti buferio slenksčiai nustato, kada ECN pažymi ir kada suveikia PFC.
ECN turėtų anksti pranešti apie spūstis
Aiškus pranešimas apie perkrovą (ECN), apibrėžtas RFC 3168, leidžia jungikliui pažymėti paketus, kai atsiranda spūstis, o ne juos atmesti. Imtuvas atkartoja tą signalą, todėl siuntėjas sulėtėja, kol eilė persipildo. RoCEv2 audiniuose žymėjimo slenkstis yra derinimo sprendimas, turintis realių pasekmių: pažymėkite per vėlai ir eilė jau gili, kai reaguoja šaltiniai; pažymėkite per anksti, o jums nereikėjo pasiduoti.
PFC turėtų būti apsauginis tinklas, o ne pirmasis atsakas
Prioritetu{0}}pagrįstas srauto valdymas (PFC), standartizuotas kaip IEEE 802.1Qbb, pristabdo srautą prioritetinėje klasėje, kad būtų išvengta nuostolių be nuostolių eilėse. Tai būtina, bet bukas instrumentas. Atsiremkite į jį per dažnai ir prieš srovę išplinta spūstys, sukeldamos pauzės audras ir -prieš-įsijungimą, kuris baudžia srautus, kurie niekada nebuvo priežastis. Sveikesnis modelis yra nusistovėjęs: in„Microsoft“ didelio masto{0}}RDMA darbas, pristatęs DCQCN, greičiu-pagrįstas perkrovos valdymas, kurį skatina ECN, tvarko įprastinius įvykius, o PFC lieka rezerve kaip paskutinė gynybos linija, o šiame dokumente taip pat pateikiamos konkrečios gairės, kaip derinti jungiklio buferio slenksčius.
Buferio slenksčiai turi atitikti darbo krūvį
Slenksčiai, nukopijuoti iš etaloninio dizaino, retai išgyvena sąlytį su realiu eismu. Dirbtinio intelekto mokymas, išvados, saugykla ir mišrūs debesų darbo krūviai vyksta skirtingai, o tinkami ECN / PFC nustatymai priklauso nuo srauto spartos, nuorodų greičio, perteklinio prenumeratos koeficiento, eilės dizaino ir nuo to, kiek darbo krūvis toleruoja delsą, palyginti su praradimu. Laikykite tiekėjo numatytuosius nustatymus kaip pradinį tašką, tada suderinkite su savo srautu.
Buferio diagnostika-Susijusios problemos: simptomai, priežastys ir metrika
Kai programos našumas krenta, bet prietaisų skydeliai atrodo žali, buferio slėgis yra dažna paslėpta priežastis. Pirmas naudingas veiksmas yra perskaityti telemetriją priežasties ir pasekmės tvarka, o ne stebėti nuorodų naudojimą. Toliau pateiktoje lentelėje pateikiami galimų buferio problemų simptomai ir juos patvirtinanti metrika.
| Simptomas | Tikėtina buferiu{0}}susijusi priežastis | Pirmiausia reikia patikrinti metriką |
|---|---|---|
| Retransliacijos su normaliu vidutiniu panaudojimu | „Microburst“ uodega nukrenta į išėjimo eilę | Eilių užimtumo viršūnės, uodega ir išvesties sumažėjimas |
| Latencijos šuoliai su keliais lašais arba visai ne | Per-gili eilė / buferio išpūtimas | Vėlavimo procentiliai (p99), eilės gylis |
| Pralaidumas sumažėja iki kelių{0}}prie-vieno | Incast perpildytas bendras baseinas | Sumažėja perdavimo metu, atsižvelgiant į{0}}eilės užimtumą |
| Periodiniai kioskai visame klasteryje | PFC pristabdo audras, plintančias prieš srovę | PFC pauzės kadrai ir pauzės trukmė |
| Vienas lėtas srautas tempia visą darbą | Nesąžiningas buferio dalijimasis tarp klasių | Pagal-prioritetinį užimtumą, karštų-eilių skaitikliai |
| GPU neveikia, laukia tinkle | Spūstys, išplečiančios kolektyvines operacijas | ECN žymėjimo greitis, srauto užbaigimo laikas, GPU panaudojimas |
Skaitykite iš viršaus į apačią, natūrali diagnostikos grandinė yra eilės gylis, tada ECN žymės, tada uodega, tada PFC pauzės kadrai, srauto užbaigimo laikas, tada GPU panaudojimas. Jei tinklo metrika yra švari, bet užduotys vis dar vyksta lėtai, greičiausiai problema yra priešais audinį, o ne jungiklio buferyje.
Laboratoriniai tyrimai, kuriuos verta atlikti, ir kaip atrodo „išlaikyti“.
Prieš taikydami dirbtinį intelektą ar{0}} didelio našumo audinį, išbandykite srautą, panašų į jūsų tikrąjį darbo krūvį, ir nustatykite kiekvieno testo išlaikymo kriterijų, o ne tik stebėkite eilučių dažnį.
- Daug-į-vieną intarpą:paspartinti ventiliatorių{0}}santykiu; leidimas reiškia, kad nėra uodegos lašų ir ribojama p99 delsa esant tikslinei perteklinei prenumeratai.
- Daugelis{0}}prie-daug, visi-sumažina stilių:vairuoti sinchronizuotus serijas; leidimas reiškia teisingą užbaigimo laiką tarp srautų, kai nėra vieno nutrūktgalvio.
- Mišrus trumpasis- ir ilgas-srautas:paleisti dramblį ir pelę teka kartu; leidimas reiškia, kad trumpi srautai išlaiko mažą delsą, o ilgi srautai vis tiek užpildo nuorodą.
- RoCEv2 perkrova su ECN / PFC patvirtinimu:patvirtinkite ECN ženklus prieš PFC pristabdymą; leidimas reiškia, kad ECN atlieka darbą, o PFC suveikia retai.
- Prenumeratos perteklius ir nesėkmių susiliejimas:numeskite nuorodą mid{0}}burst; praeiti reiškia grakštų maršruto pakeitimą be kritimo ar delsos uolos.
Tikslas nėra įrodyti linijos{0}}greičio pralaidumą esant tuščiosios eigos jungikliui. Norėdami pamatyti, kaip jungiklis veikia, kai eismas tampa intensyvus, sinchronizuotas ir nesąžiningas, o tai yra vienintelė būsena, kuri yra svarbi gamyboje. Kai planuojate kabelius ir jungtis, kad būtų galima atlikti didelius bandymus, aMTP ir MPO variantų inžinerinis palyginimasyra naudingas draugas.
Gilus-buferis arba mažas-delsos jungiklis?
Nėra vieno geriausio jungiklio, tik geriausiai tinkantis tam tikram audiniui. Norėdami greitai susiaurinti pasirinkimą, naudokite toliau pateiktą lentelę, tada patvirtinkite ją atlikdami aukščiau nurodytus laboratorinius tyrimus.
| Jei jūsų audinys yra | Suteikite pirmenybę | Buferio pasvirimas |
|---|---|---|
| AI GPU backend (sinchronizuoti serijos, delsa{0}}kritinė) | Mažas delsimas, stipri telemetrija, ECN/PFC derinimas | Maža-delsa, bendrinama su geru paskirstymu |
| Sandėliavimas / be nuostolių | Sąžiningumas, darbo atlikimo laikas, vėlavimas esant apkrovai | Vidutinis, su gerai{0}}izoliuotomis klasėmis |
| Mišrus debesis (įvairus nuorodų greitis) | Lankstus paskirstymas, klasės izoliacija, matomumas | Bendras ir lankstus |
| WAN / ilgas{0}}atstumas | Sugeria didelius sprogimus ir greičio neatitikimą | Gilus buferis (vis dar tikrinamas pagal delsos tikslus) |
Mišrios debesies medžiagos yra sudėtingiausias atvejis, nes jose dažnai derinamos didesnės{0}}sparčios ir lėtesnės prieigos nuorodos. Jei nustatote šiuos prieigos greičius, vadovaukitės10GBASE-T ir SFP+ 10GbE sąsajosgali padėti planuoti, kur nusileis greičio perėjimai, taigi ir buferio slėgis.
DUK
K: Ar didesni jungiklių buferiai visada geresni?
A: Ne. Didesni buferiai sumažina paketų kritimą serijų metu, tačiau jie taip pat leidžia ilgiau stovėti eilėje, o tai padidina delsą ir gali sukelti buferio išsiplėtimą. Dėl delsos -jautrios AI ir saugojimo medžiagos vidutinis, gerai-tvarkomas buferis paprastai pranoksta labai gilų buferį. Geriausias buferis yra tokio dydžio ir skirtas sugerti tikruosius serijas, nepridedant išvengiamo delsos.
Kl .: Kuo skiriasi bendras buferis ir dedikuotas buferis?
A: Bendras buferis yra bendras baseinas, iš kurio bet kuris prievadas arba eilė gali pasinaudoti, kai to reikia, todėl jis efektyviai sugeria nenuspėjamus srautus. Specialus buferis rezervuotas konkrečiam prievadui, eilei ar klasei, o tai pagerina izoliaciją, bet gali eikvoti atmintį, jei rezervuota vieta nenaudojama. Daugelyje duomenų centro jungiklių naudojamas šių dviejų hibridas.
Kl .: Kodėl mikrosrovės sukelia paketų praradimą, net jei išnaudojimas atrodo mažas?
A: Standartinis stebėjimas apskaičiuoja srauto vidurkį per sekundes ar minutes, todėl išlygina šuolius. Mikrofotografija gali pasiekti linijos greitį tik kelias milisekundes, užpildydama išėjimo eilę ir priversdama nukristi, o vidurkio diagramoje nuoroda vis tiek rodoma kaip mažai įkelta. Norint pamatyti šiuos įvykius, reikia milisekundžių-mastelio eilės ir nuleisti telemetriją.
Kl.: ar dirbtinio intelekto duomenų centrams reikia gilių{0}}buferių jungiklių?
A: Paprastai ne GPU fone. Gilūs buferiai dažniausiai užmaskuoja spūstis ir padidina delsą, o tai prieštarauja nuspėjamam, mažos{1}}delsos persiuntimui, kurio reikia paskirstytam mokymui. Gilūs buferiai labiau tinka WAN, maršruto parinkimo ar agregavimo vaidmenims. AI klasteriams telemetrija, teisingas paskirstymas ir gerai-sureguliuotas ECN / PFC paprastai yra svarbiau nei neapdoroto buferio gylis.
K: Kaip perjungimo buferiai veikia RoCEv2 veikimą?
A: RoCEv2 buferio slenksčiai nusprendžia, kada ECN pažymi paketus ir kada PFC pristabdo prioritetą. Gerai nustatytas ECN anksti sulėtina siuntėjų skaičių ir išlaiko seklias eiles; prastai nustatytas, eilės persipildo arba PFC suveikia per dažnai ir išplečia spūstis. Buferio slenksčių derinimas prie darbo krūvio yra vienas iš svarbiausių žingsnių norint pasiekti gerą RoCEv2 elgesį.
Kl.: Kokią buferio metriką turėčiau stebėti gamybos metu?
A: Stebėkite eilės užimtumą, uodegos ir išvesties sumažėjimą, ECN žymų dažnį ir PFC pauzės kadrus bei trukmę, tada prijunkite juos prie programos signalų, pvz., srauto pabaigos laiko ir, jei naudojate AI, GPU panaudojimą. Jei programos našumas yra prastas, o vidutinis nuorodos naudojimas atrodo normalus, tikėtina, kad yra paslėptas buferio slėgis ir mikroskopai.
Raktai išsinešti
Perjungimo buferiai atlieka lemiamą vaidmenį AI ir duomenų centrų tinklo našumui, tačiau vien talpa nepasakys, ar jungiklis yra tinkamas pasirinkimas. Geras buferio dizainas sugeria tikroviškus serijas, riboja paketų praradimą, leidžia nuspėti delsą, palaiko ECN ir PFC signalizaciją ir atskleidžia pakankamai telemetrijos trikčių šalinimui. AI duomenų centruose įvertinkite buferio architektūrą kartu su perkrovos valdymu, apkrovos balansavimu, eilių valdymu ir tikrojo darbo krūvio veikimu, o ne kaip atskirą skaičių specifikacijų lape.
Prieš įsipareigodami, išbandykite jungiklį įterptomis, mikrosrovės ir perkrovos sąlygomis ir stebėkite, kaip jis dalijasi atmintimi, kai eismas pasisuka nesąžiningai. Geriausias buferis nėra didžiausias. Būtent architektūra užtikrina, kad jūsų programos būtų greitos, sąžiningos ir nuspėjamos esant realiam srautui.