InfiniBand vs RoCE az AI következtetési hálózatokhoz

VálasszonInfiniBandamikor a következtetési munkaterhelés a kiszámítható faroklatencia szerint él vagy hal meg, és válassza kiRoCE(RDMA over Converged Ethernet), ha RDMA{0}}osztályú teljesítményt szeretne egy Ethernet hálózaton, méretezheti, megoszthatja és működhet együtt a már meglévő csapattal. Egyik lehetőség sem nyer mindenhol. A megfelelő hívás a következtetési mintától, a p99 és p999 késleltetési céloktól, a GPU-skálától, a költségvetéstől és attól függ, hogy mennyi veszteségmentes -Ethernet-hangolási szakértelem van a csapatban.

Miért fontosabb a hálózat, mint amit a csapatok elvárnak?

Éveken át a következtetést a GPU-történet egyszerű feleként kezelték: egyetlen csomópontra betöltött modell, a kérések függetlenül kiszolgálva, nagyon csekély keleti{0}}nyugati forgalom. Ez a kép mára elavult. A modern következtetések egyre inkább elterjedtek, és számos minta valódi nyomást gyakorol az anyagra.

• Tenzor párhuzamosságegyetlen réteget oszt fel a GPU-k között, így minden tokenlépés minden -redukciós vagy összes{1}}gyűjtési műveletet indít el közöttük. Ez gyakori, késleltetésre{3}}érzékeny, kereszt-GPU-forgalom, amelyet a GPU-k blokkolnak várakozás közben.
• Csővezeték párhuzamosságkézi aktiválásokat egyik szakaszról a másikra, gyakran csomópontokon keresztül, és minden előrelépéshez hozzáadja a kereszt-csomópont-függőségeket.
• Bontott előtöltés és dekódoláselválasztja a számítási-nagy előtöltési fázist a késleltetési-érzékeny dekódolási fázistól, majd áthelyezi a KV gyorsítótárat közöttük. Ezek az átvitelek nagyok és robbanásszerűek, és az esetleges késleltetések közvetlenül az-első-tokenhez való lassabb idő-és inter-token késleltetéseként jelennek meg.
• Visszakeresés{0}}kibővített generáció (RAG)növeli a keleti-nyugati forgalmat a vektor- és keresőszolgáltatásokhoz. Általában kevésbé{2}}kritikus a késleltetés, mint a kollektív műveleteknél, de továbbra is terheli a szövetet, különösen nagy lekérdezések esetén.
• Több-bérlős kiszolgálássok modellt és felhasználót ugyanarra a szövetre helyez, ahol a mikrokitörések és a zajos{0}}szomszéd hatások válnak a domináns kockázattá.

Ha a hálózat jelenti a szűk keresztmetszetet, a tünetek drágák: hosszabb-idő-az első-tokenhez, a GPU-k leállása, miközben adatra várnak, az adatátviteli sebesség összeomlik a sorozatok alatt, valamint instabil p95 és p99. És itt van az a rész, amely megbotránkoztatja a benchmarkokat: az átlagos késleltetés mindezt elrejti. A termelési következtetést a farok alapján ítélik meg, nem az átlagot.

InfiniBand vs RoCE: Összefoglaló táblázat az AI következtetéshez

Mi az InfiniBand?

Az InfiniBand egy olyan célra{0}}épített hálózati struktúra, amelyet kezdettől fogva alacsony késleltetésre, nagy átviteli sebességre és veszteségmentes kommunikációra terveztek. Ez nem az Ethernet gyorsabb íze. Saját gazdagépcsatorna-adapterekkel, kapcsolókkal, alhálózat-kezelővel, kábelezési ökoszisztémával és torlódás-vezérlési modellel érkezik. Meghatározó értéke a determinisztikus viselkedés: sok GPU szigorú időzítési követelmények mellett tud kommunikálni, és a szövet továbbra is egyenletesen viselkedik még akkor is, ha nagy a kollektív forgalom.

A modern mesterséges intelligencia-orientált InfiniBand platformok ezt a bázist kifejezetten a nagy GPU-fürtöket célzó képességekkel bővítik. Az NVIDIA Quantum InfiniBand vonala például hozzátesziadaptív útválasztás,{0}}hálózaton belüli számítástechnika és telemetria-alapú torlódáskezelés, amelyek segítik a szövetet a forgalom intelligens elosztásában, és elszigetelik az egyik bérlő terhét a másiktól. Következtetésképpen az InfiniBand akkor kapja meg a helyét, ha a munkaterhelés nem tolerálja a rezgést, vagy ha több GPU-csomópontnak gyorsan és következetesen kell adatokat cserélnie.

A kompromisszum{0}}a költség, az ökoszisztéma-koncentráció és a működési specializáció. A dedikált InfiniBand szövet dedikált kapcsolókat, adaptereket, kábeleket vagy optikai modulokat jelent, valamint a mérnökök számára, akik kényelmesek az InfiniBand szövetkezeléssel. Egy olyan szervezetnél, amely már nagy Ethernet-telepeket üzemeltet, a külön szövethez való csavarozás bonyolultabbá teszi a beszerzést, a pótalkatrészek tervezését és a felügyeleti költségeket.

Mi az a RoCE (RDMA over Converged Ethernet)?

A RoCE az RDMA-t, a közvetlen memória-memória--memória-adatmozgást alacsony CPU-ráfordítással hozza az Ethernet-hálózatokhoz. A modern adatközpontokban használt RoCEv2 verzió 3. rétegbeli IP-hálózatokon keresztül irányítható, és szabványosította aInfiniBand Kereskedelmi Egyesület. Ez az irányíthatóság teszi lehetővé, hogy a RoCE természetes módon illeszkedjen az Ethernet levél{1}}gerinceihez, miközben újrafelhasználja az ismert hálózati adaptereket, kapcsolókat, optikákat és megfigyelőeszközöket.

A bökkenő az, hogy az RDMA-átvitelek közel -veszteségmentes hálózatot feltételeznek. Dobj el egy csomagot, és a szállítás visszaáll az újraküldési viselkedésre, ami tönkreteszi a farok késleltetését. Tehát a RoCE-nek szüksége van az alatta lévő Ethernetre, hogy veszteségmentes szövetként viselkedjen, és ez különösen két mechanizmus gondos beállításától függ:Elsőbbségi áramlásvezérlés (IEEE 802.1Qbb), amely egyetlen forgalmi osztályt szüneteltet az esések elkerülése érdekében, ésExplicit Congestion Notification (ECN), amely korán jelzi a torlódást, így a küldők lelassulnak, mielőtt a pufferek túlcsordulnak. Ha ehhez hozzáadjuk a sorkezelést, a pufferkiosztást és a QoS-leképezést, világossá válik, hogy a nagy teljesítményű RoCE nem egy közönséges Ethernet.

Ha jól sikerült, a RoCE elegendő késleltetést és átviteli sebességet biztosít a termelési következtetési szolgáltatások széles skálájához, és sok következtetési munkaterhelés kevésbé szorosan szinkronizált, mint az elosztott képzés, ami a RoCE javára működik. Rosszul elkészítve csomagvesztést, head-vonalblokkolást, torlódások terjedését és instabil végpontokat okoz, amelyek közvetlenül a szolgáltatás minőségének romlását eredményezik.

InfiniBand vs RoCE késleltetés: Melyik a jobb a p99 következtetéshez?

Mindkét szövet nagy-sávszélességű, alacsony-késleltetésű hálózatot tud biztosítani. Abban különböznek, hogy hogyan jutnak el oda. Az InfiniBand felépítése determinisztikus, így a jitter még vegyes terhelés mellett is alacsony marad. A RoCE számos munkaterheléshez illeszkedik, de az eredmény az Ethernet-szövettől és a hangolástól függ.

A telepítés szempontjából az igazi probléma a termelésben ritkán a csúcssávszélesség. Remeg a vegyes, sorozatos, több{1}}bérlős forgalom alatt. A letisztult, iperf-stílusú áteresztőképesség-tesztet teljesítő RoCE-szövet még mindig eltévesztheti a p99-es célt abban a pillanatban, amikor a mikrokitörések és a versengés megjelenik a képben. A laboratóriumi referenciaérték és a termelési SLA közötti szakadék az, ahol a legtöbb meglepetés él.

Az InfiniBand általában akkor van előnyben, ha:

• A szolgáltatás szigorú p99 vagy p999 késleltetési célokat tartalmaz.
• A következtetés több GPU-csomópontot ölel fel tenzorral vagy csővezeték párhuzamossággal, vagy bontott előtöltést és dekódolást használ.
• A GPU kihasználtsága nagyon érzékeny a hálózati késleltetésre, ezért a leállások drágák.
• A fürt néhány nagy{0}}prioritású munkaterhelést futtat, ahol a kiszámíthatóság felülmúlja a rugalmasságot.

A RoCE általában elég jó, ha:

• A kérések többnyire függetlenek, vagy a csatolás laza.
• A munka egy csomóponton vagy néhány csomóponton belül fut.
• A kötegelt átviteli sebesség többet jelent, mint az ultra{0}}alacsony késleltetés.
• A csapat már üzemelteti az Ethernetet, és a költségek és a szállítók rugalmassága prioritást élvez.
• A fürt több bérlőt vagy vegyes munkaterhelést támogat.

RoCE vs InfiniBand költség: valójában mi vezeti a TCO-t?

A RoCE-t gyakran olcsóbb megoldásnak nevezik, de a váltási ár csak kis része a képnek. A valósághű összehasonlítás a teljes köteget nézi: hálózati adapterek vagy HCA-k, kapcsolók, optikai modulok, DAC, AOC és szálkábelezés, rack topológia, tápellátás és hűtés, hálózati operációs rendszer, felügyelet és telemetria, tervezési idő, alkatrészek, gyártói támogatás és a 400G vagy 800G elérési út.

Az InfiniBand rendszerint magasabb előzetes költséggel jár, mivel ehhez külön szövetre és speciális alkatrészekre van szükség. Azokban a környezetekben, ahol a determinisztikus viselkedés a legfontosabb, csökkentheti a hangolási és hibaelhárítási erőfeszítéseket, amelyeket a veszteségmentes Ethernet hálózat megkövetel. A RoCE csökkenti a hardverköltséget, ha egy meglévő Ethernet-kombináció a megfelelő adatközponti áthidaló támogatással újra felhasználható, de az erőfeszítéseket a veszteségmentes szövet tervezésére, érvényesítésére, figyelésére és hibaelhárítására fordítja. Az alacsony költségű RoCE-konstrukció gyorsan drágává válik, ha instabil késleltetést és ismételt tűzoltást okoz.

A költségek és a kockázatok a fizikai rétegben összpontosulnak, ahogy a sebesség emelkedik. 400G és 800G esetén az optika uralja mind a számla-, mind a meghibásodási módokat. A legtöbb nagy sebességű-port leszállQSFP{0}}DD vagy hasonló alaktényezők, és megfelel a jobb oldalnakegy-módusú vagy többmódusú optikaaz egyik legegyszerűbb módja annak, hogy elkerülje a túlköltekezést olyan textíliára, amelyhez nincs szükség nagy távolságra{0}}modulokra.

Őszintén szólva: a RoCE nem az olcsóbb megoldás, ha csapata nem rendelkezik veszteségmentes-Ethernet-szakértelemmel. A hardveren megtakarított összeget gyorsan megeheti a szövet stabilan tartásának mérnöki költsége.

Skálázhatóság és műveletek

A méretezhetőség több, mint a portszám. Ez magában foglalja, hogy a szövet milyen könnyen telepíthető, felügyelhető, bővíthető és helyreállítható, ha valami meghibásodik.

Az InfiniBand akkor erős, ha a klasztert az első naptól kezdve dedikált, nagy teljesítményű{0}}szövetnek tervezték. Konzisztens viselkedést biztosít a skálán, de elvárja az InfiniBand-specifikus eszközöket, mint például az alhálózat-kezelőt és az egységes szövetkezelést, valamint az InfiniBand koncepcióit jól ismerő személyzetet. Ez természetes módon illeszkedik a központi AI-fürtökhöz, amelyek a GPU-munkaterhelés köré épülnek.

A RoCE beépül az Ethernet adatközpontokba: levél{0}}spine topológiák, IP-útválasztás, ECMP és ismert megfigyelési gyakorlatok. Pontosan ezért vonzó a felhő-stílusú és több-bérlős GPU-infrastruktúra. A fegyelem, amit megkövetel, a következetesség. A PFC-t, az ECN-t, a QoS-t, a pufferkezelést és a torlódásvezérlést koherens módon kell megtervezni a teljes útvonalon, mert egy kis hibás konfiguráció a szövet egyik sarkában egyszerre több munkaterhelést is szétteríthet és leronthat. A fizikai rétegnek is tisztán kell méreteznie; nagy-sűrűségMPO és MTP trönk és kitörési kábelezéskezelhetővé teszi a növekvő levél{0}}gerincszövetet, ahelyett, hogy minden bővítést kábelezési rejtvényvé változtatna.

A tükörkép-pontját érdemes leszögezni: az InfiniBand nehezen igazolható, ha a következtetés többnyire egyetlen csomóponton belül marad, és a szövetet alig gyakorolják.

Melyik hálózat minden következtetési munkaterheléshez

Amikor a RoCE elég jó, és mikor válik kockázatossá

A RoCE elég jó a független vagy laza csatolású kérésekhez, az átviteli-orientált kötegelt munkához és a több-bérlős fürtökhöz, ahol hangolhatja az elkülönítést, különösen akkor, ha a csapat folyékonyan ismeri az adatközponti áthidaló Ethernetet. Konkrét, felismerhető módon válik kockázatossá:

• PFC viharok.A szüneteltető keretek felfelé terjednek, és leállítják a forgalmat, amelynek semmi köze nem volt az eredeti torlódáshoz.
• Vonalblokk{0}}vezetője-.A durva prioritás-leképezés lehetővé teszi, hogy az egyik zsúfolt osztály leállítsa a soron osztozó többieket.
• ECN félrehangolás.Túl későn jelölje meg, és cseppeket kap; túl agresszívan jelöl, és szükségtelenül lefojtja az áteresztőképességet.
• Mikroburst torlódás.A másodperc alatti sorozatok túlcsordulnak a puffereken, de láthatatlanok maradnak az egy-másodperces felbontású minták megfigyeléséhez.
• Inkonzisztens konfiguráció.A levelek és a gerinc közötti nem illeszkedő beállítások a torlódások terjedését okozzák, nem pedig helyben maradnak.

Ezek egyike sem indokolja a RoCE elkerülését. Ezek okot adnak arra, hogy a veszteségmentes szövetet a végétől a végéig koherens módon tervezzék meg, és a méretezés előtt fektessenek be a finom-szemcsés, mikroburst{2}}telemetriába.

Amikor az InfiniBand megéri, és amikor túlvásárol

Az InfiniBand megéri a prémiumot a szigorú p99-es és p999-es célokért, a szorosan összekapcsolt több-csomópontos kiszolgálásért, valamint a kritikus munkaterhelésekért, ahol magasak az SLA-büntetések, különösen a szövet köré tervezett, dedikált GPU-fürtön. Valószínűleg túlvásárol, ha a következtetés egy csomóponton belül marad, ha a munka átviteli -orientált kötegelt, amikor ugyanarra a szövetre van szüksége a tárolás, a kezelés és a több-bérlős felhőforgalom átviteléhez, vagy ha egyszerűen nincs elegendő működési kapacitása az InfiniBand megfelelő futtatásához.

A kapcsolóárajánlatban nem szereplő költségek valósak: ökoszisztéma-koncentráció, egy második szövet Ethernet-hálózatával párhuzamos üzemeltetésének költsége, valamint a tartalék alkatrészek, az optika és a felügyelet külön tervezése.

Az InfiniBand vs RoCE tesztelése a választás előtt

Ne döntsön a protokoll hírnevéről vagy a specifikációs lapról. Döntse el a termeléshez hasonló viszonyítási alap mellett. Egy gyakorlati sorrend:

• Határozza meg az SLA-t a végekben.Állítsa be a p50-et, a p95-öt, a p99-et és a p999-et az idő-to-first-és inter-token késleltetésére, ne csak átlagra.
• A valósághű forgalom újrajátszása.Egyetlen tiszta adatfolyam helyett használjon sorozatos, vegyes modellméreteket és több{0}}bérlős egyidejűséget.
• Terhelés a torlódásig.Nyomja meg a szövetet, amíg őszintén nem vesz részt, majd mérje meg a GPU kihasználtságát. Ha a GPU-k elakadnak a hálózaton, akkor ez a szűk keresztmetszet.
• Figyeld a megfelelő számlálókat.Nyomon követheti a szüneteltetési kereteket, az ECN-jeleket, a csomagletöréseket, az újraküldést, a porthiba-számlálókat és 400G és 800G-nél a FEC-hibákat.
• Érvényesítse a fizikai réteget.Tiszta, megfelelően telepített szálas anyagok;gondos szálbeépítésmegakadályozza az időszakos, nehezen--diagnosztizálható hibákat, amelyekre a nagy-sebességű linkek hajlamosak.

Ha a RoCE reális, versengő, több bérlős terhelés alatt tartja a p99 célt stabil számlálókkal, akkor ez egy erős és költséghatékony választás. Ha csak tiszta egyetlen adatfolyam-teszteken megy át, akkor még nem tesztelte azt a dolgot, amely eldönti az SLA-t.

Gyakori hibák, amelyeket el kell kerülni

• Feltételezve, hogy minden következtetés enyhe hálózatépítés.Néhány következtetés egyszerű és független; némelyik elosztott, késleltetés-érzékeny, és sávszélesség-éhes. Ha mindezt egyszerűnek tekintjük, az alulépített infrastruktúrához vezet.
• Csak az átlagos késleltetés összehasonlítása.A termelési következtetés a faroktól függ. Mindig értékelje a p95-öt, a p99-et és a p999-et reális forgalom mellett.
• A RoCE kezelése plug{0}}and-Ethernetként.A nagy{0}}teljesítményű RoCE-hez tudatos veszteségmentes-szövettervezésre, torlódás-szabályozásra és folyamatos megfigyelhetőségre van szükség.
• Az InfiniBand választása csak azért, mert gyorsabb.A legjobb teljesítményű megoldás nem mindig a legjobb üzleti lehetőség. Ha a munkaterhelés nem igényel determinisztikus viselkedést, a RoCE jobb értéket biztosíthat.
• A fizikai réteg figyelmen kívül hagyása.400 G és 800 G esetén a kábelek, az optika, a csatlakozók és a szálak tisztasága időszakos hibákat okoz, amelyeket nehéz megtalálni és költséges kijavítani.

Bottom Line

Az AI következtetéshez az InfiniBand és a RoCE egyaránt érvényes, és különböző prioritásokat szolgálnak ki. Válassza az InfiniBandot, ha a legkonzisztensebb, alacsony-késleltetésű hálózatra van szüksége valós-idejű, SLA-érzékeny vagy szorosan összekapcsolt következtetésekhez. Válassza a RoCE-t, ha méretezhető, Ethernet{5}}alapú, költség-hatékony szövetre van szüksége kötegelt következtetésekhez, több-bérlős GPU-szolgáltatásokhoz, RAG-munkaterhelésekhez és rugalmas infrastruktúrához.

A döntést a munkaterheléssel, a késleltetési céllal, a fürt léptékével, a műveleti képességekkel és a frissítési ütemtervvel kell kezdeni, nem pedig a protokollal. Ha a klaszternek szigorú p99-et kell tartania nagy terhelés alatt, az InfiniBand komoly megfontolást érdemel. Ha az a cél, hogy egy Ethernet adatközponton keresztül gazdaságosan skálázzon következtetéseket, akkor általában a RoCE a praktikusabb út. Akárhogy is legyen, végezzen összehasonlítást gyártási folyamatban-, például betöltés előtt, mielőtt elkötelezi magát.