AI Cluster Network Design: Spine{0}}Leaf, RoCE és hálózati adapterek

Az AI-fürthálózat tervezése a GPU-szerver hálózati kártyáinak, a levél{0}}gerinc sávszélességének, a túljelentkezési aránynak, a RoCE-beállításoknak, az optikának és a kábelezésnek a méretezésének folyamata, így az elosztott képzési forgalom kiszámítható marad a fürt méretezésével. Ha ezek közül bármelyiket elhibázza, a hálózat - és nem a GPU - lesz a szűk keresztmetszet.

Miért más az AI Cluster Networking?

Egy hagyományos vállalati adatközpontban a hálózat az északi{0}}déli felhasználói forgalom, a tárhely-hozzáférés, a virtualizáció és a kezelés keverékét kezeli. A keleti-nyugati forgalom létezik, de ritkán ez a domináns terhelés. Egy AI-klaszterben a helyzet megfordul. Az elosztott betanítást futtató GPU-kiszolgálók a munka minden lépése során gradienseket cserélnek és szinkronizálják a paramétereket. Ez a kommunikáció a számítás része, nem mellékhatása.

Ha egy 30 000 dolláros GPU ideje 30%-át a hálózaton várakozva tölti az összes-redukciós művelet során, akkor a fürt gyakorlatilag számítási kapacitásának 30%-áért tétlenül fizet. Ez a gazdasági oka annak, hogy a mesterséges intelligencia hálózata olyan nagy figyelmet kap.

A tervezést három terhelési jellemző határozza meg:

• Élénk keleti-nyugati forgalom.Az olyan kollektív kommunikációs műveletek, mint az all{0}}redukció, az összes-összegyűjtés és a szórás csökkentése-, egyidejűleg több csomóponton szinkronizált sorozatokat hoznak létre.
• Farok{0}}latencia érzékenysége.Egyetlen lassú csomópont késlelteti a teljes képzési lépést. A megjósolható késleltetés többet számít, mint az átlagos késleltetés.
• Csökkentse a növekedést-.A 32 GPU-val kezdődő klaszterek 18 hónapon belül gyakran 256-ra vagy 1024-re nőnek. Az anyagnak méretezhetőnek kell lennie újratervezés nélkül.

Miért illik a gerinc{0}}levél az AI-fürtökhöz?

A Spine{0}}leaf a hiperskálájú adatközpontok szabványos szövete, mivel minden szerverhez-szerverhez{2}}azonos ugrásszámot és elméleti sávszélességet biztosít. A mesterséges intelligencia terhelése esetén ez az egységesség közvetlenül kiszámíthatóbb edzési lépésekbe vezet.

A gerinc{0}}levél topológiájában a GPU-szerverek a levélkapcsolókhoz csatlakoznak, és minden egyes levél minden gerinchez csatlakozik. Bármilyen GPU-GPU-kommunikáció pontosan egy levelet, egy gerincet és egy további levelet keresztez. Nincsenek változó késleltetést vagy fojtópontokat bevezető összesítő rétegek.

Megjósolható késleltetés

Az egyenlő költségű több-útvonalú (ECMP) útválasztás szétosztja az áramlásokat a gerinckapcsolók között. Ha megfelelően van beállítva az adaptív útválasztással vagy a dinamikus terheléselosztással, ez megakadályozza a hash ütközéseket, amelyek miatt egyes folyamok sokkal lassabbak, mint mások - ez ismert probléma a statikus ECMP-szövetekben, amelyek kevés, de nagy áramlást hordoznak, és pontosan ezt generálja az AI-oktatás.

Nagy felező sávszélesség

A felező sávszélesség a fürt bármely két egyenlő fele között elérhető átviteli sebesség. A mesterséges intelligencia oktatásának előnye a nem-blokkoló vagy közel-nem-blokkoló kialakítás, ahol a levél---gerinc felfelé irányuló kapcsolati kapacitása megegyezik vagy csaknem megegyezik a szerverek felé eső lefelé irányuló kapcsolati kapacitással. Az IETF definiálja és tárgyalja ezeket a fogalmakatRFC 7938, amely lefedi a BGP{0}}routed Clos szöveteket, amelyeket széles körben használnak a nagy-adatközpontokban.

Könnyebb skálázás-ki

További kiszolgálók hozzáadásához adjon hozzá több levelet. Adjon hozzá több tüskét a nagyobb felező sávszélesség növeléséhez. A néhány ezer GPU-n túli fürtök esetében a szuper-spine (5-stage Clos) vagy a sínre optimalizált topológia ugyanezt az elvet egy réteggel tovább bővíti.

Az AI-fürthálózat alapvető összetevői

GPU szerverek és hálózati kártyák

A hálózati kártya az a hely, ahol a szövet találkozik a gazdagéppel. A mesterséges intelligencia-fürtökben a hálózati kártyák kiválasztása mindent megtesz a - kapcsolóport sebességének, az optikaválasztásnak és a kábelsűrűségnek.

A mesterséges intelligencia munkaterheléseinek kiválasztási kritériumai:

• Port sebesség:200G, 400G vagy 800G portonként. Illessze a GPU-generáláshoz és a PCIe sávszélességhez.
• PCIe generáció:A 400 G-os hálózati kártyához PCIe Gen5 x16 szükséges, hogy elkerülje a gazdagép oldali-szabályozást. PCIe Gen4 x16 sapkák ~256 Gbps-on használhatók.
• RDMA és RoCEv2 támogatás:Szükséges a kernel{0}}megkerüléséhez a GPU kommunikációs könyvtáraihoz, például az NCCL-hez.
• GPUDirect RDMA:Lehetővé teszi a közvetlen GPU-t-a-NIC DMA-ra, eltávolítva a gazdagép memória másolatait.
• Többsínes{0}}képesség:Sok mesterséges intelligenciaszerver csomópontonként 4 vagy 8 hálózati kártyát használ, GPU-páronként egyet a vasúti-optimalizált topológiákhoz.

Egy tipikus 8 GPU-s szerver manapság vagy 4 × 400 G NIC-et (egyet két GPU-nként), vagy 8 × 400 G NIC-et (egyet GPU-nként) használ a munkaterheléstől és a költségvetéstől függően. Referencia architektúrák innenNVIDIA hálózati dokumentációrészletesen fedje le a tervezési kompromisszumokat.

Levél és gerinc kapcsolók

A mesterséges intelligencia szövetek kapcsolóválasztási kritériumai eltérnek a vállalati kiválasztási kritériumoktól. A puffer mérete, a torlódáskezelési viselkedés és a telemetria többet jelent, mint a funkció szélessége.

• Portsebesség és radix szerint-:Az 51,2 Tbps-os kapcsoló ASIC 64 × 800 G vagy 128 × 400 G portot biztosít. A Radix meghatározza, hogy az anyag milyen lapos lehet.
• Puffer architektúra:A mély pufferek elnyelik az incast sorozatokat, de növelik a késleltetést. A sekély pufferek csökkentik a késleltetést, de pontos torlódáskezelést igényelnek.
• RoCE funkciókészlet:ECN-jelölés, PFC, DCQCN vagy ezzel egyenértékű torlódáskezelés, valamint a prioritásos várólisták megfelelő kezelése a végétől-végéig-.
• Telemetria:Inband hálózati telemetria (INT), -sormélység-jelentés és mikromásodperces-felbontásszámlálók az ECN-jelekhez és a PFC-szünetekhez.

Optika, DAC és AOC kábelezés

400 G és 800 G esetén a kábelezési üzem valódi mérnöki problémává válik. A formai tényezők, a linkköltségvetések és a kitörési konfigurációk mind korai tervezést igényelnek.

• DAC (Direct Attach Copper):Akár ~3 méter 400G-hoz, a legalacsonyabb költség és a legkisebb teljesítmény. Nehéz és terjedelmes méretben.
• AOC (aktív optikai kábel):Akár ~30 méter, vékonyabb, mint a DAC, de fix-hosszúságú, és mindkét végén optikai áramot fogyaszt.
• Csatlakoztatható optika:Az AOC távolságon túl kötelező. A QSFP-DD és OSFP formai tényezők uralják a 400G/800G-t. Az MPO/MTP szálas szerelvények kezelik a párhuzamos -szálas csatlakozásokat.

Az inter-rack kapcsolatok és a 400G/800G strukturált kábelezés esetében az MPO-végződéseken keresztüli párhuzamos optika már alapfelszereltség. A főkábelek és a leválasztó szerelvények közötti választás a kapcsolóportok kiosztásától függ - lásd a mi oldalunkatMPO kiszakító kábelvezetőa gyakorlati kiválasztási logika, és a tágabb értelembenMPO törzs és kitörés összehasonlításaa levél{0}}a-gerinc közötti futás megtervezésekor.

RoCE és veszteségmentes Ethernet az AI-szövetekben

A RoCEv2 (RDMA over Converged Ethernet v2) az AI-munkaterhelések domináns Ethernet-átvitele. Lehetővé teszi, hogy a hálózati kártyák közvetlenül mozgassanak adatokat a GPU memóriarégiói között anélkül, hogy a kernel mindkét oldalon részt venne. Az NCCL, a szinte minden elosztott képzési keretrendszer alapjául szolgáló GPU kommunikációs könyvtár, a RoCEv2-t használja, ha az InfiniBand nem elérhető.

A RoCE jól működik, ha megfelelően van beállítva. Rosszul konfigurálva csúnyán meghibásodik. AInfiniBand Kereskedelmi Egyesületközzéteszi a RoCE specifikációit, és a legtöbb hálózati kártya és kapcsológyártó részletes konfigurációs útmutatókat ad ki, amelyeket a végétől{0}}végig- kell követni.

Miért számít a veszteségmentes viselkedés?

Az RDMA-t veszteségmentes szállítást feltételezve tervezték. Ha a csomagok kiesnek, az RDMA helyreállítása költséges - go-back-. Az N újraküldés ezredmásodpercekre leállíthatja a betanítási lépést, ami a mikroszekundumos-skálájú RDMA-költségvetéshez képest óriási.

Az Ethernet veszteségmentes viselkedésének közelítése érdekében a szövet két mechanizmust használ együtt:

• PFC (Priority Flow Control, IEEE 802.1Qbb):A kapcsoló szünetelteti a bejövő forgalmat egy adott prioritású sorban, amikor a puffer megtelik. Ez egy utolsó-mechanizmus.
• ECN (Explicit Congestion Notification, RFC 3168):Megjelöli a csomagokat, ha a várólisták közelítenek egy küszöbértékhez. A hálózati kártya csökkenti a küldési sebességet, mielőtt a pufferek ténylegesen megtelnének, ideális esetben teljesen elkerülve a PFC-t.

A cél az, hogy az ECN szinte az összes torlódáskezelést elvégezze, a PFC-vel biztonsági hálóként. Ha állandó -állapotú forgalom mellett gyakori a PFC szüneteltetése, akkor az ECN küszöbértékei rosszak, vagy az anyag mérete alulméretezett.

Gyakori RoCE telepítési hibák

Hogyan tervezzünk MI-fürthálózatot: működő keretrendszer

Ez az a rész, amelyet a legtöbb „AI hálózatépítés” cikk kihagy. Az alábbi hét lépés konkrét bemeneteket és kimeneteket ad minden szakaszban.

1. lépés: Határozza meg a munkaterhelést és a léptéket

Bemenetek:Munkaterhelés típusa (előképzés, finom{0}}hangolás, következtetés, vegyes), cél GPU-szám ma, cél GPU-szám 18 hónap múlva, modellméret-tartomány.

Kimenet:Egy munkaterhelési profil, amely tájékoztat a hálózati kártya sebességéről és a túljelentkezési tűrésről. A határmodellek nagy előképzéséhez nem-blokkoló 400 G+ szövetekre van szükség. A finom-munkaterhelések elviselik a 2:1 arányú túljelentkezést. A következtetési klasztereknek gyakran kisebb sávszélességre, de kisebb késleltetésre van szükségük.

2. lépés: Válassza ki a NIC sebességet és a szerverenkénti számot

Döntési logika:

• Nagy modellek, 8 GPU-s szerverek előképzése → szerverenként 4–8× 400G NIC vagy 4×800G
• Közép-kiképzés, 8 GPU-s szerverek → szerverenként 2–4 × 400 G NIC
• Következtetés kiszolgálás → 1–2 × 200G vagy 400G NIC szerverenként, a modell párhuzamosságától függően

Ellenőrizze a PCIe sávszélességet a gazdagépen. Egyetlen 400G porthoz PCIe Gen5 x16 szükséges a vonali sebességű működéshez; a 800G-ra való duplázáshoz Gen6 szükséges, vagy két slot között kell felosztani.

3. lépés: Mérje meg a levélréteget

Működő példa: - 32-csomópontfürt, 8 GPU csomópontonként, 4 × 400 G NIC csomópontonként:

• Összes szerveroldali-port: 32 × 4=128 port 400 G-nál
• Lefelé irányuló kapcsolati sávszélesség csomópontonként: 4 × 400=1.6 Tbps
• A fürt teljes lefelé irányuló sávszélessége: 32 × 1.6=51.2 Tbps

Egy 64 portos 400G-os levélkapcsolóval (25,6 Tbps teljes kapacitással) minden levél 32 szerverportot tud csatlakoztatni, a fennmaradó 32 portot pedig uplinkként használhatja. 4 lappal lefedi mind a 128 szerverportot. Minden egyes levél 32 × 400 G=12.8 Tbps felfelé irányuló kapcsolatot biztosít a gerinc felé.

4. lépés: Mérje meg a gerincréteget

Nem -blokkoló (1:1) kialakítás esetén a teljes felfelé irányuló kapcsolati kapacitásnak meg kell egyeznie a teljes lefelé irányuló kapcsolati kapacitással. A 3. lépéstől:

• Összes szükséges levél felfelé irányuló kapcsolat: 4 levél × 12,8 Tbps=51.2 Tbps
• Ha mindegyik gerincnek 32 × 400 G portja van=12.8 Tbps, akkor 4 tüskére van szüksége
• Minden levél mind a 4 tüskéhez csatlakozik, gerincenként 8 felfelé irányuló kapcsolattal (8 × 400 G × 4=12.8 Tbps levelenként - egyezés)

Ha 64 portos 400G gerinckapcsolókat használ, mindegyik gerincnek van szabad kapacitása a fürt bővítéséhez, ami hasznos az 1. lépéstől kezdődő 18 hónapos tervhez.

5. lépés: Állítsa be a túljelentkezési arányt

6. lépés: A számítási, tárolási és kezelési forgalom különválasztása

Három lehetőség az elszigeteltség növelésének sorrendjében:

• Megosztott szövet QoS osztályokkal:Számítás, tárolás és kezelés különálló DSCP prioritásokon. A legalacsonyabb költség; gondos QoS konfigurációt igényel.
• Logikailag elválasztott VLAN-ok/VRF-ek:Ugyanaz a hardver, külön vezérlősíkok. Hasznos több-bérlős klasztereknél.
• Fizikailag különálló szövetek:Dedikált hálózati kártyák, kapcsolók és kábelezés a számításokhoz és a tároláshoz. A legmagasabb költség; gyakori a határ-modellklaszterekben, ahol minden vita elfogadhatatlan.

A mesterséges intelligencia tárolóforgalma maga is nagy - ellenőrzőpont írása egy nagy modellnél több száz gigabájtot képes mozgatni rövid sorozatokban. Tervezze meg kifejezetten. Nagy-sűrűségű strukturált kábelezési üzemMPO/MTP törzskábelekleegyszerűsíti a párhuzamos szövetek futtatását ugyanabban a fizikai infrastruktúrában.

7. lépés: Érvényesítés a gyártás előtt

A hálózati-szintű tesztek bizonyos problémákat észlelnek. A terhelési-szintű tesztek a többit megfogják.

• Sávszélesség:iperf3 vagy ib_send_bw minden csomópontpár között; el kell érnie a hálózati kártya sebességének 90%-át.
• Késés:ib_read_lat vagy hasonló; ellenőrizze az eloszlást, nem csak az átlagot. A P99.9 többet számít, mint az átlagos.
• Csomagvesztés:Futtasson 24-órás beázási tesztet terhelés alatt; minden nem nulla veszteség a RoCE forgalmi osztályban probléma.
• Az ECN jelölés viselkedése:Ellenőrizze, hogy a jelek megjelennek-e a PFC bekapcsolása előtt; ha állandósult állapotban gyakoriak a PFC szünetek, hangoljuk újra.
• Kollektív kommunikáció:Futtasson NCCL-teszteket (all_reduce_perf, all_gather_perf) a teljes fürtmérettel. Hasonlítsa össze a szállítói hivatkozási számokkal.
• Munka{0}}szintű teszt:Futtasson egy reprezentatív képzési munkát 4-6 órán keresztül. A GPU-kihasználtság - 50% alatti tartós értékei megfelelő méretű-méret esetén általában hálózati problémát jeleznek.

Hagyományos adatközponti hálózat kontra AI gerinc{0}}levélszövet

Ethernet RoCE vs InfiniBand: Gyors döntési útmutató

A kérdés szinte minden mesterséges intelligencia-fürt projektben felmerül. Mindkettő működik. A választás általában a működési illeszkedéstől függ, nem a tiszta teljesítménytől.

• Válassza az InfiniBandet, ha:Csapata már üzemeltet InfiniBand textileket, Ön a veszteségmentes szállítás legegyszerűbb útját szeretné elérni, vagy teljesen{0}}integrált szállítói referenciaarchitektúrát vásárol.
• Válassza az Ethernet RoCE-t, ha:Az Ön üzemeltetési csapata Ethernet{0}}natív, több-szállító kapcsolót szeretne, integrálnia kell az AI-szövetet a meglévő adatközpont-hálózatokkal, vagy a jelenlegi InfiniBand topológiák által támogatott mértéken túli méretezésre számít.

A 2023-ban megalakult Ultra Ethernet Konzorcium aktívan dolgozik az Ethernet fejlesztések szabványosításán, kifejezetten az AI-munkaterhelésekhez. 2026-ban a legtöbb új fürt esetében az Ethernet RoCE védhető alapértelmezett, hacsak nincs konkrét ok az ellenkező választásra.

Gyakori hibák, amelyeket el kell kerülni

Kapcsolók frissítése a hálózati kártyák ellenőrzése nélkül

A 800 G-s kapcsolószövet nem tesz semmit, ha a hálózati kártyák 400 G-on futnak, vagy a gazdagép PCIe-je kifogy a sávszélességből. Tervezze meg először a gazdagép oldalt, majd a kapcsoló oldalt. A PCIe Gen5 x16 egyetlen portot körülbelül 504 Gb/s-ra korlátoz- a valós világban - kényelmes, 800 G esetén marginális.

A portsebesség optimalizálása, de a kábelsűrűség figyelmen kívül hagyása

A 64-port 400G elhagyásakor az egyes switchek alatti kábelezés tervezés nélkül fizikailag kezelhetetlenné válhat. Adott esetben használjon kiszakítókábeleket, vezesse át a szálakat strukturált útvonalakon, és szabványosítsa a csatlakozótípusokat. A csatlakozók minősége és a végződés nagy sebességnél számít – a miénkszáloptikai csatlakozó típusok útmutatójalefedi az LC, az MPO és a feltörekvő nagy{0}}sűrűségű alaktényezők közötti kompromisszumokat.

A RoCE kezelése Plug{0}}and-Playként

A valódi mesterségesintelligencia-fürtök legnagyobb tervezési hibája az, hogy nem választják ki a rossz kapcsolót -, hanem alábecsülik, hogy mennyi RoCE-konfigurációs munka szükséges a végétől-végig-. Költségvetési idő az ECN küszöbértékek, a PFC prioritások és az MTU konzisztenciájának beállításához. Tervezzen meg egy dedikált érvényesítési fázist, mielőtt bármilyen termelési munkaterhelés futna.

Az összes forgalom keverése egy szöveten QoS nélkül

A tárolóreplikáció, a megfigyelő ügynökök és a felügyeleti forgalom csökkentheti a képzési lépések idejét, ha puffereket osztanak meg a számítási forgalommal. Vagy fizikailag különítse el őket, vagy kényszerítsen szigorú QoS osztályokat külön prioritásokkal és ECN-konfigurációval.

Épület csak a mai klaszter számára

A legtöbb mesterségesintelligencia-klaszter 4-8-szorosára nő a kezdeti bevezetést követő két éven belül. Válasszon olyan kapcsoló radixot és gerinckapacitást, amely lehetővé teszi a zavartalan terjeszkedést-. A kábelek húzása egy élő mesterséges intelligencia adatközpontban drága; A vezeték és a javítási kapacitás tervezése a telepítés idején olcsó.

Mikor érdemes 400 G-ról 800 G-ra emelni?

800G NIC-ek és kapcsolók kaphatók, de portonként drágábbak. Fontolja meg az emelést, ha:

• A per-GPU-nkénti sávszélesség-igény meghaladja a 400 G által biztosított értéket - például a H100 és az újabb GPU-k NVLink 5-tel nagyobb külső sávszélességre számítanak
• Az NCCL minden{0}}csökkenti az időket, rosszul skálázódik a fürtmérettel, ami a hálózat telítettségét jelzi
• A 400G-os kábelsűrűség fizikailag kezelhetetlenné válik - kevesebb 800G-os port helyettesíthet több 400G-os portot
• Az ütemtervben szereplő következő GPU-generációnak várhatóan szüksége lesz rá a fürt értékcsökkenési időszakán belül
• Ön egy határvonalú-modellképzési klasztert épít, ahol a számítások üresjárati ideje lényegesen többe kerül, mint az optika frissítése

A legtöbb termelési klaszter 2026-ban továbbra is a 400G jelenti a megfelelő egyensúlyt a költségek, az ökoszisztéma érettsége és a képességek között. 800A G-nek van értelme a csúcskategóriában, és előremutató befektetésként a ma épülő klaszterek számára, amelyek várhatóan 4–5 évig fognak működni.

Következtetés

A legerősebb AI-fürthálózat nem az, amelyik a leggyorsabb kapcsolókkal rendelkezik. Ez az, ahol a hálózati kártya választása, a levél/gerinc méretezése, a túljelentkezés, a RoCE konfiguráció, a forgalom elkülönítése és a fizikai kábelezés egyaránt támogatja egymást és azt a munkaterhelést, amelyre kiválasztották.

Kezdje a munkaterheléssel és a 18-hónapos növekedési tervvel. Számítsa ki az egyes rétegek sávszélesség-szükségletét valós számokkal, ne csak hüvelykujjszabályokkal. Konfigurálja a RoCE végét-végig-, és érvényesítse valódi kollektív kommunikációs referenciaértékekkel. A kábelezési üzem költségvetése – 400 G és 800 G esetén a fizikai réteg már nem triviális.

Az a klaszter, amely minden betanítási lépés során 95%-os+ kihasználtsággal tartja elfoglalva GPU-it, az az, amelyik figyelmet fordított ezekre a rétegekre. A gyorsabb kapcsolóval és lassabb szövettel szállított klaszter éveket fog tölteni azzal, hogy megmagyarázza, miért tétlenek a GPU-k.

További olvasás

• RFC 7938 - BGP nagy-méretű adatközpontokban
• InfiniBand Trade Association - RoCE specifikációk
• NVIDIA hálózati dokumentáció
• Száloptikai kábel telepítési útmutató
• A beillesztési veszteség és a visszatérési veszteség magyarázata