A GPU-fürtben a hálózat nem támogató réteg -, hanem eldönti, hogy a drága gyorsítók végeznek-e számításokat vagy tétlenül várják az adatokat. Az AI-fürthálózat közvetlenül befolyásolja a képzési sebességet, a GPU kihasználtságát és a munkavégzés idejét, és nagyon eltérően viselkedik, mint egy általános célú adatközponti hálózat. Ez az útmutató leírja, hogyan lehet veszteségmentes szövetet tervezni a GPU-munkaterheléshez: topológia, RoCEv2 konfiguráció, 400G/800G optika és kábelezés, valamint az érvényesítés, amely elválasztja a sávszélesség-teszten átmenő szövetet attól, amelyik ténylegesen befejezi a képzési feladatokat.
AI Cluster Network Design
A jól felépített mesterséges intelligencia-fürtszövet elválasztja az előtér- és a háttérforgalmat, nem-blokkoló vagy alacsony-túljelentkezési levél-gerinc-topológiát használ a háttérben, a RoCEv2-t PFC-vel, ECN-nel és DCQCN-vel futtatja, így az ECN alapértelmezés szerint a PFC-t megelőzően jár el, ahelyett, hogy az ECN az alapértelmezett PFC-t megelőzően járna el, és az ECN-vel nagy terhelést terjeszt. Egyedül a 400 G-n szabványosít ma már egyértelmű úttal a 800G-ig, és telemetriával hitelesítették a mesterséges intelligencia ellen, például a kollektív forgalommal -, nem csupán egyszerű átviteli tesztekkel.
AI-fürthálózat-tervezés egy pillantásra
| Döntés | Javasolt alapértelmezett |
|---|---|
| Forgalmi tartományok | Külön front- és backend szövetek |
| Háttér topológia | Levél-gerinc, nem-blokkoló vagy alacsony túljelentkezés |
| Szállítás | RoCEv2 PFC + ECN + DCQCN funkcióval |
| Terheléselosztás | Torlódás-tudatos / dinamikus, nem egyedül az alapértelmezett ECMP |
| Port sebesség | 400G most, a tervezett 800G migrációval |
| Érvényesítés | Telemetria plusz kollektív (NCCL) forgalom, nem csak iperf |

Mi az AI Cluster Networking?
Az AI-fürthálózat az a nagy{0}}teljesítményű szövet, amely összekapcsolja a GPU-szervereket, a tárolókat, a felügyeleti csomópontokat és néha több adatközpont-domaint képzés vagy következtetés céljából. Egyetlen fürt több forgalmi típusú - GPU-to-GPU kommunikációt, RDMA-t a szerverek között, tároló olvasást és írást, adatkészlet-feldolgozást, ellenőrzőpontozást, naplózást és hangszerelést - végez, de a legteljesítményre-legérzékenyebb rész a háttérrendszer, amely a GPU-ra osztott forgalmat továbbítja. Ha ez a szövet lassú vagy kiszámíthatatlan, a GPU-k számítás helyett várnak.
Ez az oka annak, hogy az AI-szövetet másként ítélik meg, mint egy normál adatközponti hálózatot. A nyers sávszélesség számít, de a várakozási idő konzisztenciája, a torlódási viselkedés, a csomagvesztés, a telemetriai mélység, a topológia és még az optikai energiafogyasztás is számít.
Miért terhelik másképp az AI-munkaterhelések a hálózatot?
Az elosztott képzés folyamatosan szinkronizálódik
A nagy modellek számos GPU-n keresztül képződnek, amelyek a színátmeneteket és az aktiválásokat koordinált fázisokban - kollektív mintákat cserélnek, mint például az All-Reduce és az All-to-all. A következmény tompa: a leglassabb út egy egész edzési lépést késleltethet. Még ha a linkek 99%-a egészséges is, egy zsúfolt rack-a-gerinc linkje egy GPU-t olyan kóborlóvá változtathatja, amelyre mindenki más vár.
A farok késése a GPU-kat pazarolja, nem az átlagos késleltetést
Az átlagos késleltetés itt rossz mérőszám. Mivel egy szinkronizálási lépés megvárja az utolsó GPU megérkezését, egy maroknyi késleltetett csomag visszatarthatja az egész munkát. A 256-os GPU-s klaszteren egyetlen hot spine link, amely az egyik sínhez a hátsó késleltetést növeli, lecsökkentheti a munkavégzés kihasználtságát.
Az AI-forgalom elefántfolyamokból áll
A hagyományos hálózatok sok kis áramlással zsonglőrködnek; Az AI-fürtök néhány nagy, -hosszú élettartamú GPU--–-GPU-folyamot generálnak. Az alapértelmezett ECMP-kivonat a folyamokat osztja el, nem a bájtokat, így amikor több elefántfolyam hash ugyanarra a rack-re-a-gerinc linkre, akkor ez a hivatkozás felforrósodik, míg a párhuzamos hivatkozások tétlenül állnak -, ami a várakozási idő felhalmozódását, a késleltetési csúcsokat eredményezi, és végül leesik. A nagyobb portsebesség önmagában nem oldja meg ezt: a 400G-s kapcsolat továbbra is torlódik, ha az elefánt rosszul ereszt rá hash-t.
A csomagvesztés különösen drága
A hagyományos TCP tolerálja a veszteséget; A RoCEv2{2}}alapú RDMA nem. A szövet várhatóan alacsony-veszteséggel vagy veszteségmentesen viselkedik, és a torlódások során bekövetkező csökkenések összeomlhatják az RDMA teljesítményét. Ez az oka annak, hogy egy RoCEv2 szövetnek szándékos veszteségmentes tervezésre van szüksége, nem pedig a legjobb továbbításra.
Az AI-fürthálózat alapvető követelményei
Egy jó háttérhálónak egyszerre több követelménynek is meg kell felelnie: nagy felező sávszélesség, így sok GPU képes egyszerre beszélni anélkül, hogy a szövet szűk keresztmetszetré válna; alacsonyés kiszámíthatókésleltetés, mivel az időnkénti torlódási csúcsok ugyanolyan károsak, mint a magas átlagos késleltetés; veszteségmentes vagy közel{0}}veszteségmentes szállítás RoCEv2-hez; egy topológia, amely ugrások és kábelek felhalmozása nélkül skálázódik; és mély működési láthatóság. Ezen az utolsó ponton - telemetria nélkül a csapatok rutinszerűen félrediagnosztizálják a hálózati torlódásos problémát, mint GPU-t vagy számítási problémát, és napokat égetnek el rossz réteget kergetve.
AI Cluster Network Architecture: Frontend vs Backend Fabric
A legkövetkezményesebb korai döntés az, hogy elválasztjuk-e a frontend hálózatot a háttérrendszer képzési szövetétől. A frontend felhasználói hozzáférést, kezelést, hangszerelést, megfigyelést, naplózást, tárolási hozzáférést, adatkészlet-feldolgozást és ellenőrzőpontok átvitelét biztosítja -, úgy nézhet ki, mint egy hagyományos adatközponti hálózat, bár a tárolás és az ellenőrzőpontok továbbra is valódi átvitelt igényelnek. A háttérrendszer a GPU-tól-a GPU-ig terjedő betanítási forgalommal foglalkozik, és RDMA-ra, alacsony késleltetésre, veszteségmentes szállításra és kiszámítható sávszélességre van optimalizálva.
Ez a szétválasztás nem elméleti. Meta publikált munkája aRoCE hálózatok az elosztott mesterséges intelligencia képzéshezpontosan leírja ezt a felosztást: egy frontend hálózat olyan feladatokhoz, mint például az adatfeldolgozás, az ellenőrzési pontozás és a naplózás, valamint egy dedikált háttérrendszerű RoCEv2 szövet, amely az RDMA hálózati kártyákat egy nem-blokkoló architektúrában köti össze a GPU-kommunikációhoz. Az övékSIGCOMM 2024 papír az RDMA-ról Etherneten keresztül meta-skálánugyanazt az ötletet fogalmazza meg tervezési elvként: először értse meg a munkaterhelést, majd válassza le a GPU-képzést a saját háttérhálózatára, hogy az önállóan fejlődhessen és skálázható legyen.
Miért kifizetődő: a domainek szétválasztása javítja a teljesítmény kiszámíthatóságát, a hibaelhárítási egyértelműséget, az elszigeteltséget és a torlódások{0}}vezérlésének hangolását. Ha a tárolás, a menedzsment és a képzés egy szöveten osztozik gondos QoS nélkül, akkor egy nehéz ellenőrzőpont-írás a lehető legrosszabb pillanatban leállíthatja a képzési kommunikációt. A Meta tervezésében a levélkapcsolók egy rack-en belül kapcsolják össze a GPU-kat réz DAC felett, míg a rack-to{4}}gerinc kapcsolatok egy-módusú optikai szálon futnak 400G-os adó-vevőkkel - egy minta, amely tisztán illeszkedik a strukturált formákra.MPO/MTP törzskábelezésa levél és a gerinc szintjei között.

RoCEv2 és veszteségmentes Ethernet: Hogyan működnek együtt
Az RDMA (Remote Direct Memory Access) lehetővé teszi egy rendszer számára, hogy a CPU minimális bevonásával olvassa vagy írjon egy másik rendszer memóriáját, ami lehetővé teszi az alacsony-késleltetésű, nagy{1}}áteresztőképességű GPU-–-GPU átvitelt. A RoCEv2 ezt az RDMA-forgalmat Etherneten keresztül továbbítja azáltal, hogy UDP/IP-be zárja, így a szövetet szabványos Ethernet-kapcsolásra építheti.
A vonzereje az ökoszisztéma kiterjedtsége. Az Ethernet hatalmas beszállítói bázissal, kiforrott működéssel, valamint a kapcsolószilícium, az optika és a szerszámok gyors fejlődésével rendelkezik. AUltra Ethernet konzorciumezt teszi központi érvként: egy nyitott, interoperábilis, több gyártótól származó Ethernet-verem, amelyet immár az 1.0-s specifikációjában formalizáltak, és az AI- és HPC-hálózatok skálázására készült, -gyártói bekötés nélkül. Az NVIDIA a termékoldalról - ugyanezt az irányt nyomta elSpectrum{0}}X Ethernet platformkifejezetten mesterséges intelligencia számára tervezett Ethernetként van elhelyezve, amely veszteségmentes szállítást, adaptív útválasztást és hálózati telemetriát ad hozzá a szabványos Ethernethez.

A RoCEv2 veszteségmentes szövet, alkatrészenként
A "veszteségmentes" nem egyetlen kapcsoló, hanem együttműködő mechanizmusok halma. Az alábbi táblázat azt mutatja meg, hogy egy tervezésnek milyen részletességi szintre van szüksége.
| Összetevő | Szerep | Miért számít |
|---|---|---|
| Forgalmi besorolás (DSCP/PCP) | Az RDMA-t a veszteségmentes osztályba helyezi | A rossz jelölés az RDMA-t veszteséges sorba küldi |
| ŐRVEZETŐ | Link{0}}szintű szünet az esések elkerülése érdekében | Biztonsági háló; a helytelen használat szünetviharokat és -felső-vonallezárást okoz |
| ECN | Megjelöli a csomagokat, mielőtt a várólisták túlcsordulnának | A PFC előtt aktiválnia kell, hogy hasznos legyen |
| DCQCN | ECN/CNP visszacsatolás által vezérelt NIC sebességszabályozás | Csökkenti a PFC-k működésének gyakoriságát |
| Dinamikus / adaptív terheléselosztás | Elefántfolyamokat terjeszt az ösvényekre | Az alapértelmezett ECMP-kivonat forró és tétlen marad |
| Telemetria | Felfedi a cseppeket, az ECN-jeleket, a PFC-szüneteket, a sormélységet | Az egyetlen módja annak, hogy a szövet egészségét a munka egészségével korrelálja |
Ezeket össze kell hangolni. A kritikus kapcsolat az, hogy az ECN-küszöbnek ülnie kellalatta bemeneti PFC küszöböt, így a küldők lelassulnak, mielőtt szüneteltetni kellene a kereteket. BorókaDCQCN dokumentációpontosan leírja ezt a kiegyenlítő műveletet: hagyja, hogy az ECN végezze el az áramlásszabályozást az átviteli sebesség korai csökkentésével, így a PFC -, amely teljesen leállítja az áramlást -, minimálisra csökken. Túl magasra állítsa be az ECN-t, és a PFC először és gyakran aktiválódik; túl agresszíven konfigurálja a PFC-t, és szünetviharokat kap.
Mit jelent ez a gyakorlatban: A PFC-számlálók nem sikermutatók. Ha a PFC szünetkeretek egyenletesen emelkednek a normál edzési futások során, akkor a szövet nem egészséges - a forgalom szüneteltetésével túléli a torlódást. Az igazán egészséges anyag azt mutatja, hogy az ECN végzi a munkát, a PFC pedig ritkán vonzza.
Gyakori mesterséges intelligencia-fürt-hálózati kihívások és megoldásuk
1. kihívás: A farok késése és a vándorlók
Probléma:a szinkronizált képzésben egy lassú út késlelteti az egész munkát.Tedd meg:tartsa alacsonyan a háttérprogramot-hop; elkerülje a szükségtelen túljelentkezést; figyelje a farok késleltetését, ne az átlagokat; torlódás{1}}tudatos terheléselosztás használata; pontról-pontra-tesztek helyett kollektív forgalmi mintákkal kell érvényesíteni.Gyakorlatban:Egy olyan feladat, amelynek GPU-kihasználása minden szinkronizálási intervallumot kimerít, általában nem számítási korlátot, hanem eltántorgó utat talál.
2. kihívás: Torlódások és elefánt{1}}áramlási ütközések
Probléma:néhány nagy áramlás ugyanazon a linken landol, és létrehoz egy hotspotot.Tedd meg:ne hagyatkozzon az alapértelmezett ECMP-re egy nagy AI-szövet esetén; dinamikus/adaptív terheléselosztás engedélyezése; figyelje a{0}}linkenkénti gerinc kihasználtságát és a sormélységet; hagyja az ECN és DCQCN fojtószelep-jeladókat, mielőtt a torlódás továbbra is fennállna.Gyakorlatban:Az egyenetlen gerinc-kapcsolat kihasználtsága minden más névleges értékkel együtt a rossz áramlási kivonatolás jele, nem pedig az elégtelen sávszélesség.
3. kihívás: Méretezés 400G-ról 800G-ra
Probléma:a GPU-szám növekedésével az alacsonyabb{0}}sebességű linkek több kapcsolót, réteget, optikát és kábelezést kényszerítenek ki.Tedd meg:kiszámítja a szükséges sávszélességet GPU-nként és rackenként (a 8-GPU-s szerver 400 G-os NIC-vel GPU-nként egészen más szövet, mint a 200 G-s kialakítás); döntsön a nem-letiltással szemben a szándékos túljelentkezéssel szemben; vegye figyelembe a kapcsoló radixét, a port sebességét és a topológia mélységét együtt; tervezze meg a 400G-800G útvonalat, mielőtt rákényszerítené magát; tartsa az optikát, a kábelezést és az áramellátást a tervezésben az első naptól kezdve.
4. kihívás: Tápellátás, hűtés és optika kiválasztása
Probléma:Az AI szövetek komoly energiát fogyasztanak, különösen nagy portsebességek és optikai sűrűség esetén.Tedd meg:használja a DAC-t rövid in{0}}rack hivatkozásokhoz, ahol praktikus; használjon AOC-t vagy optikai adó-vevőket a hosszabb rack--to{2}}gerinchez; összehasonlítani a teljesítményt az optikai lehetőségek között; a termikus határértékek érvényesítése a nagy-sűrűségű portoknál; tervezése kábelezés és légáramlás együtt. Választás közöttegy-módusú és többmódusú adó-vevőknagyrészt az elérés -költséghez viszonyított{1}}döntése, és ezt linkosztályonként kell meghozni, nem egyszer a teljes klaszterre vonatkozóan.
Az optikai teljesítmény ma már elsőrendű-tervezési megkötés, nem lábjegyzet. Az NVIDIA dolgozik rajtaenergiahatékony AI-szövetek a Spectrum-X Ethernet fotonikávalközvetlenül illusztrálja a tendenciát: a co-csomagolt szilícium fotonikát a portonkénti teljesítmény-csökkentésre és a kapcsolati szárnyak csökkentésére használják a hagyományos csatlakoztatható optikához képest, pontosan azért, mert az adó-vevők a legnagyobb-teljesítményű és a legmagasabb-hiba-arányú alkatrészek közé tartoznak egy nagy klaszterben.
5. kihívás: A holtfoltok láthatósága és hibaelhárítása
Probléma:telemetria nélkül a hálózati probléma számítási problémának tűnik.Tedd meg:nyomon követi a csomagok csökkenését, az ECN-jeleket, a PFC-szüneteltetési kereteket, a sorok foglaltságát, a hivatkozási hibákat, a porthasználatot, az áramláselosztást, a hálózati kártya torlódási számlálóit, a GPU-kihasználást és a feladat befejezési idejét -, majd korrelálja a szöveti mérőszámokat az AI-feladat mérőszámaival. A csendesnek tűnő kapcsoló nem garantálja az egészséges edzésmunkát, a túlterhelt GPU pedig nem garantálja a hasznos előrehaladást.
RoCEv2 vs InfiniBand az AI Cluster Networkinghez
Mind a RoCEv2/Ethernet, mind az InfiniBand valódi AI és HPC fürtöket futtat; a választás a mérettől, a csapatkészségektől, az ökoszisztémától, a költségmodelltől és a működési céloktól függ. Az alábbi táblázat szerkesztői összehasonlítás, nem pedig abszolút rangsor - a helyes válasz a terhelés- és a szervezet-specifikus.
| Tényező | RoCEv2 / Ethernet | InfiniBand |
|---|---|---|
| Ökoszisztéma | Széles, többszállítós, ismerős műveletek | Erős HPC-örökség, kiforrott, nagy teljesítményű{0}}verem |
| Műveletek | Újrahasználja az Ethernet-készségeket, de gondos veszteségmentes hangolást igényel | Speciálisabb, szorosan összekapcsolt HPC-hez készült-célra |
| Beszerzési rugalmasság | Általában több szállítói választék | Gyakran egy integráltabb verem |
| Teljesítmény | Erős, ha megfelelően tervezték és hangolják | Alacsony késleltetéséről ismert a szorosan összekapcsolt klaszterekben |
| Méretezés | Szándékos topológiát, torlódáskezelést, telemetriát igényel | Erős lehetőségek a nagy HPC{0}}stílusú szövetekhez |
| Legjobb illeszkedés | Csapatok, akik Ethernet-rugalmasságra és mesterséges intelligencia{0}}kész RoCEv2-re vágynak | Az integrált, bizonyítottan szorosan összekapcsolt HPC-t előnyben részesítő csapatok |
Az igazi kérdés nem az, hogy melyik technológia nyer absztrakt módon. Ez az, hogy a kiválasztott szövet képes-e kiszámítható sávszélességet, alacsony késleltetést, alacsony veszteséget és működési láthatóságot biztosítani a megcélzott GPU-skálán.
GPU skála kontra hálózati tervezés
Egy 64-GPU-s laborfürt és egy több-GPU-s éles fürt nem ugyanaz a projekt, eltérő portszámmal. A lépték megváltoztatja a tervezést.
| Klaszter skála | Tipikus kialakítás | Elsődleges fókusz |
|---|---|---|
| Akár ~64 GPU (labor / pilot) | Egy-szintű vagy kicsi két-szintű levél-gerinc, gyakran egy tartományváltás | Helyes RoCEv2 konfiguráció, tiszta kábelezés, alapvonali telemetria |
| ~128–512 GPU | Nem-blokkoló két-szintű levél-gerinc, frontend/backend szétválasztás | Túljelentkezési cél, dinamikus terheléselosztás, ECN/PFC tuning |
| ~1000–4,000+ GPU (éles) | Több-szintű vagy vasúti-optimalizált, adat-központi-léptékű háttérrendszer | Topológia{0}}tudatos ütemezés, 400G/800G, teljesítmény és optikai sűrűség |
Lépésről--az AI Cluster Network Design Framework
1. lépés: Határozza meg a munkaterhelést és a GPU-skálát
Kezdje a munkaterheléssel, ne a kapcsoló modellel. Tisztázza a GPU-számot most és a következő ciklusban, függetlenül attól, hogy a munka betanítás, finomhangolás, következtetés vagy vegyes, a várható kollektív minták, az ellenőrzőpontok mérete, a tárolási forgalom mennyisége, és hogy a fürt egy- vagy több-bérlős-e.
2. lépés: Különítse el a forgalmi tartományokat
Döntse el, hogy mi tartozik a frontendhez a háttérhez képest: felügyelet, tárolás és ellenőrzési pont, képzés/RDMA és forgalom figyelése. Kisebb telepítéseknél elegendő lehet a logikai elválasztás a VLAN-okkal és a QoS-szel; nagyobb fürtök esetében a frontend és a háttérrendszer fizikai szétválasztása általában könnyebben kezelhető és megfontolható.
3. lépés: Válassza ki a topológiát és a túljelentkezési célt
A Leaf{0}}spine az alapértelmezett a méretezhető AI Ethernet szöveteknél. Határozzon meg egy, kettő vagy több szintet; nem-blokkolás a túljelentkezéssel szemben; GPU-k rackenként; NIC-k szerverenként; uplink sebesség és szám; a gerinc kapacitása; és hibatartomány mérete. A háttér-képzési forgalom esetében az alacsonyabb túljelentkezés növeli a kiszámíthatóságot -, és ha túljelentkezést tesz, akkor ezt a mért terhelési viselkedésen alapuló szándékos aránynak tegye, ne pedig a portszámlálások véletlenén.
4. lépés: Válassza ki a kapcsoló sebességét és a portsűrűséget
Válasszon váltási platformokat a szükséges sávszélesség, topológia és növekedés alapján - a 400G versus 800G, radix, teljes kapacitás, pufferarchitektúra, RoCEv2/PFC/ECN/DCQCN támogatás, telemetria, portonkénti teljesítmény és NOS/automatika értékelésével. Ne csak a sebességet értékelje: a megfelelő torlódás-szabályozás, pufferelés és telemetria nélküli gyors váltás továbbra is problémákat okoz az AI-forgalom során.
5. lépés: Tervezze meg a hálózati kártyákat, az optikát, a DAC/AOC-t és a kábelezést
A szövet több, mint kapcsolók. Tervezze meg a GPU-nkénti NIC-sebességet, a NIC-to-kapcsolási típust, a DAC-t a rövid rézkapcsolatokhoz, az AOC-t és az optikai modulokat a hosszabb futásokhoz, az egymódusú optikát a távolsághoz, valamint a szálas üzemet, a javítási elrendezést, a címkézést és a szolgáltatáshoz való hozzáférést. Itt fontos a csatlakoztatható forma kialakítása - aQSFP-DD és OSFP űrlap-tényezők áttekintéseérdemes egy pillantást vetni, mielőtt 400G/800G-nél kapcsoló- és NIC-portokat helyez el. A kábelezési oldalon egy nagy-sűrűségű kapcsolóport kiszolgálónkénti-kapcsolatokra bontása általában azt jelenti,MPO-–-LC áttörési kábelezés, és a szálminőséget a távolsághoz kell igazítani - a gyakorlatitöbbmódusú szál elérési határértékei (OM1–OM5)döntse el, hogy hol működik még a több mód, és hol szükséges az egy{0}}mód. A rossz kábelezés megkeserítheti a műszakilag helyes topológia működését.
| Link osztály | Tipikus távolság | Közös választás |
|---|---|---|
| Az-állványban lévő GPU-a-lapra | ~3 m alatt | DAC (réz) |
| Szomszédos{0}}állvány | ~3–7 m | AOC vagy DAC |
| Levéltől-a-gerincig egy csarnokon belül | Több tíz métertől ~100 m-ig | Többmódusú (OM4/OM5) + SR optika, vagy egyszeri-mód |
| A csarnokokon át / DC-skálán | ~100 m-től 2 km-ig | Egy-módusú + 400G/800G adó-vevők |
6. lépés: Konfigurálja a veszteségmentes szállítást és a torlódásvezérlést
Ez a telepítés legérzékenyebb része. Helyesen osztályozza a RoCEv2 forgalmat és rendelje hozzá a megfelelő prioritáshoz; engedélyezze a PFC-t ezen a prioritáson; állítsa be az ECN-küszöbértékeket a PFC-küszöb alá; ellenőrizze, hogy a hálózati kártyák végrehajtják a tervezett DCQCN választ; tartsa távol a nem kapcsolódó forgalmat a veszteségmentes osztályból; és kifejezetten tesztelje a szüneteltető viharokat és a vonalblokkolást-. Kezelje a PFC-t biztonsági mechanizmusként, ne úgy, mint a túlterhelt hálózat mindennapi működését.
7. lépés: Érvényesítse telemetriával és AI-hoz hasonló{1}}tesztforgalommal
Az éles feladatok futtatása előtt ellenőrizze a végpontok közötti sávszélességet-végekig-, a késleltetési eloszlást, a késleltetést, a csomagkieséseket, az ECN-jelölési viselkedést, a PFC-szünet gyakoriságát, a link-hiba helyreállítását, az áramláselosztást és a GPU-feladatok teljesítményét terhelés alatt. Az egyszerű iperf áteresztőképesség nem elég - ellenőrizze az ECN-jelölést, a PFC-szünet, a sormélység és az NCCL mind-csökkenti a teljesítménytegyütt, mert a pont{0}}pont-teszteken átmenő szövet még mindig megfulladhat a szinkronizált kollektív kommunikációban.
GYIK: AI Cluster Networking
K: Valóban helyettesítheti-e a RoCEv2 az InfiniBandot az AI-képzésben?
V: Sok fürt esetében igen -, ha az Ethernet-szövet megfelelően van megtervezve és hangolva. A nagy üzemeltetők termelési képzést folytatnak RoCEv2 háttérrendszereken, és mind az Ultra Ethernet Consortium, mind a szállítói platformok, például az NVIDIA Spectrum-X kifejezetten az AI-teljesítmény felé tolják az Ethernetet. A figyelmeztetés az, hogy a RoCEv2 szándékos veszteségmentes tervezést igényel; nem "csak úgy működik" a dobozból, ahogyan egy célra{7}}épített HPC szövet.
K: Mikor van szükségem valójában 800 G-ra 400 G helyett?
V: Amikor a -GPU-nként és-rackenkénti sávszélesség-igény meghaladja azt, amit a 400G-s kapcsolatok képesek rétegek, kábelek és optika hozzáadása nélkül szállítani. A sűrű szerverek nagy sebességű NIC-vel GPU-nként, és a nagyobb fürtök, ahol egyébként túlzott előfizetés kúszna be, a szokásos triggerek. Tervezze meg korán a migrációs utat, így a 800G egy lépés, nem pedig újratervezés.
K: Mi történik, ha a PFC rosszul van konfigurálva?
V: A rossz PFC-konfiguráció szüneteltető viharokat, -fej-vonalblokkolást és torlódások terjedését okozhatja, ahol egy link szüneteltetése visszatartja a forgalmat a szöveten. Ezért kell az ECN-nek vinnie a torlódásjelző jelzések nagy részét, a PFC-nek pedig ritkán kell bekapcsolnia; az emelkedő PFC-számlálók normál futás közben figyelmeztető jelek, nem pedig sikerjelző.
K: Egy AI-fürthálózatot fizikailag el kell különíteni?
V: Nem mindig, de a nagyobb klaszterek számára általában előnyös, ha fizikailag elválasztják a háttér-képzési szövetet a frontendtől. A kisebb telepítések gyakran alkalmazhatnak logikai elválasztást a VLAN-okkal és a QoS-szel, feltéve, hogy a tároló- és ellenőrzőpont-sorozatokat távol tartják a veszteségmentes képzési osztálytól.
K: Hogyan választhatok a DAC, AOC és optikai adó-vevők között?
V: Távolság és erő alapján. A DAC illeszkedik a rövid rack-{1}}réz linkekhez; Az AOC valamivel hosszabb, rugalmas futásokat fed le; és optikai adó-vevők többmódusú vagy egy{2}}módusú szálas fogantyúval-a-gerinc- és kereszt-távolságokkal. Mérje meg az optikai teljesítményt, mivel az adó-vevők a szöveti teljesítmény és a meghibásodási arány jelentős részét teszik ki.
K: A kis GPU-fürtöknek teljes veszteségmentes szövetre van szükségük?
V: Még mindig szükségük van a megfelelő RoCEv2 konfigurációs - besorolásra, a megfelelő prioritású PFC-re és a PFC alatti ECN-re -, de egy kis, egyetlen-domainfürt gyakran kihagyhatja a több-szintű topológiát és a túlzott előfizetési tervezést, amelyet a nagy szövetek igényelnek. A veszteségmentes viselkedés nem választható; a skálázási -bonyolultság az.
Következtetés és következő lépés
Az AI-fürthálózat dönti el, hogy a GPU-k egyetlen koordinált rendszerként működjenek, vagy tétlenül várják az adatokat. Az erős kialakítás egyesíti a nagy sávszélességet, a kiszámítható késleltetést, a veszteségmentes RoCEv2 átvitelt, a méretezhető levél-gerinc topológiát, a megfelelő optikát és kábelezést, valamint a telemetriát, amely elég mély ahhoz, hogy a szövet állapotát a munka állapotával összefüggésbe hozza. Kis klaszterek vezetnek tiszta topológiával és helyes RoCEv2 konfigurációval; a nagy fürtöknek foglalkozniuk kell a frontend/backend szétválasztással, a torlódás-tudatos terheléselosztással, a 400G/800G migrációval, az energiasűrűséggel és a telemetria{8}}vezérelt műveletekkel is.
A következő legjobb lépés az, ha először a bemeneteket javítja ki: GPU-skálát, terhelési mintát, állványtervezést és forgalmi tartományokat. Ezután válassza ki a megfelelő kapcsolókat, hálózati kártyákat, optikát és veszteségmentes Ethernet konfigurációt. Ha párhuzamosan vizsgálja egy GPU-szövet optikai és strukturált{2}}kábelezési oldalát,adatközponti üvegszálas és kábelezési megoldásoksegíthet a trönk, a kitörés és az adó-vevő választásainak a topológiájához és a kapcsolati távolságokhoz való igazításában. Az AI-infrastruktúrában a megfelelő hálózat nem csak gyorsabb -, hanem kiszámíthatóbb, jobban megfigyelhető és könnyebben méretezhető.