100G QSFP28 gerinc-Levelek kialakítása: Kerülje el a porthibákat

A 100 G-os gerinc-levélszövet az egyik legmegbízhatóbb módja a 25G-s szerverek, a 100G-os uplink-ek, a tárolási klaszterek és a kelet--nyugati-nagy munkaterhelések összekapcsolásának egy modern adatközpontban. A QSFP28 vonzereje a rugalmasságban rejlik: egyetlen port hordozhat egy natív 100G-s kapcsolatot, vagy négy 25G-s szerverkapcsolatra bontható, így egy kapcsoló a hozzáférési élt és a szövetmagot is ki tudja szolgálni.

A gyors kapcsolás az egyszerű rész. A 100G-s kialakítás él vagy hal a megrendelés előtt hozott döntéseken: hogyan történik az egyes portok kiosztása, hogyan néz ki a túljelentkezési arány normál és meghibásodási körülmények között, melyik optika felel meg a valós kábelfutásoknak, mennyi hőt adnak az optikák, és hogy a szövet 400G-ra nőhet-e targonca frissítése nélkül.

Ez az útmutató a szállítói{0}}semleges tervezési referencia a hálózati és infrastrukturális csapatok számára. Az alábbi ábrák az aktuális IEEE 802.3 Ethernet specifikációkat és a vonatkozó optikai több-forrású megállapodásokat követik, de minden kapcsolónak és adó-vevőnek saját adatlapja van, ezért ellenőrizze a vásárolt hardver pontos számát.

Az útmutatóban található példák elolvasása.Hacsak másképp nem jelezzük, egyetlen-otthoni szervert feltételeznek egyenként egy 25 G-os hálózati kártyával, levélenként 48 gazdagépporttal, 100 G-os levél---felfelé irányuló kapcsolattal, teljes hálóval, amelyben minden levél minden gerinchez csatlakozik, és az átviteli hibajavítás engedélyezve van, ahol az optika megköveteli. A kettős-homing, a gyorsabb hálózati kártyák vagy a különböző portszámok minden következő számot megváltoztatnak.

Mi az a 100G-s gerinc{1}}levelű hálózat?

A Spine{0}}leaf egy két-szintű adatközpont-architektúra, amely levélkapcsolókból és gerinckapcsolókból épül fel. A Leaf switchek az egyes rack tetején helyezkednek el, és szerverre néző-portokat, valamint a gerincre mutató felfelé irányuló kapcsolatokat biztosítanak. A gerinckapcsolók alkotják a nagy sebességű{5}}gerincet. Minden levél minden gerinchez kapcsolódik, így az állványok közötti forgalom egyforma hosszúságú-pályán halad a levélről a másikra.

A design népszerű, mert a következőket nyújtja:

• Kiszámítható, egyenlő úthossz bármely két állvány között
• Natív támogatás az erős keleti{0}}nyugati forgalomhoz
• Minden felfelé irányuló kapcsolat aktív az ECMP-n keresztül, nem pedig a feszítőfa blokkolja
• Egyszerű vízszintes méretezés - adjon hozzá leveleket a portokhoz, adjon hozzá tüskéket a kapacitásért

Egy 100 G-os szövetben a levél---gerinc kapcsolatok 100 G-val, míg a szerverre néző portok Ma a 25G hozzáférés 100G uplinkekkel a leggyakoribb vállalati kombináció.

Fizikai tervezés vs logikai tervezés

A "hálózati kialakítás" két réteget takar, amelyek könnyen összeilleszthetők. Ez az útmutató a fizikai és kapacitási rétegre összpontosít - portok, optika, túljelentkezés, kábelezés -, mivel ez az, amit hardvervásárláskor elkötelez. De a logikai réteg dönti el, hogy a szövet hogyan továbbítja a forgalmat, és számos fizikai választást alakít ki.

Fizikai oldalon kapcsoló- és portválasztás, hálózati kártya sebessége, túljelentkezés, optika, kábelezés, tápellátás és hűtés. A logikai oldalon az ECMP terhelés{1}}kiegyenlítése a felfelé irányuló kapcsolatok között; egy átfedés, például VXLAN egy BGP EVPN vezérlősíkkal a több-bérlős 2. és 3. réteghez egy irányított alátét felett; kettős-homing, MLAG vagy MC-LAG és LACP a hozzáférési szélen; és kudarcot vallott a-domainméretezés. Az RDMA szövetekhez közel -veszteségmentes hálózatot is meg kell tervezni, amelyről alább olvashat. Korán állítsa be a logikai modellt, mert az befolyásolja a felfelé irányuló kapcsolatok számlálását, az ECMP szélességének hány gerincét, és azt, hogy a levelek MLAG-párként kerülnek-e üzembe.

1 - lépés: A szerver sebességének és munkaterhelésének meghatározása

Kezdje a munkaterheléssel, ne az optikával. Az általános virtualizációs klaszternek, a tárolószövetnek és az AI-oktatódoboznak nagyon eltérőek az igényei, és a megfelelő kialakítás követi a forgalmat.

25G szerverek 100G uplinkekkel

A legtöbb vállalati és magán-felhőkörnyezetben a 25G-s hozzáférés 100G-os levél-to{4}}spine uplinkekkel a legjobb hely: egy nagy ugrás 10G fölé, miközben a hálózati kártya, a kábel és a kapcsoló költségei ésszerűek maradnak. Egy tipikus összeállítás 25G-os lefelé irányuló, 100G-os felfelé irányuló kapcsolatokat és 2:1–3:1 arányt párosít az általános számításokhoz, alacsonyabb túlfizetéssel a tárhelyre és a késleltetésre érzékeny{13}}szintekre. Megfelel a virtualizációnak, a privát felhőnek, a webes rétegeknek és a vállalati adatközpontok nagy részének.

Natív 100G tároláshoz, mesterséges intelligenciához és HPC-hez

Egyes munkaterhelések natív 100G-t igényelnek a szerveren: elosztott és NVMe-of tárhely, mesterséges intelligencia és gépi-tanulás, HPC, nagy-elemzés és alacsony-késleltetésű RDMA. Itt a túljelentkezésnek alacsonynak kell lennie - gyakran nem-blokkolónak, vagy ahhoz közelinek -, mert a forgalom mintája a probléma, nem csak a mennyiség.

A mesterséges intelligencia, a HPC és az RDMA munkaterhelések sűrű, szinkronizált, minden keletről-nyugatra irányuló forgalmat generálnak: sok csomópont egyszerre több csomóponthoz továbbít, így a virtualizációs hálón megtakarító statisztikai simítás többé nem érvényes. Az RDMA over Converged Ethernet (RoCE) egy második megszorítást ad, mert közel -veszteségmentes szövetet vár, ami a gyakorlatban azt jelenti, hogy a Priority Flow Control (PFC) és az Explicit Congestion Notification (ECN) végpontok között hangolódik. Az a szövet, amely torlódás alatt ledobja a képkockákat, figyeli a RoCE teljesítményének összeomlását, ezért ezek a klaszterek általában 1:1 arányban épülnek fel gondos puffer- és torlódási konfigurációval.

lépés

A kikötő tervezése a levélnél kezdődik, nem a gerincnél. Dolgozzon kifelé a szerverekről:

1. Számolja rackenként a szerverrel{0}} néző portokat.
2. Döntse el, hogy mindegyik natív 25G, natív 100G vagy kitörési sáv.
3. Foglaljon le QSFP28 portokat a gerinc felfelé irányuló kapcsolataihoz.
4. Adjon hozzá tartalék portokat a növekedéshez, a redundanciához, a teszteléshez és a cseréhez.
5. A túljelentkezés újraszámítása a kitörés hozzárendelése után, nem előtte.

Számolja a szerverre néző portokat-

Minden rackhez rögzítse a szerverek számát, a hálózati kártyák sebességét, a szerverenkénti, egy{0}} vagy kettős-otthonos hálózati kártyákat és a szükséges tartalékokat. Egy 48 szerverből álló rack egy-egy 25G NIC-vel 48 gazdagépportot igényel. Dual-home ezeket a szervereket egy levélpárhoz, és a hozzáférési portok száma a páron megduplázódik.

Foglaljon le uplink portokat, és figyelje a dupla{0}}számlálást

A gazdagép portok után foglaljon le QSFP28 portokat a gerinc számára. Itt bújik meg a leggyakoribb hiba: ha ugyanazokat a QSFP28 portokat használjuk a 4x25G áttöréshez, akkor azok már nem érhetők el uplinkként. A legnagyobb tervezési hiba nem a 100 G-os felfelé irányuló kapcsolatok félreszámlálása, hanem az, hogy túlbecsüljük a felfelé irányuló portok számát, amelyek akkor maradnak meg, amikor a kitörés megemésztette őket. Rendelje hozzá a kitörést a túljelentkezési matematika előtt, vagy a kiszámított arány fikció.

Egy működő példa segít. Vegyünk egy közös 1U lapot 48 SFP28 gazdagép porttal és 8 QSFP28 porttal:

Hat felfelé irányuló kapcsolattal, amelyek az 1200 G hozzáférési forgalmat hordozzák, a levél 2:1 arányban fut, és két QSFP28 port tartalékban marad. Adjon minden portnak egyetlen, kifejezett szerepet a táblázatban, mielőtt bármi mást méretezne.

Hagyjon szabad kapacitást

Ne fogyasszon el minden portékát az első napon. Fenntartson teret az új szervereknek, extra gerinceknek, ideiglenes tesztlinkeknek, sikertelen-portcseréknek, figyelési érintéseknek és migrációnak. Egy kis kihasználatlan kapacitás sokkal olcsóbb, mint egy újratervezés.

3 -. lépés Számítsa ki a túljelentkezést, beleértve az N-1-et

A túljelentkezés összehasonlítja a szerver teljes sávszélességét{0}}a lapon a teljes felfelé irányuló kapcsolati sávszélességgel a gerincoszlophoz viszonyítva:

A túljelentkezési arány=teljes lefelé irányuló kapcsolati sávszélesség / teljes felfelé irányuló kapcsolati sávszélesség

A fenti levél esetében 48 x 25 G=1, 200 G lefelé és 6 x 100 G=600 G felfelé, így 1200 / 600=2:1. Ez kétszer akkora elméleti hozzáférési sávszélességet jelent, mint a felfelé irányuló kapcsolati sávszélesség - általában megfelelő az általános számításokhoz, ahol ritkán a szerverek mind vonalsebességgel továbbítanak egyszerre, de ez valódi korlát a tárolás, az AI, a HPC és az RDMA számára.

Mindig ellenőrizze az N-1 tokot

A szövet normál működés közben egészségesnek tűnhet, és meghibásodáskor megfulladhat. Tekintsünk egy levelet nyolc 100 G felfelé irányuló kapcsolattal, amelyek egyenletesen oszlanak el négy tüske között - gerincenként kettő, összesen 800 G, tehát 1200 G hozzáférés 1,5:1-et ad. Elveszít egy gerincet, és a levél két felfelé irányuló kapcsolatot 600 G-ra ejt, és az arányt 2:1-re tolja a kimaradás idejére. Ha a cél „meghibásodás esetén sem rosszabb, mint 2:1”, akkor 1,5:1-ről kell kezdenie. Számítsa ki mind a normál arányt, mind az N-1 arányt egy gerinc vagy felfelé irányuló kapcsolat elvesztése után; a második szám az, ami a karbantartás során harap.

Terhelés szerinti tervezési tartományok

Nincs univerzális arány, ezért a következőket tekintse tervezési tartományoknak, ne szabványoknak, és érvényesítse a mért forgalommal, ahol lehetséges:

Frissítéskor tekintse át az aktuális uplink kihasználtságot, a csúcs- és kelet-{0}}nyugati mintákat, a tárolási folyamatokat és a tartalék ablakokat, mielőtt elkötelezi magát egy arány mellett.

Lépés 4 - Válassza a QSFP28 optikát és kábeleket

A QSFP{0}}G interfészeket az IEEE 802.3 - szabványosítja802.3bm módosításhozzáadta a 100 GBASE-SR4-et az egy-módú LR4 PHY mellé. Válassza ki az optikát a távolság, a száltípus, a csatlakozó, a tápellátás és a kapcsolókompatibilitás alapján, és ne hagyja ki a leghosszabb hatótávolságot: az elérés, amelyre nincs szüksége, általában azt jelenti, hogy nincs szüksége költségre és teljesítményre. Illessze a modult a futtatáshoz ésszerű margóval.

DAC és AOC a rövid szerverkapcsolatokhoz

A rackben- és a szomszédos-rack-csatlakozásokhoz a QSFP28 közvetlen-rézcsatlakozás (DAC) és az aktív optikai kábelek (AOC) praktikusak. A passzív DAC megfelel a legrövidebb - néhány méteres - ugrásoknak a legalacsonyabb költség és teljesítmény mellett, míg az AOC kiterjeszti a hatótávolságot, és könnyebb és rugalmasabb ott, ahol a réz tömege problémát jelent. 25G hozzáférés esetén a QSFP28-4x SFP28 áttörés DAC vagy AOC általános, ha a kapcsoló támogatja a kitörést.

100 GBASE-SR4 a rövid, több módú felfelé irányuló kapcsolatokhoz

Az SR4 100G-ot hordoznyolc párhuzamos multimódusú szálMPO/MTP-csatlakozó használatával, ami költséghatékony{0}}választássá teszi a soron belüli rövid levél-to{2}}gerincet. Elérése a szálminőségtől függ - körülbelül 70 m az OM3-on és 100 m az OM-en4 -, ezért érdemes tudni, hogy milyen elérést várhatOM3, OM4 és OM5 multimódusú optikai szálaka padlódban. A fő tervezési korlát a párhuzamos kábelezés: az MPO foltozást és a polaritást előre ki kell dolgozni.

A CWDM4 vagy az FR egy{1}}módban körülbelül 2 km-re fut

Az inter-sor, inter-room vagy inter-hall linkekhez az egy-módusú optikák, például a CWDM4 vagy az FR jobban illeszkednek. A100G CWDM4 MSA2 km-es hatótávolságot határoz meg egyetlen pár egy-módusú szálon, duplex LC-csatlakozóval és FEC-vel. Mivel párhuzamos MPO helyett duplex szálat használnak, a CWDM4 és az FR optikák gyakran tisztábban kerülnek egy-módusú berendezésbe, mint az SR4 -, és ilyen távolságokon a választásOS1 és OS2 egy-módusú optikai szálkezd számítani a veszteség költségvetése szempontjából. A rövidebb egymódú-változatok, mint például a DR, nagyjából 500 métert tesznek meg, ahol csak erre van szüksége.

100 GBASE-LR4 az egyetemhez és a DCI-hez

Az LR4 a hosszú{1}}kinyúlású opció, amely 100 G-t hordozakár körülbelül 10 km-re a duplex egymódusú{1}}száloncampus, épület-épület-vagy adat-központ-összekötő linkjeihez. Csak ott használja, ahol a távolság valóban megkívánja; A hosszú-elérésű optika rövid intra-adatközponti-ugrásokon egyszerűen költséget, energiát és hőt ad az anyag javítása nélkül.

QSFP{0}}G optika összehasonlítása

A táblázat összefoglalja, hogy az egyes opciók hol illeszkednek. Kezelje az eléréseket tipikus tervezési adatokként, és erősítse meg a pontos számokat, a szálminőséget és az FEC követelményt az egyes modulok adatlapján.

Megmunkált példák: kis, közepes és nagy szövetek

Ezek egyszerűsített tervezési modellek, nem tervrajzok. A gerincek számát általában a felfelé irányuló kapcsolatok egyenletes elosztására és az ECMP szélességének beállítására választják: két tüske a gyakorlati minimum a redundanciához, négy tüske finomabb N-1 szemcsézettséget és jobb terheléseloszlást biztosít, nyolc pedig nagy szövetekhez. Leaf count skála a szerver portokkal, amire szüksége van.

Kis szövet

• 8 lapos kapcsoló
• 2 gerinckapcsoló
• Laponként 48 x 25G szerverport
• 4 x 100G uplink levélenként
• 384 egy-otthoni 25G szerverport

Levelenként: 1200G lefelé, 400G felfelé, tehát 3:1. Működőképes az általános számításokhoz, de szűkös a nehéz tároláshoz vagy az AI-hoz. Ha alacsonyabb arányra van szüksége, adjon hozzá felfelé irányuló linkeket vagy vágjon le levelenként.

Közepes szövet

• 16 lapos kapcsoló
• 4 gerinckapcsoló
• Laponként 48 x 25G szerverport
• 6 x 100G uplink levélenként
• 768 egy-otthoni 25G szerverport

Levelenként: 1200G lefelé, 600G felfelé, tehát 2:1. Szilárd egyensúly a virtualizáció és a vállalati munkaterhelés között, és a négy gerinc jobban terjeszti az ECMP-t, mint kettő.

Nagy szövet

• 32 lapos kapcsoló
• 8 gerinckapcsoló
• Laponként 48 x 25G szerverport
• 8 x 100G felfelé irányuló kapcsolat levélenként
• 1536 egy-otthoni 25G szerverport

Levelenként: 1200G lefelé, 800G felfelé, tehát 1,5:1. Több felfelé irányuló kapcsolat, de több optika, szál, költség, teljesítmény és kábelezés. Ebben a léptékben a dokumentáció a tervezés részét képezi: a címkézést, a porttérképeket, a polaritást, a tartalék optikát, a légáramlást és a monitorozást mind meg kell tervezni a telepítés előtt.

QSFP28 Breakout tervezés (100G-től 4x25G-ig)

A Breakout a QSFP28 tervezés leghasznosabb és leginkább félreértett része. Ahol a kapcsoló, a kábel és a konfiguráció lehetővé teszi, egy QSFP28 port négy 25G SFP28 kapcsolatra oszlik, és négy 25G szervert köt össze egyetlen 100G portról. Megnyeri a helyét, ha nagy 25G-sűrűségre van szüksége, sok QSFP28-porttal rendelkezik, alacsonyabb szerverkapcsolatonkénti költséget szeretne elérni, vagy átmeneti 25G/100G-s szövetet épít ki QSFP28-4x SFP28 DAC, AOC vagy AOC használatával.MTP/MPO kiszakító kábelektávolságtól függően.

A bökkenő az, hogy a kitörés QSFP28 portokat fogyaszt. Ha egy 32-portos QSFP28 kapcsoló 16 portot szán a 4x25G kitörésre, akkor ez a 16 port 64 szervert támogat – de csak 16 QSFP28 port marad az uplinkek, a tárolás, az összeköttetések és a tartalékok számára. Az ökölszabály az, hogy először a kitörési portokat számoljuk meg, majd számoljuk meg, hogy mi marad a felfelé irányuló hivatkozásokhoz.

Mielőtt elkötelezné magát, erősítsen meg néhány dolgot, és mielőbb döntse el, hogy minden futam acsomagtartó vagy kitörő szerelvény:

• Mely portok támogatják a kitörést, és vannak-e port{0}}csoportkorlátozások?
• A kitörés engedélyezése letiltja a szomszédos portokat?
• A switch operációs rendszer támogatja a kívánt módot?
• DAC, AOC vagy breakout optika minden futáshoz?
• Mind a négy sávra most szükség van, vagy csak később?
• Hogyan befolyásolja a kitörés a natív 100G szerverekre való jövőbeni átállást?

Tápellátás, hűtés és kábelkezelés

A 100 G-os szövet több mint sávszélességet termel, - hőt, légáramlási terhelést és kábelsűrűséget termel. Az energiaköltségvetésnek ki kell terjednie a kapcsolóházra és a ventilátorokra, a QSFP28 optikai modulokra (és a DAC-ra vagy az AOC-ra, ahol van ilyen), a redundáns kellékekre, a rack{4}}szintű kapacitásra és a növekedési rátára. A hűtésnek figyelembe kell vennie a meleg- és a hideg-folyosók elrendezését, a konzisztens elülső--hátul-elöl-levegőáramlást, az árnyékoló paneleket, a kábelelzáródást, a környezeti hőmérsékletet és a modul{12}}hőmérséklet figyelését, mivel a gerinc valódi termikus terhelést jelent.

A kábelezés gyorsan skálázódik: 16 levél és 4 tüske már 64 levél-to{4}}gerinc kapcsolat, mindegyiket címkézni, elvezetni, tesztelni és dokumentálni kell. A teljes-hálós szövetet sokkal könnyebb megépíteni és karbantartani, ha előre ki van szerelveMPO/MTP törzskábelezésmint a mező{0}}végződésű szálnál. A csapatoknak a csatlakozókat és a polaritást is előre meg kell határozniuk; agyakorlati különbségek az MTP és az MPO közöttmegrendelés előtt érdemes megerősíteni. A hanyag dokumentáció semmibe sem kerül az első napon, és nagyon sokba az első leálláskor.

Tervezés 400G-os frissítéshez

Tervezze meg az anyagot valósághű fejlesztési útvonallal. Nem kell mindenhol 400 G-ra az első napon, de kerülje azokat a döntéseket, amelyek később fájdalmassá teszik a lépést. Kezdjen el gondolkodni a 400 G-os készenléten, amikor a gerinc felfelé irányuló kapcsolatai már erősen le vannak terhelve, amikor a további 100 G-s gerincek hozzáadása kényelmetlenné válik, amikor az ECMP útvonalak száma a platformhatárhoz közeledik, vagy amikor az AI, a tárolás vagy a kelet--nyugati növekedés felgyorsul.

A szokásos stratégia az, hogy először a gerincet frissítjük: a levelek megtartják 100 G-os felfelé irányuló kapcsolataikat, míg a nagyobb-kapacitású gerinc - olyan portokat használnak, mint pl.QSFP-DDA - növeli a mozgásteret, gyakran a 400 G-os portok 4x100 G-ra törnek vissza a meglévő levelek felé. A tágabb pályát az iparág határozza meg: aEthernet Alliance ütemtervmost 400G, 800G és azon túl fut, nagyrészt az AI hajtja. A kapcsolók értékelésekor ellenőrizze, hogy a platform támogatja-e a fokozatos frissítéshez szükséges sebességeket, optikát, kitörési módokat és szoftverfunkciókat.

Amikor a 100 G-os gerinc-levelek kialakítása nem a megfelelő választás

Ez a kialakítás nem univerzális, és néhány esetben valami másra van szükség. A maroknyi szerver egy vagy két rackben ritkán indokolja a teljes gerincű-levelű felépítést, ahol egy pár redundáns kapcsoló egyszerűbb és olcsóbb. A nagyon nagy mesterséges intelligencia képzési klaszterek túlléphetnek azon, amit egy 100 G-os hozzáférés és a 100 G-os gerincszövet jól kezel, és a kezdetektől fogva a 400G-s vagy 800G-os szöveteken - vagy akár egy dedikált InfiniBand hálózaton - is leszállnak. És ha csaknem a teljes forgalom észak-dél egy átjáró felé irányul, nem pedig kelet-nyugat az állványok között, akkor a gerinc-levél keleti-nyugati előnyei kevésbé számítanak, ezért a topológiát növekedési és működési szempontok alapján kell indokolni, nem pedig feltételezni. Illessze az architektúrát a forgalomhoz és a léptékhez, ne fordítva.

Gyakori 100 g gerinc-a levéltervezési hibák

• A QSFP28 portok kétszeri számolása.A port vagy egy 4x25G-os áttörés, vagy egy 100G-os uplink, soha nem mindkettő. Adjon minden portnak egy szerepet.
• Optika kiválasztása a maximális hatótávolság szerint.A hosszabb hatótávolság növeli a költségeket és a teljesítményt; igazítsa az optikát a tényleges száltávolsághoz és típushoz.
• Az N-1 figyelmen kívül hagyása.Ellenőrizze az arányt normál működés közben és gerincvesztés után.
• Az optikai teljesítményt és a hőt elfelejtve.A QSFP28 modulokkal teli gerinc valódi hőterhelést jelent, ezért vegye figyelembe az optikát a teljesítmény- és hűtésszámításban.
• A kábelezés utógondolatként való kezelése.Az útválasztás, a címkézés, a polaritás és a dokumentáció a tervezéshez tartozik, nem a telepítéshez.
• Kizárólag a mai szerversebességhez tervezve.Ha a 25G-s hozzáférés 100G-ra vált, hagyjon helyet a natív 100G-nak vagy egy 400G-s gerincnek.

Következtetés

A jó 100 G-os gerinc-a levél a hardver érkezése előtt meghozott döntések összessége: a munkaterhelés meghatározása, a portok helyes számlálása, a túljelentkezés kiszámítása normál és hiba esetén is, az optika kiválasztása távolság alapján, a kitörések tudatos megtervezése, az energiaellátás és a hűtés költségvetése, és hagyjon helyet 400 G-nak. A legtöbb vállalati adatközpontban a 25G hozzáférés 100G QSFP28 uplinkekkel továbbra is a teljesítmény, a költségek és a méretarány erős egyensúlyát jelenti, míg a tárhely, az AI és a HPC egyszerűen alacsonyabb túljelentkezést és szigorúbb érvényesítést igényel. A megbízható megközelítés nem változik: a szerverről kifelé kell tervezni, bizonyítani a matematikát normál és N-1 feltételek mellett, és minden hivatkozást dokumentálni a telepítés előtt.