100G QSFP28 Ryg-Løvdesign: Undgå portfejl

Et 100G ryg-stof er en af ​​de mest pålidelige måder at forbinde 25G-servere, 100G-uplinks, lagerklynger og øst{4}}vest-tunge arbejdsbyrder på i et moderne datacenter. Tiltrækningen ved QSFP28 er dens fleksibilitet: En enkelt port kan bære et indbygget 100G-link eller bryde ud i fire 25G-serverforbindelser, så én switch kan betjene både adgangskanten og stofkernen.

Hurtige kontakter er den nemme del. Et 100G-design lever eller dør på de beslutninger, der er truffet før indkøbsordren: hvordan hver port er allokeret, hvordan overabonnementsforholdet ser ud under normale forhold og fejlforhold, hvilken optik der matcher de rigtige kabeltræk, hvor meget varme disse optikker tilføjer, og om stoffet kan vokse mod 400G uden en opgradering af gaffeltruck.

Denne vejledning er en -leverandørneutral planlægningsreference for netværks- og infrastrukturteams. Figurerne nedenfor følger de aktuelle IEEE 802.3 Ethernet-specifikationer og de relevante optiske multi-kildeaftaler, men hver switch og transceiver har sit eget datablad, så bekræft de nøjagtige numre for den hardware, du køber.

Sådan læser du eksemplerne i denne vejledning.Medmindre andet er angivet, antager de enkelte-hjemmeservere med hver en 25G NIC, 48 værtsporte pr. blad, 100G leaf-to-spine uplinks, et fuldt mesh, hvor hvert blad forbindes til hver spine, og fremadrettet fejlkorrektion aktiveret, hvor optikken kræver det. Dobbelt-homing, hurtigere NIC'er eller forskellige porttællinger vil ændre hvert nummer, der følger.

Hvad er et 100G Spine-Leaf Network?

Spine-leaf er en to-datacenterarkitektur bygget af bladkontakter og rygswitche. Bladkontakter sidder øverst på hvert rack og giver server-vendte porte plus uplinks til rygsøjlen. Rygsøjlekontakter danner høj-rygraden. Hvert blad forbindes til hver rygrad, så trafik mellem stativer flytter blad til ryg til blad langs en lige lang sti.

Designet er populært, fordi det leverer:

• Forudsigelig, lige vejlængde mellem to racks
• Indbygget understøttelse af tung øst-vesttrafik
• Alle uplinks aktive gennem ECMP i stedet for blokeret af spændingstræ
• Enkel vandret skalering - tilføj blade til porte, tilføj pigge for kapacitet

I et 100G-stof kører blad-til-spine-links ved 100G, mens server-vendte porte kører ved 10G, 25G, 50G eller 100G afhængigt af arbejdsbelastningen. I dag er 25G-adgang med 100G-uplinks den mest almindelige virksomhedskombination.

Fysisk design vs logisk design

"Netværksdesign" dækker over to lag, der er nemme at blande sammen. Denne vejledning koncentrerer sig om de fysiske og kapacitetslag - porte, optik, overabonnement, kabler -, fordi det er det, du forpligter dig til, når du køber hardware. Men det logiske lag bestemmer, hvordan stoffet sender trafikken videre, og det former flere fysiske valg.

På den fysiske side sidder switch og portvalg, NIC-hastigheder, overabonnement, optik, kabler, strøm og køling. På den logiske side sidder ECMP load-balancerende på tværs af uplinks; et overlejring såsom VXLAN med et BGP EVPN-kontrolplan for multi-lejer Layer 2 og Layer 3 over et rutet underlag; dobbelt-homing med MLAG eller MC-LAG og LACP ved adgangskanten; og mislykket-domænestørrelse. For RDMA-stoffer skal du også konstruere et næsten-tabsfrit netværk, som er beskrevet nedenfor. Afgør den logiske model tidligt, fordi det påvirker uplink-antal, hvor mange spines du ønsker til ECMP-bredde, og om blade er implementeret som MLAG-par.

Trin 1 - Definer serverhastighed og arbejdsbelastning

Start med arbejdsbyrden, ikke optikken. En generel virtualiseringsklynge, et lagerstof og en AI-træningspod har meget forskellige behov, og det rigtige design følger trafikken.

25G-servere med 100G-uplinks

For de fleste virksomheds- og private-skymiljøer er 25G-adgang med 100G leaf-to-uplinks det gode sted: et stort spring over 10G, mens omkostningerne til NIC, kabel og switch holdes rimelige. En typisk build parrer 25G-downlinks, 100G-uplinks og et forhold på 2:1 til 3:1 til generel beregning, med lavere overabonnement reserveret til lager- og{13}}følsomme niveauer. Det passer til virtualisering, privat cloud, web-tiers og størstedelen af ​​virksomhedens datacentre.

Native 100G til opbevaring, AI og HPC

Nogle arbejdsbelastninger har brug for indbygget 100G til serveren: distribueret og NVMe-af lager, AI og maskinlæring, HPC, stor-analyse og lav-latency RDMA. Her bør overabonnementet være lavt - ofte ikke-blokerende eller tæt på det -, fordi trafikmønsteret er problemet, ikke kun volumen.

AI-, HPC- og RDMA-arbejdsbelastninger genererer tæt, synkroniseret, alt-til-al øst-vest-trafik: mange noder transmitterer til mange noder på samme tidspunkt, så den statistiske udjævning, der sparer dig for en virtualiseringsstruktur, gælder ikke længere. RDMA over Converged Ethernet (RoCE) tilføjer en anden begrænsning, fordi den forventer et næsten-tabsfrit stof, hvilket i praksis betyder Priority Flow Control (PFC) og Explicit Congestion Notification (ECN) indstillet ende til ende. Et stof, der taber rammer under overbelastning, vil se RoCE-ydeevnen kollapse, så disse klynger er normalt bygget i 1:1 med omhyggelig buffer- og overbelastningskonfiguration.

Trin 2 - Sådan beregnes blad- og rygswitchporte for et 100G stof

Havneplanlægning starter ved bladet, ikke rygsøjlen. Arbejd udad fra serverne:

1. Tæl server-vendte porte pr. rack.
2. Beslut, om hver er native 25G, native 100G eller en breakout-bane.
3. Reserver QSFP28-porte til ryg-uplinks.
4. Tilføj ekstra porte til vækst, redundans, test og udskiftning.
5. Genberegn overabonnement efter breakout er tildelt, ikke før.

Tæl server-vendte porte

For hvert rack, fastgør serverantal, NIC-hastighed, NIC'er pr. server, enkelt- eller dobbelt-hjem og nødvendige reservedele. Et rack med 48 servere med en 25G NIC har hver brug for 48 værtsporte. Dobbelt-hjem disse servere til et bladpar, og adgangsporten tæller på tværs af parret fordobles.

Reserver uplink-porte, og se dobbelttællingen-

Efter værtsporte skal du reservere QSFP28-porte til rygsøjlen. Det er her den mest almindelige fejl gemmer sig: Hvis de samme QSFP28-porte bruges til 4x25G breakout, er de ikke længere tilgængelige som uplinks. Den største enkeltstående planlægningsfejl er ikke at fejltælle 100G uplinks, men at overvurdere de uplink-porte, der er tilbage, når breakout har tæret på dem. Tildel breakout før overtegningen matematik, eller det forhold, du har beregnet, er fiktion.

Et bearbejdet eksempel hjælper. Tag et almindeligt 1U-blad med 48 SFP28-værtsporte og 8 QSFP28-porte:

Med seks uplinks, der bærer 1.200G adgangstrafik, kører bladet i 2:1, og to QSFP28-porte forbliver i reserve. Giv hver port en enkelt eksplicit rolle på et regneark, før du størrelser noget andet.

Efterlad ledig kapacitet

Indtag ikke hver port på dag ét. Reserver plads til nye servere, ekstra spines, midlertidige testlinks, mislykkede-portswaps, overvågningstryk og migrering. Lidt uudnyttet kapacitet er langt billigere end et redesign.

Trin 3 - Beregn overabonnement, inklusive N-1

Overabonnement sammenligner den samlede server-vendt båndbredde på et blad med dens samlede uplink-båndbredde til rygraden:

Overabonnementsforhold=samlet downlinkbåndbredde / samlet uplinkbåndbredde

For bladet ovenfor, 48 x 25G=1,200G ned og 6 x 100G=600G op, hvilket giver 1.200 / 600=2:1. Det betyder dobbelt så meget teoretisk adgangsbåndbredde som uplinkbåndbredde - normalt fint til generel beregning, hvor servere sjældent alle transmitterer med linjehastighed på én gang, men en reel begrænsning for lager, AI, HPC og RDMA.

Kontroller altid N-1 kabinettet

Et stof kan se sundt ud i normal drift og kvæles under en fejl. Overvej et blad med otte 100G uplinks fordelt jævnt over fire rygsøjler - to pr. rygrad, 800G i alt, så 1.200G adgang giver 1,5:1. Mister den ene rygrad, og bladet falder to uplinks til 600G, hvilket skubber forholdet til 2:1, så længe udfaldet varer. Hvis dit mål er "ikke værre end 2:1, selv under fiasko", skal du starte tæt på 1,5:1. Beregn både det normale forhold og N-1-forholdet efter at have mistet en rygsøjle eller uplink; det andet tal er det, der bider under vedligeholdelse.

Planlægning spænder efter arbejdsbyrde

Der er ikke noget universelt forhold, så behandl følgende som planlægningsintervaller, ikke standarder, og valider mod målt trafik, hvor du kan:

Ved en opgradering skal du gennemgå den aktuelle uplink-udnyttelse, top- og øst--vest-mønstre, lagerstrømme og backup-vinduer, før du forpligter dig til et forhold.

Trin 4 - Vælg QSFP28 optik og kabler

QSFP28 100G-grænseflader er standardiseret af IEEE 802.3 -802.3bm ændringtilføjet 100GBASE-SR4 sammen med single-modus LR4 PHY. Vælg optik efter afstand, fibertype, stik, strøm og switchkompatibilitet, og modstå standardindstilling til den længste rækkevidde: rækkevidde, du ikke har brug for, betyder normalt omkostninger og strøm, du ikke har brug for. Match modulet til løbet med en fornuftig margin.

DAC og AOC til korte serverlinks

Til i-rack- og tilstødende-rackforbindelser er QSFP28 direkte-kobber (DAC) og aktive optiske kabler (AOC) praktiske. Passiv DAC passer til de korteste hop - et par meter - til den laveste pris og effekt, mens AOC udvider rækkevidden og er lettere og mere fleksibel, hvor kobbermasse bliver et problem. For 25G-adgang er QSFP28-til-4x SFP28 breakout DAC eller AOC almindelig, når switchen understøtter breakout.

100GBASE-SR4 til korte multimode uplinks

SR4 bærer 100G overotte fibre af parallel multimodeved hjælp af et MPO/MTP-stik, hvilket gør det til et omkostningseffektivt-valg for korte blade-til-rygsøjleløb inde i en række. Dens rækkevidde afhænger af fiberkvaliteten - ca. 70 m på OM3 og 100 m på OM4 -, så det kan betale sig at kende den rækkevidde, du kan forvente fraOM3, OM4 og OM5 multimode fiberi dit gulv. Den vigtigste planlægningsbegrænsning er den parallelle kabling: MPO-patching og polaritet skal udarbejdes på forhånd.

CWDM4 eller FR for single-mode løber til ca. 2 km

For inter-række-, mellem-rums- eller inter-halllinks passer enkelt-optik som CWDM4 eller FR bedre. De100G CWDM4 MSAdefinerer en rækkevidde på 2 km over et enkelt par single-mode fibre med en duplex LC-konnektor og FEC. Fordi de bruger dupleksfiber i stedet for parallel MPO, falder CWDM4- og FR-optik ofte ind i et enkelt-modeanlæg mere rent end SR4 - og over disse afstande er valget mellemOS1 og OS2 single-mode fiberbegynder at have betydning for dit tabsbudget. Kortere single-varianter såsom DR dækker ca. 500 m, hvor det er alt, hvad du behøver.

100GBASE-LR4 til campus og DCI

LR4 er muligheden for lang rækkevidde-, der bærer 100Gop til ca. 10 km over duplex single-mode fiberfor campus, bygning-til-bygning eller data-center-sammenkoblingslinks. Brug det kun, hvor afstanden virkelig kræver det; optik med lang-rækkevidde på korte intra-data-hum tilføjer blot omkostninger, strøm og varme uden at forbedre stoffet.

QSFP28 100G Optics Comparison

Tabellen opsummerer, hvor hver mulighed passer. Behandl rækkevidden som typiske planlægningstal, og bekræft de nøjagtige tal, fiberkvalitet og FEC-krav på hvert moduls datablad.

Bearbejdede eksempler: Små, mellemstore og store stoffer

Disse er forenklede planlægningsmodeller, ikke tegninger. Rygsøjlen vælges normalt for at dele uplinks jævnt og indstille ECMP-bredden: to rygsøjler er det praktiske minimum for redundans, fire giver finere N-1 granularitet og bedre belastningsspredning, og otte passer til store stoffer. Bladantal skalerer med de serverporte, du har brug for.

Lille stof

• 8 bladafbrydere
• 2 rygsøjleafbrydere
• 48 x 25G serverporte pr. blad
• 4 x 100G uplinks pr. blad
• 384 enkelt-hjemmebaserede 25G-serverporte

Pr. blad: 1.200G ned, 400G op, altså 3:1. Kan bruges til generel databehandling, men tæt til tung lagring eller AI. Tilføj uplinks eller trim adgang pr. blad, hvis du har brug for et lavere forhold.

Medium stof

• 16 bladafbrydere
• 4 rygsøjleafbrydere
• 48 x 25G serverporte pr. blad
• 6 x 100G uplinks pr. blad
• 768 enkelt-hjemmebaserede 25G-serverporte

Pr. blad: 1.200G ned, 600G op, altså 2:1. En solid balance for virtualisering og virksomhedsarbejdsbelastninger, og fire spines spreder ECMP bedre end to.

Stort stof

• 32 bladafbrydere
• 8 rygsøjleafbrydere
• 48 x 25G serverporte pr. blad
• 8 x 100G uplinks pr. blad
• 1.536 enkelt-hjemmebaserede 25G-serverporte

Pr. blad: 1.200G ned, 800G op, altså 1,5:1. Mere uplink headroom, men mere optik, fiber, omkostninger, strøm og kabler at administrere. I denne skala er dokumentation en del af designet: mærkning, portkort, polaritet, reserveoptik, luftstrøm og overvågning skal alt sammen planlægges før installation.

QSFP28 Breakout Planning (100G til 4x25G)

Breakout er den mest nyttige og mest misforståede del af QSFP28-designet. Hvor switchen, kablet og konfigurationen tillader det, opdeles én QSFP28-port i fire 25G SFP28-links, der forbinder fire 25G-servere fra en enkelt 100G-port. Det tjener sin plads, når du har brug for høj 25G-tæthed, har masser af QSFP28-porte, ønsker at sænke omkostningerne pr. serverforbindelse eller bygger et overgangs-25G/100G-stof ved hjælp af QSFP28-til-4x SFP28 DAC, AOC ellerMTP/MPO breakout kablerafhængig af afstand.

Fangsten er, at breakout bruger QSFP28-porte. Hvis en QSFP28-switch med 32-porte dedikerer 16 porte til 4x25G breakout, understøtter disse 16 porte 64 servere - men der er kun 16 QSFP28-porte tilbage til uplinks, lagring, sammenkoblinger og reservedele. Tommelfingerreglen er at tælle breakout-porte først og derefter tælle, hvad der er tilbage til uplinks.

Inden du forpligter dig, skal du bekræfte et par ting og beslutte tidligt, om hvert løb skal være enbagagerum eller en breakout-samling:

• Hvilke porte understøtter breakout, og er der portgruppebegrænsninger-?
• Deaktiverer aktivering af breakout tilstødende porte?
• Understøtter switch-operativsystemet den tilstand, du har brug for?
• DAC, AOC eller breakout-optik for hver kørsel?
• Er alle fire baner nødvendige nu eller først senere?
• Hvordan vil breakout påvirke en fremtidig flytning til native 100G-servere?

Strøm, køling og kabelstyring

Et 100G-stof producerer mere end båndbredde - det producerer varme, luftstrømsbelastning og kabeltæthed. Strømbudgettering bør dække switch-chassis og blæsere, QSFP28 optiske moduler (og DAC eller AOC, hvor de bruges), redundante forsyninger, rack-kapacitet og vækstmargin. Køling bør tage højde for varmt- og koldt-gangelayout, ensartet front-til-bag eller bagud-til-luftstrøm, blanke paneler, kabler, kabler, omgivelsestemperatur og modul-temperaturovervågning, fordi en rygsøjle fyldt med optik er en reel belastning.

Kabler skaleres hurtigt: 16 blade til 4 spines er allerede 64 blade-til-rygsøjlelinks, som hver især skal mærkes, dirigeres, testes og dokumenteres. Et fuld-mesh-stof er langt nemmere at bygge og vedligeholde med forud-termineretMPO/MTP trunk kabelføringend med felt-termineret fiber. Hold bør også afgøre konnektor- og polaritetskonventioner på forhånd; depraktiske forskelle mellem MTP og MPOer værd at bekræfte inden du bestiller. Sjusket dokumentation koster ingenting på dag ét og en hel del under det første udfald.

Design til en 400G-opgradering

Design stoffet med en realistisk opgraderingssti. Du behøver ikke 400G overalt på dag ét, men du bør undgå valg, der gør flytningen smertefuld senere. Begynd at tænke på 400G-beredskab, når uplinks på rygraden allerede er tungt belastet, når det bliver besværligt at tilføje flere 100G-rygge, når antallet af ECMP-stier nærmer sig platformsgrænser, eller når AI, storage eller øst-vækst accelererer.

Den sædvanlige strategi er at opgradere rygsøjlen først: blade beholder deres 100G-uplinks, mens en rygrad med højere-kapacitet - bruger porte som f.eks.QSFP-DD- tilføjer frihøjde, ofte med 400G-porte, der bryder ud i 4x100G tilbage mod de eksisterende blade. Den bredere bane er sat af industrien: denEthernet Alliance køreplankører nu gennem 400G, 800G og videre, hovedsageligt drevet af kunstig intelligens. Når du evaluerer switches, skal du kontrollere, at platformen understøtter de hastigheder, optik, breakout-tilstande og softwarefunktioner, som en gradvis opgradering har brug for.

Når en 100G Ryg-Løvdesign ikke er det rigtige valg

Dette design er ikke universelt, og nogle få tilfælde kræver noget andet. En håndfuld servere i et eller to racks retfærdiggør sjældent en fuld-bladbygning, hvor et par redundante switches er enklere og billigere. Meget store AI-træningsklynger kan skubbe forbi, hvad et 100G-adgang og 100G-rygsøjlestof håndterer godt, og lande på 400G- eller 800G-stoffer - eller endda et dedikeret InfiniBand-netværk - fra starten. Og hvis næsten al trafik er nord-syd til en gateway i stedet for øst-vest mellem stativer, betyder de østlige-vestlige fordele ved rygsøjlen- mindre, så topologien bør begrundes ud fra vækst- og driftsgrunde i stedet for antaget. Match arkitekturen til trafikken og skalaen, ikke omvendt.

Almindelige 100G Ryg-Fejl ved bladdesign

• Tæller QSFP28-porte to gange.En port er enten en 4x25G breakout eller en 100G uplink, aldrig begge dele. Giv hver port én rolle.
• Valg af optik efter maksimal rækkevidde.Længere rækkevidde øger omkostninger og kraft; match optikken til den faktiske fiberafstand og type.
• Ignorerer N-1.Kontroller forholdet under normal drift og efter at have mistet en rygsøjle.
• Glemte optisk kraft og varme.En rygsøjle fuld af QSFP28-moduler er en ægte termisk belastning, så inkluder optik i strøm- og kølematematikken.
• Behandler kabling som en eftertanke.Routing, mærkning, polaritet og dokumentation hører hjemme i designet, ikke installationen.
• Designer kun til dagens serverhastighed.Hvis 25G-adgang skifter til 100G, skal du lade plads til indbygget 100G eller en 400G-rygrad.

Konklusion

Et godt 100G ryg-design er summen af ​​beslutninger, der er truffet før hardwaren ankommer: definer arbejdsbyrden, tæl porte korrekt, beregn overabonnement under både normale forhold og fejlforhold, vælg optik efter afstand, planlæg breakout bevidst, budgetter for strøm og køling, og lad plads til 400G. For de fleste virksomhedsdatacentre forbliver 25G-adgang med 100G QSFP28-uplinks en stærk balance mellem ydeevne, omkostninger og skala, mens storage, AI og HPC blot kræver lavere overabonnement og strammere validering. Den pålidelige tilgang ændrer sig ikke: design fra serveren og udad, bevis matematikken under normale og N-1 forhold, og dokumenter hvert link før implementering.