InfiniBand vs. RoCE vs. Plain Ethernet: Die Wahl der passenden Architektur im Jahr 2026
Bei jeder Angebotsanfrage für KI-Cluster mit mehreren Knoten werden drei Transportoptionen genannt: InfiniBand, RoCE und herkömmliches TCP/IP-Ethernet. Diese drei Optionen liegen nicht auf derselben Linie. Sie repräsentieren drei unterschiedliche technische Ansätze – verlustfreies HPC-Fabric von Grund auf, verlustfreies Ethernet und den im übrigen Computing üblichen Netzwerk-Stack. Sie weisen unterschiedliche Kostenverläufe, unterschiedliche Betriebsanforderungen und je nach konkretem Anwendungsfall ganz unterschiedliche optimale Lösungen auf.
Dieser Artikel erläutert die einzelnen Technologien, die tatsächlichen Auswirkungen auf Latenz und Kosten im Jahr 2026 und die Grenze zwischen „Wir brauchen RDMA“ und „Wir brauchen speziell RDMA und InfiniBand“. Abschließend präsentieren wir eine übersichtliche Entscheidungsmatrix.
Zielgruppe: Anwender, die einen KI-Cluster mit 2 bis 32 Knoten dimensionieren und sich fragen, ob die Investition in einen InfiniBand-Switch gerechtfertigt ist. Siehe auch N01 für die Grundlagen von 25/100-GbE, N06 für das zugrunde liegende Latenzbudget, N07 für die Routing-Einstellungen und N08 für die praktische RDMA-Inbetriebnahme.
Drei Stoffe, was jeder einzelne genau ist
Natives InfiniBand ist ein speziell für HPC entwickeltes Fabric. Die Sicherungsschicht ist von Grund auf verlustfrei – dank kreditbasierter Flusssteuerung sendet ein Sender nur dann, wenn der Empfänger über ausreichend Pufferspeicher verfügt. Dadurch gehen Pakete bei Überlastung nicht verloren, wie es bei Ethernet der Fall ist. Das Routing ist zentralisiert: Jedes Fabric verfügt über einen Subnetzmanager (einen Subnetzmanager). opensm Ein Prozess oder ein eingebetteter SM auf einem verwalteten Switch), der LIDs zuweist, Pfade berechnet und sich bei Topologieänderungen neu konfiguriert. Die Anwendungsschnittstelle ist die Verbs-API. ibv_post_sendWarteschlangenpaare, Abschlusswarteschlangen, Speicherbereiche – dieselbe API, die der Rest der RDMA-Welt übernommen hat.
Im Jahr 2026 wird die NDR-Generation (400 Gbit/s pro Port, ConnectX-7, Quantum-2 Switches) eingesetzt. XDR (800 Gbit/s, ConnectX-8, Quantum-X800) wird dieses Jahr an Hyperscaler und KI-Labore ausgeliefert; die IBTA veröffentlichte die XDR-Spezifikation 2023, und die Chips sind nun in Serie verfügbar. Die Switch-Hop-Latenz liegt bei NDR-Chips unter 100 ns – der niedrigste kommerziell verfügbare Wert und seit zwei Jahrzehnten der niedrigste, um etwa den Faktor vier.
RoCEv2 (RDMA über konvergiertes Ethernet, Version 2) ist dieselbe RDMA-Verben-API, die über UDP/IP über Ethernet läuft. Der NIC-Chip ist bei einem ConnectX-7 oder ConnectX-8 der exakt derselbe Chip als die InfiniBand-Version — ein Firmware-Flag (LINK_TYPE_P1 = 1 für IB, 2 RoCEv2 (für Ethernet) schaltet zwischen den Modi um. Was jedoch nicht kostenlos ist: Ethernet ist standardmäßig verlustbehaftet, während RDMA verlustfreie Übertragung voraussetzt. Daher muss sich die Netzwerkarchitektur einer RoCE-Implementierung auf der Sicherungsschicht wie InfiniBand verhalten. Dies bedeutet Priority Flow Control (PFC) für kurzfristige Notbremsungen, ECN für langfristige Überlastungswarnungen und eine Regelschleife wie DCQCN, die diese miteinander verbindet. Genau dieser Konfigurationsaufwand – und das damit verbundene Betriebsrisiko – unterscheidet RoCE von herkömmlichem Ethernet. Bei korrekter Implementierung erreicht RoCEv2 eine Latenz, die nahezu mit der von InfiniBand vergleichbar ist: 1.5–2.5 µs RDMA-RTT auf demselben Switch gegenüber ca. 1 µs bei IB.
Das herkömmliche TCP/IP-Ethernet ist der Standard für den Rest der Welt. Es nutzt die Sockets-API, den Kernel-Netzwerkstack, verzichtet auf RDMA und bietet keine verlustfreie Datenübertragung. Die Latenz liegt laut N06 im Bereich von 10–30 µs pro Richtung , der Durchsatz entspricht der Netzwerkbandbreite für Massenübertragungen, und die CPU befindet sich im Datenpfad. Diese Architektur eignet sich für Management-Datenverkehr, Modell-Downloads, Telemetrie und die Gigabit-Verbindung zwischen Roboter und Inferenzserver. Für synchrone Gradienten-AllReduce-Operationen über 16 GPUs ist sie jedoch ungeeignet.
Der Vergleich der Schlagzeilen
| Eigenschaft | InfiniBand NDR | RoCEv2 (100 GbE) | Einfaches TCP 100 GbE |
|---|---|---|---|
| Geschwindigkeit pro Port (Standard 2026) | 400 Gb / s | 100–400 Gbit/s | 100 Gb / s |
| Same-Switch RDMA RTT, 64 B | ~1 µs | 1.5–2.5 µs | n. v. (kein RDMA) |
| Switch-Hop-Latenz | <100 ns | 400–600 ns | 400 ns – 3 µs |
| Sockets RTT (Kernel-Stack) | n/a | n/a | 20–60 µs |
| Verlustfreie Verbindungsschicht | Ja, das ist so beabsichtigt. | Abgestimmt (PFC + ECN) | Nein |
| Routing | SM, deterministisch | ECMP + adaptiv | ECMP / Standard L2/L3 |
| NIC-Silizium | ConnectX-7/8 | ConnectX-7/8 (gleicher Chip) | Jedes |
| relative Kosten pro Hafen | ~$$$ | ~$$ | ~$ |
| Operative Komplexität | Mittel (SM, aber wenige Knöpfe) | Hoch (PFC/ECN/DCQCN-Abstimmung) | Niedrig |
| Händlerkonzentration | NVIDIA-exklusiv | NVIDIA, Broadcom, AMD/Pensando, Cisco, Arista | Jemand |
Die Kostenangabe in der Zeile „Kosten“ ist relativ, nicht absolut zu verstehen. Der tatsächliche Preisunterschied bei Switches beträgt pro Port etwa das 2- bis 3-Fache für einen InfiniBand-NDR-Switch im Vergleich zu einem gleichwertigen Ethernet-Switch der AI-Klasse (Spectrum-X, Tomahawk 5/6). Die Netzwerkkarte selbst ist in beiden Betriebsarten im Wesentlichen die gleiche Hardware; der Unterschied liegt in der Lizenzierung und im Supportvertrag.
Wohin die Latenz geht
N06 benötigt für einen einzelnen RDMA-Roundtrip eine Verzögerung von Mikrosekunden. Die für diesen Vergleich relevante Kurzfassung:
| Hops | InfiniBand NDR | RoCEv2 100 GbE | Einfaches TCP 100 GbE |
|---|---|---|---|
| NIC TX (Verben) | 0.3–0.5 µs | 0.3–0.5 µs | n/a |
| Switch-Hop (einzeln) | <0.1 µs | 0.4–0.6 µs | 0.4–3 µs |
| Draht (10 m) | 50 ns | 50 ns | 50 ns |
| NIC RX | 0.3–0.5 µs | 0.3–0.5 µs | n/a |
| Kernel TCP/IP Einweg | n/a | n/a | 10–30 µs |
| Anwendung (memcpy, serialize) | 0.1–1 µs | 0.1–1 µs | 1–10 µs |
| Absolute Einwegschaltung, Einzelschalter | ~1 µs | ~1.2–2 µs | ~15–40 µs |
InfiniBand punktet mit geringerer Latenz der Switch-ASICs – diese Lücke besteht weiterhin. Moderne AI-Ethernet-Switches (Spectrum-X SN5600 / Tomahawk 5) erreichen Latenzen pro Hop im Bereich von 400–600 ns. Dies ist so wettbewerbsfähig, dass der absolute Unterschied über eine Leaf-Spine-Architektur mit zwei Hops in der Größenordnung von 1 µs liegt. Für enge Tensor-parallele Kollektive ist dies relevant. Für Speicherzugriffe oder Batch-Inferenz spielt es keine Rolle.
Die Spalte für reines TCP ist diejenige, die diejenigen abschreckt, die nur die Latenz von Sockets kennen. Die Kernelkosten von 10–30 µs pro Weg fallen pro Paket an; bei kleinen Nachrichtenkollektiven mit vielen Roundtrips summieren sie sich schnell. NCCL über TCP funktioniert zwar, sollte aber nur im äußersten Notfall eingesetzt werden.
Bandbreite und die Realität der Netzwerkkarte
Im Jahr 2026 wird dieselbe Kartenfamilie sowohl InfiniBand als auch RoCE abdecken:
| NIC | Model | Pro Port | PCIe |
|---|---|---|---|
| ConnectX-6Dx | IB HDR / RoCE 100 GbE | 200 / 100 Gbit/s | Gen4 |
| ConnectX-7 | IB NDR / RoCE 400 GbE | 400 Gb / s | Gen5 |
| ConnectX-8 SuperNIC | IB XDR / RoCE 800 GbE | 800 Gb / s | Gen6 |
| BlueField-3 DPU | IB NDR / RoCE 400 GbE + Offload | 400 Gb / s | Gen5 |
| Broadcom Thor 2 / Thor 3 | RoCE Ethernet-only | Bis zu 800 Gbit/s | Gen5/6 |
| AMD Pensando Pollara 400 | RoCE / Ultra Ethernet | 400 Gb / s | Gen5 |
Die Kernaussage: Eine ConnectX-7-Karte, die Sie für IB erwerben, ist dieselbe, die Sie auch für RoCE benötigen. Der Listenpreis liegt Anfang 2026 bei etwa 1,500–2,200 € für eine Single-Port-NDR-Karte; die Varianten-SKU konfiguriert lediglich die Firmware vor. Daher ist der Wechsel von IB zu RoCE in den meisten Clustern kein erneuter Kauf der Netzwerkkarte – es handelt sich lediglich um ein Firmware-Flag, den Austausch des Transceivers und die Änderung der Switch-Fabric.
Auf AMD-Seite ist Pensando Pollara 400 (bereits auf den Plattformen MI300X/MI325 verfügbar) die erste ernstzunehmende Nicht-NVIDIA-RDMA-Netzwerkkarte mit produktiven KI-Implementierungen. Broadcom kündigte eine 800G-KI-Netzwerkkarte für 2025 an (Thor Ultra/Thor 3-Generation). Erstmals seit zehn Jahren ist der Markt für RDMA-Netzwerkkarten nicht mehr von einem einzigen Anbieter dominiert.
Wechselstuben: Wo das Geld tatsächlich liegt
Die Netzwerkkarte kostet in allen Betriebsmodi ungefähr gleich viel. Der Switch hingegen nicht.
| Klasse wechseln | Kapazität | Ungefähre Liste pro Hafen, 2026 |
|---|---|---|
| NVIDIA Quantum-2 QM9700 (64× 400G NDR IB) | 51.2 Tb / s | $$$$ (entspricht etwa dem 3-Fachen von Ethernet) |
| NVIDIA Quantum-X800 (XDR IB) | 115.2 Tb / s | $ $ $ $ $ |
| NVIDIA Spectrum-X SN5600 (64× 800G Eth) | 51.2 Tb / s | $ $ $ |
| Broadcom Tomahawk 5 Referenz (51.2 Tb/s) | 51.2 Tb / s | $$ |
| Broadcom Tomahawk 6 (102.4 Tb/s) | 102.4 Tb / s | $$$ (neuer, Premium) |
| Generisches 100-GbE-Leaf-Modul (Rechenzentrumsklasse) | 6.4–12.8 Tb/s | $ |
Der 2- bis 3-fache Aufpreis pro Port für InfiniBand ist seit Jahren konstant. Das sind reale Kosten: Ein Quantum-2 NDR-Switch mit 64 Ports kostet je nach Optik und Support zwischen 120 und 180 Euro; ein Spectrum-X SN5600 mit 64 Ports und ähnlicher Portanzahl liegt bei etwa 60 bis 90 Euro; ein Standard-Tomahawk-5-System eines taiwanesischen OEMs kann die Hälfte kosten. Kommen noch Optiken hinzu – OSFP-NDR-Transceiver kosten bei größeren Abnahmemengen 600 bis 1,200 Euro pro Stück –, vergrößert sich der Gesamtpreisunterschied pro Port weiter.
Wo die Kosten nicht so stark variieren wie erwartet: Aktive optische Kabel (AOC) und Kupfer-Direktanschlusskabel (DAC) für die Verlegung innerhalb des Racks. Ein 3 m langes DAC-Kabel kostet in beiden Systemen etwa 100–200 €. Die hohen Kosten für optische Kabel entstehen erst ab einer Länge von ca. 5 m, wenn an beiden Enden SR/LR-Transceiver benötigt werden.
Der Spectrum-X-Aspekt: NVIDIAs „KI-Ethernet“-Angebot
NVIDIAs strategische Antwort auf den Ethernet-Wandel ist Spectrum-X – ein Paket aus Spectrum-4- (und jetzt Spectrum-5-)Switch-Chips, BlueField/ConnectX-Netzwerkkarten und einer umfassenden Lösung zur Staukontrolle, die sie „adaptives Routing + telemetriebasiertes Load Balancing“ nennen. Laut Marketingversprechen bietet Spectrum-X AllReduce-Leistung der InfiniBand-Klasse über Ethernet, validiert anhand realer KI-Trainingslasten.
Die gemessene Realität, aus NVIDIAs eigenen Benchmarks und von Drittanbietern:
- Spectrum-X schließt bei NCCL-Workloads etwa 80–90 % der Leistungslücke zwischen AllReduce und InfiniBand NDR. Die verbleibende Lücke betrifft kleine Nachrichten und das Verhalten im Worst-Case-Szenario.
- Das entscheidende Merkmal ist das adaptive Routing pro Paket (Pakete werden über mehrere Pfade verteilt und beim Empfänger neu angeordnet). Standard-ECMP berechnet den Hashwert ganzer Datenströme, was bei KI-Workloads mit geringer Datenstromanzahl zu Hotspots führt. Spectrum-X umgeht diese Annahme der Datenstrom-Hashberechnung.
- Es funktioniert nur als Stack. Kombiniert man eine Nicht-NVIDIA-Netzwerkkarte mit einem Spectrum-Switch, bricht der Telemetriepfad für das adaptive Routing ab. Das ist der Kompromiss, der zur Anbieterbindung führt: Man verlässt das InfiniBand-Ökosystem, nur um es über Ethernet wieder zu betreten.
Ehrlich gesagt: Spectrum-X ist eine durchdachte technische Lösung für ein reales Problem. Es ermöglicht NVIDIA zudem, auf jeder Ebene eines KI-Clusters mitzuwirken – genau das, was Hyperscaler mit Ethernet vermeiden wollten. Ob es die richtige Entscheidung ist, hängt davon ab, ob der verbleibende Leistungsunterschied von 10–20 % den dadurch entstehenden Verlust an Integrationsfreiheit wert ist.
Die Alternative zu NVIDIA ist Ultra Ethernet (UEC) – die 2025 veröffentlichte UEC-1.0-Spezifikation, unterstützt von AMD, Broadcom, Cisco, HPE, Intel, Meta und Microsoft. Sie bietet Multipath-Übertragung, Lastverteilung auf Paketebene, netzwerkinterne Staukontrolle und eine offene API. Die Pensando Pollara und die Broadcom Thor 3 sind die ersten Netzwerkkarten mit UEC-Unterstützung. Ab Mitte 2026 ist dies der vielversprechende, herstellerübergreifende Ethernet-Pfad für KI, der nicht durchgängig auf NVIDIA-Technologien angewiesen ist.
Hyperscaler-Kontext (und was das für uns alle bedeutet)
Die Schlagzeile der letzten zwei Jahre: Die Hyperscaler haben InfiniBand weitgehend den Rücken gekehrt. Meta trainierte Llama 3 über RoCE. Die KI-Infrastruktur von AWS basiert durchgängig auf Ethernet. Googles TPU-Pods waren schon immer kundenspezifisch, ihre GPU-Flotten hingegen nutzen Ethernet. Microsoft Azure setzt auf einen Mix und investiert massiv in Ethernet für neue Infrastrukturen. Laut Broadcoms Gewinnmitteilungen werden Anfang 2026 rund 70 % der neuen KI-Infrastrukturen auf Ethernet statt auf InfiniBand setzen – ein deutlicher Umschwung gegenüber dem InfiniBand-Anteil von rund 80 % im Jahr 2023.
Metas veröffentlichtes Fazit war eindeutig: Richtig konfigurierte RoCEv2- und InfiniBand-Systeme liefern bei ihren jeweiligen Workloads eine vergleichbare Trainingsleistung. Der entscheidende Punkt ist nicht die reine Leistung, sondern die Frage, wem die Chips gehören, wer die SREs (Site Reliability Engineers) stellt, wie die Komponenten beschafft werden und ob sich das Betriebsmodell in das restliche Rechenzentrum integrieren lässt.
Für den Rest von uns, die wir keine Trainingsumgebungen mit 10,000 GPUs betreiben, sind drei Dinge von Bedeutung:
- Die Frage „Kann Ethernet KI leisten?“ ist geklärt. Ja, das ist möglich. RoCEv2 mit modernen KI-Switch-Siliziumchips und adäquater Staukontrolle ist produktionsreif. Die Hyperscaler haben es bewiesen. Sie müssen Ihre Wahl in einer Angebotsanfrage nicht mehr verteidigen.
- Mit dem Silizium hat sich auch das operative Know-how verändert. Vor fünf Jahren gab es in Ihrem Land drei Personen, die ein InfiniBand-System einrichten konnten, und eine, die PFC/DCQCN auf RoCE korrekt konfigurieren konnte. Heute sind die RoCE-Kenntnisse deutlich verbreiteter, die InfiniBand-Kenntnisse konzentrieren sich hingegen auf HPC-Labore und NVIDIA-Partner. Planen Sie Ihre Personalplanung entsprechend.
- Die Geschichte der Lieferantenbindung hat sich umgekehrt. InfiniBand war bisher eine Technologie eines einzigen Herstellers (NVIDIA, ehemals Mellanox). Ethernet war die offene Alternative – bis Spectrum-X auch für Ethernet eine durchgängige NVIDIA-Lösung anbot. Die wirklich herstellerneutrale Lösung im Jahr 2026 ist RoCE der UEC-Klasse mit Chips von Broadcom oder AMD.
Wann InfiniBand die richtige Wahl ist
InfiniBand ist die richtige Antwort, wenn die meisten dieser Punkte zutreffen:
- Dedizierter Trainingscluster, 16+ Knoten, Die synchrone Ausführung von Gradienten-AllReduces erfolgt mit gleichbleibender Geschwindigkeit. Der Latenzvorteil am Ende mit kleinen Kollektiven summiert sich über Tausende von Iterationen.
- Sie kaufen ja sowieso NVIDIA HGX- oder DGX-Systeme. Diese Basisplatinen sind für NDR/XDR ausgelegt. Die Kombination von Ethernet mit einem DGX-Knoten ist betrieblich schwierig.
-
Sie verfügen über interne Experten der den Subnetzmanager kennt, kann lesen
ibtracertAusgabe und ist mit dem UFM-Management von NVIDIA vertraut. - Das Budget erlaubt einen Aufpreis von 2–3x pro Port für einen Switch. ohne die Clusterökonomie zu beeinträchtigen.
- Der Cluster ist der eigentliche Zweck des Gebäudes. Bei einer reinen HPC/KI-Implementierung ohne gemeinsam genutzte Speichernutzer und ohne Anwendungsdatenverkehr vereinfacht InfiniBand das Betriebsmodell, da keine QoS-Argumente geführt werden müssen.
Wenn drei dieser fünf Punkte auf Ihre Konfiguration zutreffen, ist InfiniBand seinen Preis wert. Trifft nur einer zu, zahlen Sie für eine Technologie, die für die Probleme anderer Nutzer optimiert ist.
Wenn RoCEv2 die pragmatische Lösung ist
RoCE ist die richtige Antwort für den größten Teil des Kundenstamms von Kentino:
- 4 bis 16 Knoten, gemischte Arbeitslast, Training, Inferenz und Speicherung erfolgen auf demselben System.
- Budgetbewusst, aber RDMA-pflichtig. Der Cluster führt ausreichend Multi-Node-Training oder verteilte Inferenz durch, sodass die Kernel-Stack-Belastung von einfachem TCP inakzeptabel ist, der Aufpreis für den InfiniBand-Switch hingegen schon.
- Gemeinsame Infrastruktur mit Datenverkehr, der nicht auf KI basiert. Betrieb, Speicherung und Entwicklerzugriff nutzen alle dieselbe Ethernet-Infrastruktur. RoCE ist damit kompatibel; InfiniBand benötigt eine eigene physikalische Schicht.
- Sie wünschen sich Wahlfreiheit bei den Anbietern. Broadcom-Switches mit NVIDIA-Netzwerkkarten lassen sich mit AMD MI300-Knoten kombinieren. Das Ethernet-Ökosystem erlaubt dies, das InfiniBand-Ökosystem jedoch nicht.
- Das Team verfügt bereits über umfassende Erfahrung im Ethernet-Betrieb. Die PFC/ECN-Optimierung ist zwar aufwendig, basiert aber auf einem Fundament, das jedem bereits bekannt ist. Das Systemmodell in Ihrem Kopf ist die L2/L3-Steuerungsebene, die Sie seit Jahren verwenden.
Die Falle, die es zu beachten gilt: Eine Fehlkonfiguration von RoCEv2 ist gravierender als bei herkömmlichem TCP. PFC-Pause-Stürme in einem unsegmentierten Fabric können die Managementebene lahmlegen. Falsch eingestellte ECN-Schwellenwerte führen zu einem Fabric, das im Leistungstest zwar fehlerfrei erscheint, aber unter realen AllReduce-Incasts zusammenbricht. Gemäß N08 ist dies der Grund, warum die manuelle PFC-Konfiguration auf einer generischen Whitebox ein aufwendiges Projekt ist. Kaufen Sie bei einem Anbieter mit geprüften RoCE-Vorlagen (z. B. NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 mit dem AI Fabric Service Profile) oder beauftragen Sie jemanden mit Erfahrung in diesem Bereich.
Wann reicht einfaches TCP/IP-Ethernet aus?
Einfaches Ethernet – ohne RDMA, ohne PFC, ohne DCQCN-Tuning, nur Sockets und der Kernel-Stack – ist öfter die richtige Antwort, als man zugibt:
- Einzelknoten-Server mit 4 oder 8 GPUs. Der Datenverkehr zwischen den GPUs läuft innerhalb des Gehäuses über PCIe oder NVLink. Die einzige Netzwerkfunktion besteht darin, Trainingsdaten zu übertragen, Modellgewichte zu exportieren und Telemetriedaten auszutauschen. 25 GbE oder eine 100-GbE-Verbindung sind ausreichend.
- Inferenzcluster mit leichter Knotenkoordination. Die Latenz pro Anfrage wird maßgeblich von der GPU-Berechnung bestimmt; 10 µs Netzwerkzeit sind Rauschen.
- Labor mit Mischnutzung Robotik-Workbench, Entwicklungsumgebung. Der Cluster führt kein kontinuierliches synchrones Training durch. RDMA ist überdimensioniert.
- Robotik-Edge-KI-Setups wie beschrieben in I01 — Der Roboter kommuniziert mit einem Inferenzserver, das Latenzbudget liegt im Bereich von Hunderten von Millisekunden, die Infrastruktur ist unsichtbar.
Die ehrliche Empfehlung für die meisten Kentino-Kunden: Wer einen einzelnen K-AI 256 Turin Dual mit 8× RTX 5090 kauft, braucht weder InfiniBand noch RoCE. Zwei 100-GbE-Verbindungen zu einem Standard-Rechenzentrumsswitch, Jumbo-Frames aktiviert, Standard-Kernel-Tuning – das ist die richtige Lösung und kostet fünfstellige Beträge weniger als die Alternative.
Ehrliche Kentino-Meinung
Wir beliefern Kunden, die Cluster mit 1 bis 8 Knoten und Consumer- sowie Workstation-GPUs (5090, 4090, RTX Pro 6000 Blackwell) aufbauen. Nicht den Hyperscale-Markt, nicht den HPC-Markt. Für diese Anforderungen:
- Einzelknoten-System mit 8 GPUs: einfaches 25/100 GbE. Fertig. Kein RDMA, keine Fabric-Steuer. Die relevante Bandbreite befindet sich innerhalb des Gehäuses über PCIe Gen5; die externe Verbindung dient der Datenaufnahme und -verwaltung.
-
Cluster mit 2 bis 4 Knoten und gelegentlichem verteiltem Training: RoCEv2 auf 100 GbE mit einer vom Hersteller unterstützten KI-Switch-Vorlage. Spectrum-X, wenn Sie den von NVIDIA validierten Weg bevorzugen; Tomahawk 5/Arista, wenn Sie den Multi-Vendor-Weg bevorzugen. Planen Sie zwei Wochen für die ordnungsgemäße Inbetriebnahme von PFC/ECN ein.
nccl-testsValidierung. - Kontinuierlicher Trainingscluster mit 4 bis 8 Knoten: RoCEv2 auf 200 oder 400 GbE, mit vollständig getrennter Managementebene. Dies ist der optimale Bereich für die Kostenkurve pro Port; der Unterschied zu IB ist in diesem Umfang nicht ausreichend, um den Aufpreis für den Switch zu rechtfertigen, es sei denn, die Arbeitslast ist ungewöhnlich latenzempfindlich.
- Ab 8 Knoten, anhaltendes Training mit hohem AllReduce-Aufkommen: InfiniBand verdient Beachtung. Nicht automatisch – messen Sie es. Aber bei dieser Größe ist die operative Einfachheit – „Das Fabric ist verlustfrei, der SM übernimmt das Routing, NCCL funktioniert einfach“ – bares Geld wert.
- Alles, was wirklich im DGX-Maßstab ist: nichts für uns. Beim Kauf von HGX ist das InfiniBand-Bundle inklusive.
Was ist als nächstes zu tun?
Eine Entscheidungsmatrix, die die meisten dieser Gespräche beendet:
| Frage | Falls ja | Wenn nein |
|---|---|---|
| Handelt es sich um einen Einzelknoten-Server oder um zwei Knoten, die unabhängig voneinander arbeiten? | Einfaches TCP, 25/100 GbE. Hier aufhören. | Weiter. |
| Nutzen Sie synchrones verteiltes Training (DDP / FSDP / Megatron)? | Weiter. | Einfaches TCP/100 GbE genügt. Schluss. |
| Besteht der Cluster aus insgesamt ≤ 4 Knoten? | RoCEv2 auf 100 GbE. | Weiter. |
| Handelt es sich um einen Cluster mit 4–16 Knoten, gemischter Arbeitslast und gemeinsam genutzter Infrastruktur? | RoCEv2 auf 100/200/400 GbE mit Spectrum-X oder Tomahawk 5/6. | Weiter. |
| Handelt es sich um einen Cluster mit mindestens 16 Knoten, dediziertem KI-Training und NVIDIA-Budget? | InfiniBand NDR / XDR. | RoCEv2 ist weiterhin verteidigungsfähig. |
| Verfügen Sie über InfiniBand-Expertise in Ihrem Team? | IB ist betrieblich günstiger. | Lean RoCEv2; der Markt für Ethernet-Fachkenntnisse ist weitaus größer. |
| Wird dieselbe Infrastruktur auch Datenverkehr abwickeln, der nicht mit KI in Verbindung steht (Speicherung, Verwaltung, Entwicklung)? | RoCEv2; IB erfordert separate bauliche Anlagen. | IB ist sauberer, sofern das Budget es zulässt. |
Wenn Sie einen Build bewerten und sich unsicher sind, ist die Reihenfolge der Arbeitsschritte wie folgt:
- Profilieren Sie die Arbeitslast. Wie hoch ist der Anteil der Gesamtlaufzeit an den Berechnungen zwischen den Knoten im Vergleich zu den Berechnungen auf einzelnen Knoten? Liegt dieser Anteil unter 10 % der Laufzeit, hat die Wahl der Architektur kaum Auswirkungen.
- Die Clustergröße sollte realistisch gewählt werden. Zwei Knoten stellen nicht dasselbe Problem dar wie 16 Knoten. Die Anzahl muss vor der Vernetzung festgelegt werden.
- Sprechen Sie mit zwei Anbietern von Switches. Lassen Sie sich ein konkretes Angebot pro Port inklusive Optik erstellen. Der 2- bis 3-fache InfiniBand-Aufpreis ist keine Theorie und wird in Marketingpräsentationen nicht erwähnt.
- Planen Sie die Managementebene separat. für N08Die Debatte um die Datenplane-Fabric lenkt von der Tatsache ab, dass man auch ein 10-GbE-Managementnetzwerk benötigt, das nicht von der KI-Fabric abhängig ist, um zu funktionieren.
- Falls RoCE: Planen Sie zwei Wochen für die Cluster-Inbetriebnahme zur PFC/ECN/DCQCN-Optimierung ein. für N08Hier entscheidet sich, ob RoCE-Cluster überleben oder untergehen.
Die Folgeartikel behandeln die Grundlagen der Netzwerktechnik ( N01 ), das Latenzbudget, aus dem die Entscheidungsfindung resultiert ( N06 ), die Komplexität des Routings und der Staukontrolle ( N07 ) sowie die praktische Inbetriebnahme von RDMA unabhängig von der Netzwerkarchitektur ( N08 ). Der K-Track greift Themen auf Clusterebene auf – verteiltes Training (K02) und Inferenzcluster (K03) –, die davon ausgehen, dass diese Entscheidung bereits getroffen wurde.
InfiniBand ist in seinem Bereich hervorragend. RoCEv2 hat so weit aufgeholt, dass es bei den meisten neuen Projekten hinsichtlich Kosten und Ökosystem die Nase vorn hat. Einfaches Ethernet ist die unscheinbare, aber richtige Lösung für die meisten Anwender. Wählen Sie die Technologie, die Ihre Arbeitslast tatsächlich benötigt, nicht die, die der Hersteller empfiehlt.
Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Computing und den dazugehörigen Systemen. Korrekturen sind willkommen unter info@kentino.com.