Schalterlose Topologien: Mesh, Ring und Direct-Connect für kleine KI-Cluster

Ein 32-Port-400-GbE-Switch inklusive Optiken, Breakout-Boards und Softwarelizenzen kostet Mitte 2026 voraussichtlich zwischen 40 € und 80 €, ein 64-Port-NDR-InfiniBand-Switch ist noch teurer. Für einen Kunden, der ein Trainingssystem mit zwei bis vier Knoten aufbaut, können die Kosten des Switches höher sein als die der GPUs in einem der Knoten. Hinzu kommen ein zusätzlicher Latenz-Hop, ein Single Point of Failure, ein separater Firmware-Lebenszyklus und – bei Verwendung von RoCE – ein erheblicher Aufwand für die PFC/ECN-Optimierung.

Eine Tatsache, die kaum jemand erwähnt, ist, dass man bei weniger als acht Knoten überhaupt keinen Switch benötigt . Man kann die Netzwerkkarten direkt miteinander verbinden, den Switch komplett weglassen und erhält so eine einfachere, günstigere und etwas schnellere Lösung. Ebenso wenig wird jedoch anerkannt, dass ab etwa acht Knoten die Leistungsfähigkeit ohne Switch rapide abnimmt und die Verkabelung, die Anzahl der Ports und der Betrieb nicht mehr zu rechtfertigen sind. Dieser Artikel beschreibt diesen Bereich realistisch.

Es ist das Gegenstück zu N04 (geschaltete Topologien). Lesen Sie N06 für die Latenzberechnungen, auf denen der schalterlose Vorteil basiert, und K07, um zu sehen, wie ein einzelner Basisknoten aussieht – der Baustein, den dieser Artikel verbindet.

Argumente für schalterlose Lösungen

Vier Dinge, die Sie kostenlos erhalten, wenn Sie den Schalter entfernen:

  1. Null Schaltverzögerung. Ein moderner Cut-Through-Ethernet-AI-Switch benötigt 400–600 ns pro Hop. Ein NDR-InfiniBand-Switch liegt unter 100 ns. Ein direktes NIC-zu-NIC-Kabel verursacht lediglich die übliche Leitungsverzögerung (ca. 5 ns/m bei Kupfer, ebenso bei Glasfaser). Bei einer Ping-Pong-Verbindung zwischen zwei Knoten reduziert dies die Einweglatenz von ca. 2 µs auf ca. 1.2–1.5 µs.
  2. Keine Wechselkosten. Eine Direktverbindung mit zwei Knoten besteht aus zwei Netzwerkkarten (NICs) und einem Digital Audio Controller (DAC). Eine Dreiecksverbindung mit drei Knoten benötigt drei NICs und drei DACs. Die Investitionskostenersparnis gegenüber selbst einem kleinen 100-GbE-Switch mit QSFP28-Optiken ist bei kleineren Systemen beträchtlich – 10 bis 30 €, die in GPUs investiert werden können.
  3. Keine PFC/ECN-Kopfschmerzen. Eine direkte NIC-zu-NIC-Verbindung ist eine Punkt-zu-Punkt-Verbindung – die Flusssteuerung ist eine Zwei-Parteien-Kommunikation, PFC reduziert sich auf die Aufforderung an den Gegenüber, den Vorgang zu stoppen. Es gibt keine netzwerkweite Pausenfortpflanzungspathologie, da kein netzwerkweites Netzwerk existiert.
  4. Eine Geräteklasse zum Debuggen. Wenn in einer switchlosen Infrastruktur ein Fehler auftritt, beschränkt sich die Liste der Verdächtigen auf zwei Netzwerkkarten, ein Kabel und die Kernel-Treiber an beiden Enden. Das ist ein kleiner, endlicher Suchraum.

Der Fall mit zwei Knoten: einfach zusammenstecken

Dies ist die sauberste mögliche Konfiguration eines KI-Clusters, und bei der switchless eindeutig korrekt ist.

Knoten A — Kentino AI 256
  • 8× RTX 5090
  • ConnectX-7 OSFP (400 Gbit/s)
⇄ 400G DAC (passiv, ≤3 m)
Knoten B — Kentino AI 256
  • 8× RTX 5090
  • ConnectX-7 OSFP (400 Gbit/s)

Direkte Zwei-Knoten-Verbindung: ein passiver OSFP-DAC, kein Switch, RDMA-Latenz von ca. 0.8–1.2 µs, nutzbarer Durchsatz von ca. 50 GB/s pro Richtung.

Ein einzelner OSFP-DAC verbindet zwei ConnectX-7-Netzwerkkarten mit 400 Gbit/s. Das ist die gesamte Netzwerkarchitektur zwischen den Knoten. Dieselben Netzwerkkarten, die in einem größeren Netzwerk an einen Switch angeschlossen wären, sind stattdessen direkt miteinander verbunden. RDMA-Befehle funktionieren, NCCL erkennt die Verbindung automatisch, GPUDirect RDMA läuft unverändert.

Das Ergebnis: ~50 GB/s nutzbare Geschwindigkeit pro Richtung, RDMA-Latenz im Sub-Mikrosekundenbereich (ib_send_lat Landet bei etwa 0.8–1.2 µs), ein Kabel. Kein Aggregationsproblem, da nichts zu aggregieren ist. Keine Überbelegung, da kein Verzweigungspunkt vorhanden ist.

Für ein Trainingssystem mit zwei Knoten – die häufigste Konfiguration unserer Kunden, die mit einem einzelnen System nicht mehr auskommen – ist dies die richtige Lösung. Verzichten Sie auf den Switch. Verbinden Sie die beiden Systeme direkt. Investieren Sie das gesparte Geld in eine größere NVMe-SSD oder einen zweiten Netzwerkanschluss für Redundanz.

Eine praktische Verbesserung: Verwenden Sie ein/eine Dual-Port Verbinden Sie X-7 und betreiben Sie zwei parallele 200-Gb/s-DACs zwischen den Geräten, wobei NCCL so konfiguriert ist, dass es beide HCAs verwendet (NCCL_IB_HCA=mlx5_0,mlx5_1Man verliert zwar etwas an Spitzenlast pro Datenfluss, erhält aber Pfadredundanz und ein etwas besseres Verhalten bei kleinen Nachrichten durch parallele Warteschlangenpaare. Bei Systemen mit zwei Knoten verwenden wir diese Konfiguration standardmäßig.

Drei und vier Knoten: Dreieck und K₄

Drei Knoten sind der kleinste Fall, bei dem die Topologie eine Rolle spielt. Die Optionen sind:

  • Lineare Kette (ABC). Zwei Kabel. Durchmesser 2. Knoten B ist ein Hotspot – der gesamte Datenverkehr von A nach C läuft darüber. Vermeiden.
  • Dreieck (vollständiges Netz). Drei Kabel. Durchmesser 1. Jeder Knoten hat zwei Ports. Jeder Datenfluss entspricht einem Hop. Das ist die richtige Antwort.
Dreieck (3 Knoten, K₃) A B C 3 Verbindungen · 2 Anschlüsse/Knoten · Durchmesser 1 K₄ Vollnetz (4 Knoten) A B D C 6 Verbindungen · 3 Anschlüsse/Knoten · Durchmesser 1

Links: Dreieck (K₃) — 3 Knoten, 3 Kabel, Durchmesser 1. Rechts: K₄ Vollmasche — 4 Knoten, 6 Kabel, Durchmesser 1. Jedes Paar ist direkt verbunden.

Bei vier Knoten wird es interessant. Das vollständige Netz – der vollständige Graph K₄ – hat insgesamt sechs Verbindungen, drei Ports pro Knoten und einen Durchmesser von 1. Jeder Knoten erreicht jeden anderen in genau einem Hop. Die Verkabelungsberechnung:

Nodes Vollmaschige Verbindungen Ports pro Knoten Durchmesser
2 1 1 1
3 3 2 1
4 6 3 1
5 10 4 1
6 15 5 1
7 21 6 1
8 28 7 1

Die Anzahl der Ports pro Knoten im Vollnetz beträgt N-1Deshalb scheitert dieser Ansatz schnell. Bei acht Knoten benötigt man sieben Ports pro Gehäuse, was die praktische Grenze für einen einzelnen PCIe Gen5 x16-Steckplatz darstellt.

Wann ist ein vollständiges Mesh-Netzwerk mit vier Knoten einem kleinen Switch überlegen? Insbesondere dann, wenn Sie 4 Kentino AI 128-Knoten für die Inferenz verwenden und diese eng koppeln möchten, RoCE nutzen und keine PFC über einen Switch wünschen, und die zusätzlichen 15 bis 25 € eines 100-GbE-Switches mit Optik im Budget eine bedeutende Rolle spielen.

Wann ist ein kleiner Switch selbst bei vier Knoten im Vorteil? Wenn Sie im nächsten Quartal einen fünften Knoten hinzufügen möchten. Das Hinzufügen eines Knotens zu einem K₄-Mesh erfordert die Neuverkabelung aller vorhandenen Knoten, um die neuen Ports zu integrieren. Ein Switch hingegen verfügt über freie Ports; Sie müssen diese nur anschließen.

Der 8-Knoten-Fall: Hyperwürfel, mit einem Sternchen

Der 3-Würfel (Q₃) – ein Hyperwürfel der Dimension 3 – ist das Standardlayout für acht Knoten ohne Schalter. Jeder Knoten befindet sich an einer Ecke des Würfels; jede Kante des Würfels stellt eine direkte Verbindung dar. Drei Ports pro Knoten, insgesamt zwölf Verbindungen, Durchmesser 3.

000 001 010 011 100 101 110 111 3-Würfel Q₃: 8 Knoten · 12 Verbindungen · 3 Ports/Knoten · Durchmesser 3 Gray-Code-Etiketten – jede Kante unterscheidet sich in genau einem Bit
Eigenschaft Wert
Nodes 8
Links 12
Ports pro Knoten 3
Durchmesser 3
Bisektionsbandbreite 4-Links

Ehrlich gesagt: So etwas kommt in der Produktion selten vor. Es funktioniert zwar, und der Worst-Case mit Durchmesser 3 ist für die meisten Kollektive akzeptabel, aber der Verkabelungsplan ist für Laien wirklich verwirrend, die Fehlersuche erfordert Kenntnisse der Gray-Code-Beschriftung, und ein kleiner 16-Port-200-GbE-Switch liegt mittlerweile in der gleichen Preisklasse wie die zusätzlichen Netzwerkkarten und Kabel. Der 8-Knoten-Hypercube eignet sich eher als Lehrbeispiel denn als Serienprodukt. Bei acht Knoten empfehlen wir standardmäßig einen Switch.

Der Ring: dumm, einfach und überraschend relevant

Vergessen Sie die Minimierung des Durchmessers. Der Ring verbindet jeden Knoten nur mit seinen beiden Nachbarn: ABCD-...-A. Zwei Ports pro Knoten, unabhängig von der Clustergröße. Insgesamt N Verbindungen. Durchmesser N/2.

A B C D H G F E → → → ← ← ← 8-Knoten-Ring: 8 Verbindungen · 2 Ports/Knoten · Durchmesser 4 · NCCL-Ring-Allreduce-Mapping direkt

Das klingt furchtbar – Durchmesser 4 bei 8 Knoten, Durchmesser 16 bei 32 Knoten. Warum ist das nicht immer falsch?

Parce que NCCLs Ring-Allreduce bildet exakt auf einen physischen Ring ab.Der Algorithmus sendet jeden Datenblock pro Phase einmal im Ring. Ist die physikalische Topologie bereits ein Ring, läuft der Algorithmus mit der Leitungsgeschwindigkeit einer einzelnen Verbindung, ohne Bandbreitenverlust. NCCL verwendet für mittelgroße bis große Nachrichten standardmäßig die Ringtopologie und nicht die Baumtopologie, da die Ringtopologie die optimale Bandbreitenbegrenzung erreicht. 2(N-1)/N × link bandwidth Für allreduce gilt: Bei großen Nachrichtengrößen spielt der Durchmesser der physikalischen Topologie keine Rolle – entscheidend ist, dass jede Verbindung parallel genutzt wird, und der Ring erfüllt diese Anforderung perfekt.

Der pragmatische Anwendungsfall für einen physischen Ring als schalterlose Lösung sind Trainingsumgebungen mit 4–8 Knoten, bei denen jeder Knoten bereits über genau zwei RDMA-Ports verfügt . Der Haken: Ein Ring bietet keine Pfadredundanz. Ein defektes Kabel kann den Cluster in zwei Teile spalten.

Wenn eine schalterlose Lösung einen kleinen Schalter übertrifft, in Zahlen

Topologie Nodes Links Ports/Knoten Durchmesser Halbierung (Links)
Direkte Verbindung 2 1 1 1 1
Dreieck (K₃) 3 3 2 1 2
K₄ Vollgewebe 4 6 3 1 4
4-Knoten-Ring 4 4 2 2 2
8-Knoten-Ring 8 8 2 4 2
8-Knoten-Q₃-Würfel 8 12 3 3 4
16-Knoten Q₄ 16 32 4 4 8
8-Knoten-Stern (geschaltet) 8 8 1 2 hängt vom Schalter ab

Ungefährer Preisvergleich für einen Fabric-Aufbau mit 8 Knoten, Mitte 2026 (EUR exkl. MwSt.):

Ansatz NICs erforderlich Kabel Schalter Gesamtband
8-Knoten, Einzel-Switch 200-GbE-Stern 8× Single-Port 200 GbE 8× DAC ~18–28 € 25–35 €
8-Knoten-Ring, schalterlos 8× Dual-Port 200 GbE 8× DAC keine 15–22 €
8-Knoten-Q₃-Würfel, schalterlos 8× Tri-Port-Äquivalent 12× DAC keine 18–26 €
4-Knoten-K₄-Mesh, schalterlos 4× Tri-Port-Äquivalent 6× DAC keine 9–13 €
4-Knoten, kleiner 100-GbE-Switch 4× Single-Port 100 GbE 4× DAC ~8–12 € 11–16 €
2-Knoten-Direkt 2× Single-Port 400 GbE 1× DAC keine 3–5 €

Die Schwelle, ab der sich der Switch amortisiert, liegt bei etwa 6–8 Knoten, abhängig von der Bandbreitenstufe und der geplanten Erweiterung.

Uplink: Der Teil, den die Leute vergessen

Eine switchlose Dateninfrastruktur ist intern in sich abgeschlossen. Sie ist von sich aus mit keiner anderen Infrastruktur verbunden. Der Cluster benötigt weiterhin eine Uplink-Verbindung für den Abruf von Datensätzen und Modellen aus dem Unternehmensspeicher, SSH-Zugriff von Entwickler-Workstations, Telemetriedaten an Prometheus/Grafana, IPMI/BMC-Management und den Datenverkehr der Container-Registry.

Muster A – Jeder Knoten verfügt über eine separate Management-Netzwerkkarte. Jeder Knoten ist über einen kleinen 25-GbE- (oder sogar 10-GbE-)Port mit einem kostengünstigen Management-Switch verbunden, völlig unabhängig vom RDMA-Netzwerk. Dies ist fast immer die richtige Lösung. Das RDMA-Netzwerk ist eine sterile, verlustfreie und optimierte Umgebung; die Managementebene ist ein normales Ethernet-Netzwerk mit normalem Datenverkehr. Werden diese beiden Ebenen vermischt, stört der Management-Datenverkehr die anderen Knoten.

Muster B – Dedizierter Uplink-Knoten. Ein Knoten im Cluster verfügt über einen zusätzlichen Port für die externe Verbindung. Andere Knoten greifen über diesen Knoten auf das Internet zu. Diese Lösung eignet sich für kleine Budgets und Laborumgebungen, jedoch wird der Uplink-Knoten zum Flaschenhals beim Lesen von Datensätzen und zum Single Point of Failure für den Managementzugriff.

Die harte Wand bei ~16 Knoten

Switchless stirbt ab 16 Knoten aus drei unabhängigen Gründen, von denen jeder einzelne ausreicht:

  1. Anzahl der Ports pro Knoten. Volles Netz will N-1 Ports pro Knoten. Hypercube benötigt log₂(N)Selbst bei logarithmischer Skalierung benötigen 16 Knoten 4 Ports pro Knoten, was die praktisch erreichbare NIC-Dichte in einem einzelnen PCIe Gen5 x16-Steckplatz darstellt. 32 Knoten benötigen 5 Ports pro Knoten – dies erfordert mehrere Steckplätze und mehrere NUMA-Platzierungen.
  2. Kabelkombinatorik. Ein K₄-Vollmesh-Netzwerk mit 16 Knoten besteht aus 120 Kabeln. Ein Q₄-Hyperwürfel mit 16 Knoten hat 32. In beiden Fällen sind Beschriftung, Dokumentation und physischer Zugriff auf jedes einzelne Kabel wichtig. Die Suche nach einem falsch verdrahteten Kabel in einem Hyperwürfel mit 32 Kabeln kann Stunden dauern.
  3. Einsatzbericht. Beim Austausch einer defekten Netzwerkkarte in einem switchlosen Netzwerk müssen die N-1- (oder log N-) Kabel identifiziert werden, die die Karte verbunden haben. Jedes dieser Kabel muss dann einem bestimmten Port der Ersatzkarte zugeordnet werden. Der Unterschied in der mittleren Reparaturzeit (MTTR) im Vergleich zu einem Switch-basierten Netzwerk ist erheblich.

Kurz gesagt: Switchless ist für 2 bis 4 dedizierte Knoten geeignet , für 5 bis 8 Knoten mit einer klaren Zusage, nicht zu wachsen , vertretbar und für 9 oder mehr Knoten ein Fehler . Ab 9 Knoten ist ein Switch empfehlenswert.

Zwei Betonbauten, die einer Beschreibung wert sind

2× Kentino AI 256 Turin Dual, direkt verbunden, 400G. Zwei 8-GPU EPYC Turin-Knoten (5090 oder RTX Pro 6000 Blackwell), jeweils mit einem Single-Port ConnectX-7 400 GbE / NDR, dazwischen ein 3 m langer passiver OSFP-DAC. Gesamte Hardwarekosten zwischen den Knoten: ca. 4 €. NCCL allreduce Busbandbreite bei großen Nachrichten: ca. 45 GB/s. Geeignet für bidirektionale Tensor-Parallel-Inferenz eines 405-Byte-Dense-Modells (Aufteilung der Layer auf die beiden Server) oder für das Feinabstimmen eines 70-Byte-Modells, das nicht ganz auf einen Server passt. Wir haben Varianten dieser Konfiguration bereits mehrfach ausgeliefert. Sie ist zwar unspektakulär, funktioniert aber einwandfrei und ist um eine Größenordnung günstiger als die vergleichbare Switch-basierte Konfiguration.

4× Kentino AI 128 in K₄ Full Mesh, 100G. Vier EPYC-Knoten mit je einem Sockel und 4× RTX Pro 6000 Blackwell. Jeder Knoten verfügt über ein Tri-Port-äquivalentes NIC-Layout (ein Dual-Port plus ein Single-Port oder ein Quad-Port mit einem ungenutzten Port), 100-GbE-DAC-Fabric. Insgesamt sechs Kabel. Bisektionsbandbreite 400 Gbit/s. Wird für die tensorparallele Inferenz eines 70B-Klassenmodells mit 4-facher Aufteilung und vollständiger Aktivierungsweiterleitung zwischen jedem Paar verwendet. Der Switch wird als Single Point of Failure für den Inferenzdienst eliminiert, und das Budget des Kunden floss in GPUs statt in Hardware-Switches. Nachteil: Begrenzt auf vier Knoten; eine Erweiterung erfordert eine Re-Architektur.

Wenn schalterlos gewinnt

  • 2 Knoten – immer schalterlos. Es gibt kein wirkliches Argument für einen Wechsel.
  • 3 Knoten – schalterloses Dreieck. Drei Kabel, jeder Knotenpunkt ist nur einen Schritt entfernt. Ganz einfach.
  • 4 Knoten — schalterloser K₄, wenn Sie nicht wachsen, ansonsten ein kleiner Schalter. Beide Ansätze sind vertretbar; die Wachstumsannahme ist der entscheidende Faktor.
  • 5 bis 8 Knoten – üblicherweise umgeschaltet. Ring ist für bandbreitenintensive Anwendungen eine plausible Lösung, Hypercube für besonders anspruchsvolle Nutzer. Beide sind jedoch schwerer zu verteidigen als der Kauf eines einfachen 16-Port-Switches.
  • Bei 9 oder mehr Knoten – umgeschaltet. Immer. Ab diesem Punkt auf Schalter zu verzichten, ist ein Fehler, der als Einsparung getarnt ist.

Wenn Sie einen kleinen KI-Cluster dimensionieren und die Position „Schalter“ die Stückliste belastet:

  1. Zählen Sie die Knoten, die Sie tatsächlich benötigen. Nicht „für die nächsten fünf Jahre“. Sondern dieses und nächstes Jahr. Lautet die ehrliche Antwort 2–4, ist der schalterlose Weg real und eine Preisberechnung wert.
  2. Erstellen Sie eine Übersicht des Netzwerkkartenlayouts. Der ConnectX-7 Dual-Port 200 Gbit/s QSFP112 ist die am häufigsten verwendete Direktverbindungskomponente in unseren Systemen für 2026. Für höhere Knotenzahlen bei geringerer Geschwindigkeit pro Port ist der Quad-Port SFP56 die Option.
  3. Wähle eine Wachstumshaltung. Wenn die Möglichkeit besteht, mehr als 8 Knoten zu verwenden, sollten Sie sich jetzt den kleinen Switch zulegen. Die spätere Neuverkabelung eines Mesh-Netzwerks ist wirklich mühsam.
  4. Planen Sie die Managementebene separat. Datennetzwerk ohne Schalter, Managementebene mit Schaltern über kostengünstiges 10-GbE-Netzwerk. Diese sollten nicht auf einem einzigen Kabelsatz zusammengeführt werden.
  5. Führen Sie nccl-tests auf der Ist-Topologie, bevor der Sieg verkündet wird. Das NCCL_DEBUG=INFO Die Ausgabe zeigt Ihnen, welche physischen Verbindungen NCCL tatsächlich verwendet; überprüfen Sie dies anhand des Diagramms.
  6. Dokumentieren Sie die Verkabelung. Fotos, Portbeschriftungen, ein einseitiges Diagramm im Rack. Wenn die Netzwerkkarte um 2 Uhr morgens zum ersten Mal ausfällt, werden Sie froh sein.

Lesen Sie die folgenden Folgeartikel: N04 für die Alternative mit Switches, N06 für die Latenzanalyse, die den Vorteil der Switchless-Lösung rechtfertigt, N02 für den Vergleich von InfiniBand und RoCE, der Einfluss darauf hat, welche Netzwerkkarten Sie kaufen, und K07 für den Basisknoten, an dem all dies angeschlossen ist.


Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Computing, Robotik und den Systemen, die diese verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.