Ethernet für KI: Grundlagen von 25/100/400 GbE

Ethernet ist die Standard-Fabric für jeden KI-Cluster, der außerhalb eines Hyperscalers aufgebaut wird. Auf dem Papier ist es nicht immer die schnellste Option – N02 wird die Vorteile von InfiniBand aufzeigen –, aber es ist die Option, die überall verfügbar ist, mit allen zugehörigen Tools kompatibel ist, die geringsten Kosten pro Gigabit aufweist und keine Anbieterbindung bietet.

Für Cluster der Kentino-Klasse – also Inferenzserver mit einem Knoten, Trainingssysteme mit 2 bis 8 Knoten oder kleine Forschungslabore – ist Ethernet im Prinzip immer die richtige Wahl. Die spannenden Fragen sind: Welche Geschwindigkeitsstufe, welche Netzwerkkarte (Kupfer oder Glasfaser) und wie hoch sind die jeweiligen Mehrkosten? Dieser Artikel beantwortet diese Fragen ehrlich und mit Preisprognosen von Mitte 2026.

Wenn Sie einen einzelnen Rechner mit 4 oder 8 GPUs ausschließlich für Inferenz einsetzen, können Sie direkt zur Kostentabelle am Ende springen und hier aufhören. Der Rest dieses Artikels richtet sich an Planer von Systemen mit mehreren Knoten.

Warum Ethernet standardmäßig gewinnt

Drei Gründe, in der Reihenfolge, wie häufig sie tatsächlich die Entscheidung beeinflussen:

  1. Ökosystem. Jeder Server, Switch, Speicher und Orchestrator spricht Ethernet. Treiber sind im Kernel integriert. Überwachungstools setzen dies voraus. Der erste Arbeitstag eines neuen Mitarbeiters beginnt nicht mit einer Erklärung zu InfiniBand.
  2. Kosten pro Gigabit. Ein 100-GbE-Switch-Port kostet etwa ein Viertel des Preises eines vergleichbaren HDR-InfiniBand-Ports. DACs und Transceiver sind Standardprodukte. Netzwerkkarten werden von mehreren Herstellern angeboten – NVIDIA, Broadcom, Intel –, was die Preise stabil hält. InfiniBand hingegen wird von einem einzigen Hersteller angeboten.
  3. Kein Stoffverschluss. Ethernet ist ein Transportprotokoll. Moderne Switches verarbeiten TCP-, RoCE-, NVMe-oF- und Management-Plane-Datenverkehr über dieselbe Leitung mit sinnvollen QoS-Einstellungen. InfiniBand integriert die Technologie in NVIDIAs Roadmap.

Der Nachteil ist, dass Ethernet für KI mehr Feinabstimmung erfordert, um die gleiche Übertragungsgeschwindigkeit wie InfiniBand standardmäßig zu erreichen. RoCEv2, PFC, ECN und DCQCN sind bei Ethernet konfigurierbar, bei IB vorkonfiguriert. N02 und N08 decken diesen Bereich ab.

Geschwindigkeitsstufen und wann welche sinnvoll ist

Der häufigste Fehler bei Angeboten für Kentino-Systeme ist die Überdimensionierung der Verbindung. Ein 400-GbE-Switch unter einem Inferenzsystem mit 8 GPUs ist verschwendetes Geld. Eine 10-GbE-Verbindung zwischen zwei Trainingsknoten verschwendet GPU-Zeit. Die untenstehende Karte ist die entscheidende.

Tier Sweet Spot Kosten pro Hafen (Mitte 2026) Notizen
1/10 GbE Management, IPMI/BMC, Bootstrap, SSH 50 € - 200 € Immer getrennt von der Datenebene
25 GbE Admin-Uplink, geringer Speicherbedarf, Datenaufnahme unter ~3 GB/s 300 € - 600 € Günstigste „echte“ Stufe; 2× SFP28 Standard bei den meisten Servern
100 GbE Intra-Cluster-Baseline für 2–8 Knoten Training und RoCE-Speicherung 1200 € - 2000 € Das Arbeitstier – was 80 % der Kentino-Multi-Node-Spezifikationen benötigen
200 GbE Frontier-Training, 70B+-Klasse, dichte Allreduce 2500 € - 4000 € Unterausgelastete mittlere Ebene; QSFP56-/QSFP-DD-kompatibel
400 GbE Multi-Rack-Training, Hyperscale-nahe, Datensatz-Hot-Pfad 5500 € - 9000 € Tatsächliche Kosten – erst wenn Sie nachweisen können, dass die GPU sie absorbieren kann.
800 GbE Modernste B200/MI355-Racks, heute hauptsächlich Hyperscaler € 11000 + ConnectX-8 / Thor Ultra-Territorium; selten außerhalb der Spitzenklasse

Drei Dinge, die man sich verinnerlichen sollte:

  • 25 GbE ist nicht für die KI-Architektur geeignet. Es dient der Verwaltung, Telemetrie und der Anbindung an den Speicherserver, wenn sich der Speicher nicht im selben RDMA-Netzwerk befindet. Die Bezeichnung „KI-Ebene“ für 25 GbE deutet darauf hin, dass der Anbieter die Arbeitslast nicht kennt.
  • 100 GbE ist die angemessene Basis für Multi-Node-Systeme. Darunter kommt es bei jeder Iteration zu einem Stillstand der Gradientensynchronisierung. Darüber hinaus stellt sich die Frage, ob Ihre GPUs Daten schnell genug verarbeiten können, um die Leitung auszulasten. Für Single-Node-Systeme mit 5090/RTX Pro 6000 Blackwell, die Feinabstimmungsaufgaben ausführen, ist 100 GbE in der Regel ausreichend.
  • 400 GbE amortisiert sich nur bei realen Multi-Rack-Schulungen. Zwei 8-GPU-Knoten, die 70-Bit-Feinabstimmungsarbeiten durchführen, benötigen dies nicht. Sechzehn Knoten, die das Vortraining mit tokenisiertem Text durchführen, benötigen es hingegen.

800-GbE-Technologie existiert, die entsprechenden Chips werden ausgeliefert (ConnectX-8, Thor Ultra), aber aktuell ist sie vor allem Hyperscalern und B200-Systemen vorbehalten. Der Vollständigkeit halber sei erwähnt, dass man sie 2026 wohl kaum in einem Kentino-System einsetzen wird.

NIC-Familien, die tatsächlich versenden

Der Markt für Netzwerkkarten wird 2026 von NVIDIAs ConnectX-Produktreihe dominiert, während Broadcom und Intel den Rest abdecken. Marvell, AMD/Pensando und einige wenige von OEMs umgelabelte Broadcom-Produkte existieren zwar, tauchen aber selten in den Stücklisten von Kentino auf.

NIC Max Geschwindigkeit PCIe Anmerkungen / typische Rolle
Intel E810-CQDA2 2 × 100 GbE Gen 4 x16 Günstigster, verlässlicher 100-GbE-Anschluss; solide ice Treiber; RoCE v2 wird unterstützt
Mellanox ConnectX-6 Dx 2 × 100 GbE Gen 4 x16 Arbeitspferd für 100-GbE auf Gen-4-Hosts; ausgereiftes RoCE
Mellanox ConnectX-7 1–2 × 200/400 GbE oder NDR IB Gen 5 x16 Dual-Mode IB/Ethernet; aktuelle Kentino-Spitzenausstattung für anspruchsvolle Multi-Node-Systeme
Broadcom Thor 2 2 × 200/400 GbE Gen 5 x16 Enterprise-Klasse, RoCE v2, verwendet in OEM-Rebranding-SKUs
NVIDIA BlueField-3 SuperNIC 1–2 × 400 GbE Gen 5 x32 16-Kern-Arm-DPU; RoCE, NVMe-oF, Verschlüsselungsauslagerung; teuer
NVIDIA ConnectX-8 1 × 800 / 2 × 400 GbE Gen 6 x16 Neueste Version; kompatibel mit Spectrum-X 800; PCIe Gen 6 erforderlich
Broadcom Thor Ultra 1 × 800 GbE Gen 6 x16 UEC-1.0-konform; von Grund auf neu entwickelte KI-Netzwerkkarte; Ziel für Skalierung auf über 100 XPUs

Die ehrlichen Empfehlungen für Arbeiten auf Kentino-Niveau:

  • Intel E810-CQDA2 Wenn der Kunde 100-GbE-Ethernet zu einem begrenzten Preis wünscht und akzeptiert, dass die RoCE-Optimierung aufwändiger ist als bei Mellanox. Ungefähr 700–900 € im Handel.
  • ConnectX-6Dx Für jede 100-GbE-Verbindung, die RoCE zuverlässig ausführen muss. Zusätzliche Kosten von 1100–1500 €. Die Antwort für 90 % der Fälle.
  • ConnectX-7 Bei PCIe Gen 5-Plattformen sind 200- oder 400-GbE-Anschlüsse durch reale Multi-Node-Schulungen gerechtfertigt. Die Single-Port-OSFP-NDR400-Karte kostet im Handel etwa 1650 € und ermöglicht den Wechsel zwischen IB und Ethernet per Firmware – nützlich für eine spätere Migration der Fabric.
  • BlueField-3 und ConnectX-8 Sie existieren; wenn Sie sie spezifizieren, lesen Sie diesen Artikel nicht.

PCIe ist die stille Grenze. Eine 100-GbE-Netzwerkkarte in einem Gen-3-x8-Steckplatz trainiert mit Link-Geschwindigkeit und läuft mit halber Geschwindigkeit. Die Regel:

NIC-Geschwindigkeit Mindestanforderungen PCIe Bequemer Schlitz
25 GbE Gen 3 x4 Gen 4 x4 oder Gen 3 x8
100 GbE Gen 4 x8 oder Gen 3 x16 Gen 4 x16
2×100 GbE Gen 4 x16 Gen 5 x8 oder Gen 4 x16
200 GbE Gen 5 x8 oder Gen 4 x16 Gen 5 x16
400 GbE Gen 5 x16 Gen 5 x16
800 GbE Gen 6 x16 oder 2× Gen 5 x16 Gen 6 x16

Auf Kentinos EPYC-Plattformen mit 8 GPUs belegen die GPUs den Großteil der Gen 4/5 x16-Steckplätze; die Netzwerkkarte landet in manchen Konfigurationen in einem Gen 4 x8-Steckplatz. Für einen 100-GbE-Port ist das ausreichend, für zwei Ports jedoch grenzwertig. Bitte überprüfen Sie dies vor der Verwendung. W02 (PCIe-Lanes & Topologie) bietet eine detailliertere Erklärung.

Die metallischen und optischen Optionen – DAC, AOC, Optik

Drei Möglichkeiten, eine physische Verbindung herzustellen, die sich in den Kosten um eine Größenordnung unterscheiden. Käufer verschwenden echtes Geld für Optiken, wo DAC ausgereicht hätte.

Option Reichweite (100 GbE) Reichweite (400 GbE) Kosten pro Verbindung (100 GbE) Kosten pro Verbindung (400 GbE) Leistung / Latenz
DAC (passives Kupfer) 1–3 m, ≤5 m mit aktiven Varianten ≤2 m praktisch, ≤3 m passiv 50 € - 150 € 200 € - 400 € ~0 W, Sub-Nanosekunden/m²
AOC (aktive optische) 3–30 m typisch, bis zu 100 m 3–30 m, max. 100 m 200 € - 500 € 600 € - 1200 € 2–4 W pro Ende, ~5 ns/m
SR-Optik + MMF 70 m auf OM3 / 100 m auf OM4 / 150 m auf OM5 30–100 m typisch (SR4 / SR8) 400–800 € pro Paar + Glasfaser 1500–2500 € pro Paar + Glasfaser 3–4.5 W pro Ende
LR-Optik + SMF bis 10 km bis 10 km 800–1500 € pro Paar + Glasfaser 2500 €–4000+ € pro Paar + Glasfaser 3.5–5 W pro Ende

Regeln, die anbieterübergreifend gelten:

  • DAC in einem einzigen Rack. Passive Kupferleitungen bei 100GBASE-CR4 sind bis 3 m zuverlässig, mit aktiven Varianten bis 5 m. Bei 400G (100G PAM4 pro Lane) liegt die praktische Grenze bei 2 m passiv — Es gibt zwar 3-m-DACs, aber die Signalintegrität leidet unter Kabelbiegungen.
  • AOC für 5–30 m Läufeinsbesondere bei benachbarten Racks. Der Transceiver ist fest mit der Faser verbunden, daher bedeutet ein defektes Ende, dass das gesamte Kabel entsorgt werden muss.
  • SR-Optik + MMF Für Raumverlegungen über 30 m oder bei bereits vorhandener strukturierter Verkabelung bietet OM5 eine um ca. 50 % höhere Reichweite als OM4 bei 100 GbE SR und ist daher die optimale Lösung für Neuinstallationen.
  • LR-Optik + SMF Für den Einsatz in Gebäuden oder Räumen. In einem einzelnen 4-Rack-Cluster überdimensioniert.

Berechnung der Kabellänge für einen Cluster mit vier Racks. Eine Reihe von vier 42-HE-Racks, jeweils ca. 600 mm breit, mit ca. 100 mm Abstand zwischen den Racks. Top-of-Rack-Switch oben in Rack 1 zu einer Netzwerkkarte unten in Rack 4: ca. 2.1 m horizontal + ca. 2 m vertikal = ca. 4 m Kabellänge inklusive Reserve. Bei 100 GbE befindet man sich an der Grenze der DAC-Kapazität; bei 400 GbE darüber hinaus. Für jeden Cluster, der breiter als ca. zwei Racks bei 400 GbE ist, sollten Sie AOC oder optische Verbindungen einplanen. Dies ist der häufigste Fehler in Angeboten für mehrere Racks – die Annahme, dass die DAC-Kapazität ausreicht, weil „die Racks direkt nebeneinander stehen“.

End-to-End-100-GbE-Verbindung, 2 m Intra-Rack-Hop, Mitte 2026: ConnectX-6 Dx-Paar ca. 2400 € + zwei Switch-Ports (amortisiert) ca. 1500 € + 2 m QSFP28 DAC ca. 90 € = ca. 4000 € pro Verbindung . Dieselbe Verbindung mit 400 GbE (ConnectX-7-Paar, 400-GbE-Switch-Ports, 2 m QSFP-DD DAC) kostet etwa 14.000 € – die vierfache Bandbreite für ca. 3.5-fache Kosten. Die Wirtschaftlichkeit ist gegeben; die Frage ist, ob die Arbeitslast dies erfordert.

Switch-Landschaft

Der Markt für KI-Ethernet-Switches im Jahr 2026 lässt sich in drei offensichtliche Kategorien einteilen.

Klasse Beispiele Latenz pro Port Notizen
KI-Top-of-Rack (Cut-Through, Deep Buffer) NVIDIA Spectrum-X SN5600 (64×800 GbE / 51.2 Tb/s), Arista 7060X4 (32×400 GbE, ~700 ns), Cisco Nexus 9300-Serie 400–700 ns Verlustfreie RoCE-Vorlagen, PFC/ECN sofort einsatzbereit, KI-Gewebe-getestet
Modulare Wirbelsäule Arista 7800R3 (bis zu 36×400 GbE pro Leitungskarte), Cisco Nexus 9500 1–3 µs abhängig von der Leitungskarte Für Cluster mit 16 oder mehr Knoten; geroutetes Clos-Backbone
Generisch / Whitebox Tomahawk-Klasse mit SONiC, Dell PowerSwitch, Mikrotik für den unteren Preisbereich variiert, 600 ns – 3 µs Günstiger, mehr Konfigurationsaufwand, RoCE-Tuning ist Ihre Aufgabe

Zwei meinungsstarke Anrufe:

  • Für Trainingscluster mit 4 bis 8 Knoten bei 100 oder 400 GbE ist ein einzelner Spectrum-X SN5600 oder Arista 7060X4 die richtige Antwort. Ein Switch, eine Fehlerdomäne, keine Clos, herstellerseitig bereitgestellte RoCE-Vorlagen. Der SN5600 bietet 64 × 800 GbE in 2 HE mit einer Gesamtbandbreite von 51.2 Tb/s und KI-optimierten Deep Buffers; der 7060X4 bietet 32 ​​× 400 GbE in 1 HE mit einer Cut-Through-Latenz von ca. 700 ns zu deutlich geringeren Kosten, wenn keine 800 GbE benötigt werden.
  • Für 16+ Knoten, planen Sie geroutete L3 Clos mit zwei Spines, BGP unnummeriert zwischen Blättern und Spines, ECMP über die Spines hinweg. N08 umfasst die Uplink-Mechanik; N04 umfasst die Wahl der Topologie.

MTU und Jumbo-Frames

Die Standard-MTU für Ethernet beträgt 1500 Byte. Bei 100-GbE entspricht dies etwa 8.3 Millionen Paketen pro Sekunde und Datenstrom, wobei jedes Paket Kosten für den Kernel verursacht. Eine MTU von 9000 Byte reduziert die Paketrate um den Faktor 6, senkt den CPU-Overhead entsprechend und ist für jede KI-Infrastruktur im Wesentlichen unerlässlich.

Speziell für RoCEv2 wird die IB-MTU aus der größten Größe gewählt, die in die Ethernet-MTU passt. Bei 9000 Byte Ethernet ergibt sich für RoCE eine MTU von 4096 Byte – der Wert, den jeder NCCL- und RDMA-Stack erwartet. Bleibt man bei 1500 Byte, erhält man eine RoCE-MTU von 2048 Byte und einen spürbaren Leistungsverlust bei allen Kollektivoperationen.

Drei Dinge zu wissen:

  • Muss vollständig übereinstimmen. Ein einzelnes Gerät mit 1500 MTU im Pfad fragmentiert unbemerkt den Datenverkehr und reduziert den Durchsatz erheblich. Konfigurieren Sie es auf jeder Netzwerkkarte, jedem Switch-Port und jedem Router-Hop im AI-VLAN.
  • Jumbo soll auf das AI-VLAN beschränkt bleiben. Ihr Unternehmensnetzwerk wird nicht reibungslos mit einer MTU von 9000 funktionieren. Die Managementebene bleibt bei 1500.
  • Überprüfen mit ip link und tracepathNicht, indem man der Konfiguration vertraut. Die Anzahl der Cluster, in denen jemand die Ports der Netzwerkkarten auf 9000 eingestellt und die Switch-Ports vergessen hat, ist beschämend.

Verlustbehaftetes vs. verlustfreies Ethernet – ein Überblick

Einfaches TCP/IP über Ethernet ist verlustbehaftet : Switches verwerfen Pakete, wenn die Warteschlangen voll sind, TCP sendet sie erneut, und der Durchsatz sinkt. Für Streaming-Webdatenverkehr ist das kein Problem, für RDMA jedoch fatal – ein einziger Paketverlust in einem RoCE-Allreduce-Vorgang unterbricht die gesamte Übertragung und führt zu einem Timeout von NCCL.

Die Lösung ist verlustfreies Ethernet , das durch das Zusammenwirken zweier Mechanismen erreicht wird:

  • PFC (Priority Flow Control, 802.1Qbb) — Pause pro Priorität. Wenn der Puffer des Switches für Priorität 3 (die übliche RDMA-Priorität) voll ist, sendet er ein Pausenframe an den Upstream-Port. Kurzfristige Notbremsung.
  • ECN (Explizite Überlastungsbenachrichtigung) — Switches markieren Pakete in sich füllenden Warteschlangen, der Empfänger sendet ein CNP zurück, der Sender drosselt die Übertragungsgeschwindigkeit. Langfristige Staukontrolle.

Zusammen bilden sie DCQCN – Data Center Quantized Congestion Notification – den Standard-RoCEv2-Regelkreis moderner Ethernet-AI-Fabrics. ECN übernimmt die meiste Zeit die Arbeit, PFC greift nur ein, wenn ECN nicht schnell genug reagieren kann.

Die Kernaussage dieses Artikels: Wenn Sie RoCE verwenden, muss Ihr Switch PFC und ECN auf der RDMA-Priorität unterstützen, und Ihre Netzwerkkarte muss entsprechend konfiguriert sein. Der Kauf eines Switches von einem Hersteller mit dokumentierten RoCE-Vorlagen (z. B. NVIDIA Spectrum, Arista, Cisco Nexus 9000) spart Ihnen eine Woche Konfigurationsarbeit. N02 behandelt den Vergleich mit InfiniBand; N07 geht detailliert auf die Staukontrolle ein.

Puffertiefe – flach vs. tief

Die andere Dimension bei KI-Switches ist die Puffertiefe. AllReduce arbeitet in jeder Iteration mit einer Many-to-One-Beziehung – jeder Knoten im Ring oder Baum konvergiert gleichzeitig zu einem einzigen Knoten. Dies ist Incast und führt zu Problemen bei Switches mit geringer Puffertiefe.

  • Flach gepufferte Schalter (Ältere Tomahawk-Systeme, generische Enterprise-Systeme) verfügen über einen Gesamtpuffer von 4–32 MB. Sie sind kostengünstig, bieten geringe Latenz und eignen sich gut für den Ost-West-Verkehr in Unternehmensnetzwerken. Pakete werden beim ersten Eintreffen verworfen.
  • Tief gepufferte KI-Schalter (Jericho3-AI, Spectrum-X, einige 7800R3-Linecards) verfügen über einen Puffer von mehreren hundert MB bis zu mehreren GB. Der eingehende Datenstrom wird absorbiert und die Pakete werden zwischengespeichert, während DCQCN die Senderanzahl reduziert.

Bei einem Cluster mit zwei Knoten ist die Puffertiefe irrelevant. Bei acht oder mehr Knoten, die Dense AllReduce ausführen, entscheiden jedoch große Puffer über den reibungslosen Betrieb des Netzwerks und verhindern PFC-Pausen und -Stalls. Dies ist ein triftiger Grund, Switches der AI-Klasse gegenüber Standardmodellen zu bevorzugen.

Ehrlich gesagt – trifft das auf Ihr System zu?

Ein Kentino K-AI-Server mit einem einzelnen Knoten, der Inferenz oder Feinabstimmung auf einem einzelnen Knoten durchführt, benötigt all dies nicht . Die GPUs kommunizieren über PCIe und NVLink; die Ethernet-Verbindung dient der Eingabe von Eingabeaufforderungen, der Ausgabe von Tokens und dem Lesen von Datensätzen. Zwei 25-GbE-SFP28-Ports auf der Onboard-Netzwerkkarte des Hosts sind ausreichend.

Sie lesen dies, weil Sie zwei oder mehr Knoten planen. Die Matrix:

  • 1 Knoten: 10 oder 25 GbE an Bord. Kein Upgrade möglich.
  • 2–4 Knoten, Feinabstimmung: 100-GbE-Verbindung über ConnectX-6 Dx, ein Switch, RoCE-konfiguriert. ~4 € pro Verbindung.
  • 4–8 Knoten, 70B+ Training: 100- oder 200-GbE-Verbindung mit ConnectX-7, sofern PCIe Gen 5 verfügbar ist. Spectrum-X SN5600 oder Arista 7060X4 Einzel-Switch.
  • 8–16 Knoten, dichtes Training: 200 oder 400 GbE, geroutete L3 Clos mit zwei Spines, Deep-Buffer-Switches.
  • 16+ Knoten: Über Kentinos übliche Produktpalette hinaus. Nutzen Sie die NVIDIA-Referenzarchitektur (Spectrum-X, BlueField-3 oder ConnectX-8) und einen Berater.

Was ist als nächstes zu tun?

Bevor Sie den Netzwerkteil eines Angebots unterzeichnen, beantworten Sie bitte schriftlich folgende Fragen:

  1. Wie viele Knoten werden tatsächlich zusammenarbeiten? Nicht „später“, nicht „vielleicht“. Das bestimmt die Stufe.
  2. Was ist das größte Trainingspensum, das Sie von Anfang bis Ende bewältigen werden? Token-Text-LLM-Vortraining ist bandbreitenschonend; Bild-/Videodiffusion ist bandbreitenintensiv.
  3. Steht RoCE zur Debatte? Falls ja, wählen Sie Mellanox-Netzwerkkarten und einen Anbieter mit RoCE-Vorlagen. Falls nein, ist Intel E810 ausreichend und pro Host 500 € günstiger.
  4. Welche Kabellänge wird tatsächlich vom Server zum Switch benötigt? Messen Sie mit einem Maßband, schätzen Sie nicht. Die DAC-Grenzwerte bei 100G/400G sind eng.
  5. Haben Sie die Managementebene von der Datenebene getrennt? Es gibt immer zwei Fabrics – die günstige 1/10 GbE für SSH/IPMI/Prometheus und die teure RDMA-Fabric ausschließlich für NCCL. N08 hat das Layout.
  6. Verfügt der Host über PCIe-Lanes? Eine 400-GbE-Netzwerkkarte in einem Gen-4-x16-Steckplatz liefert in der Praxis etwa 200 GbE. Bitte überprüfen Sie dies vor der Angebotserstellung.

Querverweise im N-Track für die nächste Detailebene: N02 (InfiniBand vs RoCE vs normales Ethernet – wann die Alternative zu Ethernet tatsächlich gewinnt), N04 und N05 (geschaltete und schalterlose Topologien für den Multi-Node-Fall), N06 (Latenzanalyse – wo die Mikrosekunden tatsächlich hingehen) und N08 (RDMA-Setup in der Praxis und wie der Cluster sich mit dem Rest der Welt verbindet).

Ethernet für KI ist ein gelöstes Problem. Die schwerwiegendsten Fehler betreffen fast nie die Verkabelung selbst, sondern vielmehr die falsche Auswahl der Netzwerkebene für die jeweilige Arbeitslast, die falsche Platzierung der Netzwerkkarte im PCIe-Steckplatz oder die fälschliche Verwendung eines Switches, obwohl die Arbeitslast eigentlich große Puffer und PFC benötigt. Wenn diese drei Punkte stimmen, wird das Netzwerk zum langweiligsten Teil des Aufbaus – genau so, wie es sein soll.


Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Computing, Robotik und den Systemen, die diese verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.