NVLink und NVSwitch: Wann es wichtig ist und warum es für Kentinos Produktpalette normalerweise nicht wichtig ist
Eine immer wiederkehrende Frage: Ein Kunde, der einen Server mit 4 oder 8 GPUs plant, sieht NVIDIAs DGX-Marketing mit der NVLink-Bandbreite im Terabyte-Bereich pro Sekunde und fragt, ob die Kentino-Konfiguration „NVLink unterstützt“. Die ehrliche Antwort lautet: Nein, keine unserer Konfigurationen unterstützt NVLink – und für die tatsächlichen Workloads des Kunden ist das völlig ausreichend. Dieser Artikel erklärt die Gründe dafür.
NVLink ist im High-End-Bereich wirklich beeindruckend, fehlt aber in allen anderen Bereichen. Die Marketingstrategie zieht keine klare Trennlinie, sodass Käufer entweder zu viel für eine Technologie bezahlen, die sie nicht benötigen, oder zu wenig kaufen, weil sie PCIe fälschlicherweise für einen generellen Rückschritt halten. Beides trifft nicht zu. Die Trennlinie ist klar definiert und verläuft an einer bestimmten Stelle.
Was NVLink eigentlich ist
NVLink ist eine Punkt-zu-Punkt-GPU-Verbindung mit hoher Bandbreite, die den PCIe-Root-Komplex des Hosts umgeht. Zwei GPUs mit einer NVLink-Verbindung übertragen Tensoren direkt über die Verbindung, ohne den CPU-Speicher zu durchlaufen und ohne mit anderen Komponenten im PCIe-Baum zu konkurrieren. Das ist im Wesentlichen das Prinzip.
Der Bandbreitenvorteil gegenüber PCIe ist erheblich. PCIe Gen5 x16 – derzeit die maximale Übertragungsrate für Steckplätze in Consumer- oder Workstation-Systemen – bietet etwa 64 GB/s in jede Richtung, insgesamt also 128 GB/s. NVLink 5 auf B200 und GB200 ermöglicht hingegen 1.8 TB/s pro GPU, was etwa dem 14-Fachen eines PCIe Gen5 x16-Steckplatzes entspricht.
Dieser Vergleich ist irreführend, sobald man ihn aufschreibt, denn GPUs mit NVLink 5 sind nicht dasselbe wie GPUs mit PCIe Gen5 x16 als primärer Schnittstelle. NVLink findet sich in Rechenzentrumsmodellen (A100, H100, H200, B200, GB200); PCIe ist die einzige Schnittstelle bei Consumer- und Workstation-Modellen (4090, 5090, RTX Pro 6000 Blackwell, L40, L4). „NVLink versus PCIe“ bedeutet in der Praxis also „die H100-Serie im Vergleich zu den übrigen Modellen“.
NVLink-Generationen im Überblick
| Generation | GPU | Links pro GPU | Gesamt pro GPU | Jahr |
|---|---|---|---|---|
| NVLink 2 | V100 (Volta) | 6 | 300 GB / s | 2017 |
| NVLink 3 | A100 (Ampere) | 12 | 600 GB / s | 2020 |
| NVLink 4 | H100 / H200 (Trichter) | 18 | 900 GB / s | 2022 |
| NVLink 5 | B200 / GB200 (Blackwell DC) | 18 | 1.8 TB / s | 2024 |
Die Anzahl der Verbindungen stieg von Generation 2 auf 4, und die Bandbreite pro Verbindung verdoppelte sich von Generation 4 auf 5 (von 50 Gbit/s auf 100 Gbit/s). Deshalb wirkt NVLink 5 wie ein Quantensprung – und das ist er auch.
PCIe in einem Kentino-System:
| Standard | Pro Richtung x16 | Aggregat x16 |
|---|---|---|
| PCIe-Gen4 x16 | 32 GB / s | 64 GB / s |
| PCIe-Gen5 x16 | 64 GB / s | 128 GB / s |
Im ungünstigsten Fall (Gen4) beträgt die PCIe-Geschwindigkeit etwa 1/14 der NVLink-4-Geschwindigkeit. Im günstigsten Fall (Gen5) beträgt die PCIe-Geschwindigkeit etwa 1/14 der NVLink-5-Geschwindigkeit. Dieses Verhältnis ist durch NVIDIAs Design annähernd konstant.
Die ehrliche Wahrheit: Kentinos Produktpalette verfügt nicht über NVLink.
| GPU | Formfaktor | NVLink? |
|---|---|---|
| RTX 4090 | PCIe | Nein |
| RTX 5090 | PCIe | Nein |
| RTX Pro 6000 Blackwell (WS/Server/Max-Q) | PCIe | Nein |
| L40 / L40S | PCIe | Nein |
| L4 | PCIe | Nein |
| Intel Arc Pro B70 | PCIe | n/a |
NVIDIA entfernte die NVLink-Schnittstelle aus den Consumer-GeForce-Grafikkarten, beginnend mit der Ada Lovelace. Die 3090 war die letzte Consumer-Karte mit einer funktionierenden NVLink-Brücke; die 4090 verzichtete darauf, und die 5090 besitzt keine mehr. Als Begründung wurde angegeben, dass „Nutzer Bandbreite innerhalb einer einzelnen GPU benötigen, nicht zwischen zwei GPUs“ – was praktischerweise mit der Schulung von Kunden übereinstimmte, die Rechenzentrumspreise für Bandbreite zwischen GPUs zahlten.
Interessant ist der Fall der RTX Pro 6000 Blackwell – einer 96-GB-Workstation- und Serverkarte, die auf demselben Blackwell-Chip wie die B200 basiert und somit die naheliegende Wahl für alle ist, die „leistungsstarken Grafikspeicher suchen, ohne gleich zur B200 greifen zu müssen“. Auch sie verfügt über kein NVLink. Weder in der Workstation-, noch in der Server- oder in der Max-Q-Version. Es gibt keinen Brückenanschluss auf der Platine. Laut NVIDIAs Datenblättern wird NVLink bei keiner der drei Varianten unterstützt.
Dies ist die bewusst gewählte Trennlinie. NVLink bedeutet den Umstieg auf H100, H200, B200 oder GB200 – SXM-Formfaktor, HGX-Basisplatine, anderes Gehäuse, andere Kühlung, Ressourcenzuweisung, die Kentino nicht bietet. Wenn Sie NVLink unbedingt benötigen, wenden Sie sich an einen HGX-Systemanbieter.
Was Sie ohne NVLink verlieren
Die Folgen zeigen sich in zwei spezifischen Arbeitslastmustern:
- Tensorparallelität über GPUs hinweg. Wenn ein Modell zu groß für eine einzelne GPU ist und die Gewichtsmatrix jeder Schicht auf mehrere Grafikkarten verteilt wird, benötigt jede Transformer-Schicht eine AllReduce-Operation über die Shards. AllReduce ist bandbreitenintensiv und latenzempfindlich. PCIe stellt den Flaschenhals dar.
- Verteiltes Training mit feinkörniger Gradientensynchronisation. DDP-, FSDP- und Megatron-basierte Trainingsmethoden führen in jedem Schritt Gradienten-AllReduces durch. Je geringer der Rechenaufwand pro Schritt und je größer das Modell, desto stärker beeinflusst die Verbindung die Gesamtlaufzeit.
Alles andere – Single-GPU-Inferenz, Pipeline-Parallelität, Datenparallelität, Einbettungen, Bildinferenz, ASR, TTS, Diffusionsbildgenerierung, Feinabstimmung eines Modells, das auf eine einzelne GPU passt – läuft problemlos über PCIe. NVLink ist irrelevant.
Gemessene TP-Skalierung für einen LLM der Klasse 70B bei INT4/INT8, basierend auf veröffentlichten 3090/4090/L40S-Benchmarks:
| Konfiguration | TP-Skalierung | Notizen |
|---|---|---|
| 2× GPU, NVLink (3090 + Brücke) | ~0.90–0.95 | Nahezu linear |
| 2× GPU, PCIe Gen4 | ~0.60–0.70 | Signifikant Alle Verluste reduzieren |
| 2× GPU, PCIe Gen5 | ~0.65–0.75 | Besser, aber immer noch ein Flaschenhals |
| 4× GPU, PCIe Gen5 | ~0.50–0.65 | AllReduce-Kosten steigen |
| 8× GPU, PCIe Gen5 | ~0.40–0.55 | TP wird schmerzhaft |
Es handelt sich hierbei um Bereiche, nicht um Garantien – die genauen Werte hängen vom Modell, der Batchgröße, der Sequenzlänge, der Quantisierung, der NUMA-Topologie und der Slot-Platzierung ab. Die Ergebnisse sind real: PCIe-Tensor-Parallelverarbeitung skaliert sublinear, und der Aufwand steigt mit der Anzahl der GPUs. Aus diesem Grund empfiehlt die vLLM-Dokumentation für reine PCIe-Systeme mit mehr als zwei GPUs die Pipeline-Parallelverarbeitung gegenüber der Tensor-Parallelverarbeitung.
Der praktische Ersatz: Das Modell auf einer GPU belassen.
Ein oft übersehener Fakt zur aktuellen GPU-Landschaft: Eine RTX Pro 6000 Blackwell verfügt über 96 GB VRAM auf einer einzigen Karte – genug, um 70 Bytes bei INT4 oder INT8 in einer GPU mit KV-Cache-Speicher unterzubringen. Wenn man ein Modell nicht auf mehrere GPUs aufteilt, ist NVLink überflüssig.
| Modell | Quant | VRAM | Ein Pro 6000? |
|---|---|---|---|
| 7B / 8B | INT4 | ~ 5 GB | Ja, viele Exemplare |
| 13 Mrd | INT4 | ~ 9 GB | Ja, viele Exemplare |
| 32 Mrd | INT4 | ~ 20 GB | Ja, 4× gleichzeitig |
| 70B (Llama 3.3, Qwen) | INT4 | ~ 42 GB | Ja, plus KV-Cache |
| 70 Mrd | INT8 | ~ 75 GB | Ja, eng |
| Qwen2.5-VL 72B | INT4 | ~ 48 GB | Ja |
| 405B (Llama 3.1) | INT4 | ~ 240 GB | Nr. 3 Karten |
| Mixtral 8×22B | INT4 | ~ 80 GB | Eng, eine Karte |
Single-Card-Hosting ist die richtige Architektur für fast jedes Modell, das im Jahr 2026 noch relevant sein wird. Ausnahmen: sehr große, dichte Modelle (405B, GPT-OSS 120B) und MoE-Layouts, bei denen der aktive Expertensatz auf eine Karte passt, der vollständige Gewichtungssatz jedoch nicht.
Bei Multi-GPU-Systemen über PCIe ist Pipeline-Parallelität die richtige Wahl , nicht Tensor-Parallelität. Pipeline-Parallelität teilt die Schichten in lange, zusammenhängende Blöcke auf (GPU 0 verarbeitet die Schichten 0–39, GPU 1 die Schichten 40–79 usw.). Der Datenverkehr zwischen den GPUs beschränkt sich auf den Aktivierungstensor an jeder Blockgrenze – einige hundert Kilobyte pro Token, nicht Gigabytes pro Schicht.
| Parallelmodus | Inter-GPU-Verkehr pro Schicht | Empfindlich gegenüber Verbindungen? |
|---|---|---|
| Tensor parallel | Aktivierung × ausgeblendete Abdunklung, jede Ebene | Ja – möchte NVLink. |
| Pipeline parallel | Aktivierung nur an Blockgrenzen | Nein – PCIe ist in Ordnung. |
| Daten parallel | Gradienten an der Schrittgrenze (nur Training) | Moderat |
| Expertenparallel (MoE) | Alles für alle auf Expertenrouten | Ja – NVLink hilft. |
Auf einem Server mit acht 5090-Grafikkarten, der eine 70B-Instanz bedient, wird das Modell nicht auf alle acht Karten verteilt. Stattdessen werden zwei Instanzen mit 4-facher Pipeline-Parallelisierung, vier Instanzen mit 2-facher Pipeline oder – am häufigsten – acht unabhängige Instanzen eines kleineren Modells hinter einem Load Balancer ausgeführt. Der Server mit acht Grafikkarten fungiert somit als achtfacher Durchsatzmultiplikator anstelle einer einzigen großen virtuellen GPU. Für produktive Inferenzprozesse ist die Replikatarchitektur in der Regel die richtige Lösung, unabhängig von der NVLink-Verfügbarkeit: höhere Parallelität und sanfter Leistungsabfall bei Kartenausfall.
Wann NVLink wirklich wichtig ist
Arbeitslasten, bei denen das Fehlen von NVLink ein echtes Problem darstellt und kein Marketingproblem:
- Ein Modell trainieren, das nicht auf eine einzelne GPU passt. Das Vortraining oder die vollständige Feinabstimmung eines dichten Modells mit über 70 Milliarden Datenpunkten erfordert die Aufteilung des Modells auf mehrere GPUs mit Gradienten-AllReduce in jedem Schritt. NVLink ist der entscheidende Unterschied zwischen einem produktiven 8-GPU-System und vier Karten, die die meiste Zeit im Leerlauf arbeiten.
- Tensorparallele Inferenz auf sehr großen dichten Modellen. Wenn Sie 405B über GPUs bereitstellen müssen und keine pipeline-parallele Latenz pro Token akzeptieren können, ist NVLink wichtig.
- MoE mit Cross-GPU-Expert-Routing. MoE all-to-all ist für PCIe extrem belastend. DeepSeek-V3, Mixtral 8×22B und ähnliche Designs mit dichter MoE-Anbindung profitieren deutlich davon.
- Hochfrequente RLHF/GRPO-Schleifen. Die Richtlinien-/Referenzsynchronisierung, die tausendfach pro Epoche wiederholt wird, führt zu denselben AllReduce-Kosten.
- Multi-GPU-Diffusionstraining im großen Maßstab. Einige größere Videodiffusionsmodelle weisen tensorparallele Aktivierungsmuster auf.
Wenn Ihre Arbeitslast auf dieser Liste steht, sollten Sie keinen Kentino 8× 5090 Server kaufen und das Verhalten eines DGX H100 erwarten. Kaufen Sie stattdessen ein HGX-System oder mieten Sie H100/B200 in der Cloud für die Trainingsphase und übertragen Sie die Gewichte für die Inferenz zurück auf Ihre eigene Plattform. Dies ist ein absolut sinnvoller Workflow, den wir uneingeschränkt empfehlen.
NVSwitch: die Chassis-Ebene
NVLink ist eine Punkt-zu-Punkt-Verbindung – GPU A zu GPU B über mehrere Verbindungen. Bei mehr als zwei GPUs in einem Gehäuse kann man entweder jedem Paar eine eigene dedizierte NVLink-Verbindung zuweisen (dies ist nicht skalierbar über vier GPUs hinaus) oder einen NVLink-Switch dazwischenschalten. Der NVSwitch von NVIDIA ist dieser Switch.
Auf einem HGX H100 8-GPU-Basisboard ermöglichen vier NVSwitch-Chips jeder GPU die volle Bandbreite von NVLink 4 zu jeder anderen GPU – 900 GB/s, alles zu allem, ohne Konflikte. In einem GB200 NVL72-Rack skaliert NVSwitch über 72 GPUs in einer einzigen nicht-blockierenden Topologie mit 1.8 TB/s pro GPU und insgesamt 130 TB/s. NVSwitch ist die Grundlage dafür, dass „eine große virtuelle GPU“ tatsächlich funktioniert; ohne ihn wäre NVLink lediglich ein schnelleres paarweises Kabel.
Praktisch:
- Kein NVSwitch in irgendeiner Kentino-Version. NVSwitch wird ausschließlich in NVIDIA-zertifizierten HGX- und DGX-Gehäusen ausgeliefert. Der Einbau eines Nachrüstchips in ein Supermicro- oder Bone64c-Gehäuse ist nicht möglich.
- Niemals zuvor gab es in einer RTX-Karte einen NVSwitch. Nur für Rechenzentren.
- GB200 NVL72 ist für Rack-Systeme, nicht für Server ausgelegt. 72 GPUs arbeiten über NVLink mit Kupferkabeln in Backplane-Geschwindigkeit zusammen. Kabel, Switches und Backplane sind allesamt NVIDIA-eigene Komponenten. Der Listenpreis liegt in der Millionenhöhe der US-Dollar, die Lieferzeiten betragen mehrere Quartale. Das ist die absolute Spitze dessen, was NVLink im Jahr 2026 ermöglicht. Nichts für uns.
Kosten und Verfügbarkeit
NVLink-fähige Systeme bilden eine eigene Preisklasse. Voraussichtlicher Marktstart in den USA/EU Mitte 2026:
| Systemklasse | GPUs | Listenpreisband | Vorlaufzeit |
|---|---|---|---|
| 4× RTX 5090 (Kentino-Klasse) | 4 | 25 €–40 € | 2-4 Wochen |
| 8× RTX 5090 (Kentino-Klasse) | 8 | 50 €–80 € | 3-6 Wochen |
| 4× RTX Pro 6000 Blackwell | 4 | 60 €–90 € | 3-6 Wochen |
| 8× RTX Pro 6000 Blackwell | 8 | 120 €–180 € | 4-8 Wochen |
| HGX H100 SXM (8× H100, NVSwitch) | 8 | 250 €–350 € | 8-16 Wochen |
| HGX B200 SXM (8× B200, NVSwitch) | 8 | 400 €–550 € | 12-24 Wochen |
| GB200 NVL72 (72× B200) | 72 | 3–4 Mio. € und mehr | 6 – 12 Monate |
Der Preisunterschied zwischen einem Kentino 8× Pro 6000-System und einem HGX H100 beträgt bei gleicher nomineller GPU-Anzahl etwa das Doppelte. Der Leistungsunterschied bei nicht NVLink-abhängigen Anwendungen ist deutlich geringer als das Doppelte. Für NVLink-abhängige Anwendungen (z. B. Training großer Modelle, Tensor-Parallelisierung auf 405-Bit-GPUs) ist das H100-System die richtige Wahl und der Preis gerechtfertigt. Faustregel: Wenn Ihre Anwendung auf eine 96-GB-GPU passt, sparen Sie mit dem Pro 6000-System über 50 % Ihres Budgets. Andernfalls lohnt sich die Investition in NVLink.
Zusammenfassung
| Frage | Kentino-Aufstellungsantwort |
|---|---|
| Gibt es aktuell eine Grafikkarte mit NVLink? | Nein |
| Gibt es aktuell eine Version mit NVSwitch? | Nein |
| Tensorparallel a 70B? | Ja, etwa 0.6–0.7-facher Skalierungsaufwand im Vergleich zu PCIe. |
| Pipeline-parallel ein 70B? | Ja, nahezu linear |
| Passt eine 70B auf eine Karte? | Ja – RTX Pro 6000 Blackwell, 96 GB |
| Einen 70B von Grund auf trainieren? | Nicht effizient – gehen Sie in die Cloud oder nutzen Sie HGX. |
| 405B dicht servieren? | Nur Pipeline-Parallelität über 3+ Pro 6000s |
| MoE im großen Maßstab? | Kleinere MoE ja; DeepSeek-Klasse nein |
| Ein DGX-Äquivalent erstellen? | Nein |
Was ist als nächstes zu tun?
Wenn Sie ein System dimensionieren und sich nicht sicher sind, ob Sie NVLink benötigen, gehen Sie das Problem in dieser Reihenfolge an:
- Notieren Sie das größte Modell, das Sie bedienen müssen, inklusive Quantisierung. Wenn es auf eine GPU passt, ist NVLink irrelevant. Punkt.
- Falls es nicht passt, fragen Sie, ob eine parallele Rohrleitung akzeptabel ist. Die Pipeline erhöht die Latenz pro Token, der Durchsatz ist aber ausreichend. Für Batch-Inferenz und die meisten Chat-Workloads ist das akzeptabel.
- Wenn eine parallele Rohrleitung nicht akzeptabel ist (Sie benötigen minimale Latenzzeiten für einzelne Datenströme bei sehr großen Modellen) und benötigen Tensor-Parallelverarbeitung. Auf PCIe zahlen Sie einen Aufschlag von 30–50 %. Wenn dieser Aufschlag Ihre Wirtschaftlichkeit beeinträchtigt, lohnt sich ein System-Upgrade mit NVLink.
- Wenn Sie sich in der Ausbildung befinden, lautet die Antwort fast immer NVLink. Das Training dichter Modelle mit mehr als 13 Milliarden Datenpunkten auf PCIe ist eine ineffiziente Nutzung der GPU-Ressourcen. Mieten Sie NVLink in der Cloud oder kaufen Sie HGX.
- Für Inferenz ist in der Regel ein Single-Card Pro 6000 Blackwell oder ein Multi-Replica 4×/8× 5090 die richtige Wahl. Das ist es, was die meisten unserer Kunden kaufen, und es funktioniert.
NVLink ist nicht schlecht. Es ist in seinem Bereich hervorragend. NVIDIA hat eine klare Trennlinie gezogen, und unterhalb dieser Linie lautet die richtige architektonische Antwort: „Kleinere Modelle hosten, horizontal replizieren und Pipeline-Parallelisierung nutzen, wenn eine Aufteilung unumgänglich ist.“ Genau dafür ist die Kentino-Produktreihe konzipiert.
Weiterführende Entwicklungen: InfiniBand und RoCE für die Cluster-weite Verbindung ( N02 ), geschaltete Cluster-Topologien ( N04 ) und PCIe als Verbindung für kleine Cluster ( K07 ).
Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Computing, Robotik und den Systemen, die diese verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.