Verteiltes Training im Jahr 2026: DDP, FSDP2, DeepSpeed, Megatron und die fünf Achsen der Parallelität

Sobald mehr als eine GPU in einem System verbaut ist, muss man eine Entscheidung treffen. Vier Open-Source-Stacks dominieren heute das verteilte Training: PyTorch DDP, PyTorch FSDP2, Microsoft DeepSpeed ​​und NVIDIA Megatron-Core. Hinzu kommt TorchTitan als neue Referenz für natives PyTorch-Training im großen Maßstab. Jeder dieser Stacks löst ein anderes Problem. Die falsche Wahl kann wochenlang Zeitverschwendung bedeuten: Entweder passt das Modell nicht und man bemerkt es erst in Schritt 30 durch einen Speichermangel, oder man hat die Komplexität für eine Arbeitslast überdimensioniert, die DDP in einem Zehntel der Entwicklungszeit bewältigt hätte.

Dieser Artikel bietet die Sichtweise von Käufern und Architekten auf verteiltes Training. Er beleuchtet die fünf Parallelisierungsachsen, die vier (mittlerweile fünf) Frameworks, die diese kombinieren, und die bewährten Vorgehensweisen auf Hardware der Kentino-Klasse – hauptsächlich 4× und 8× RTX 5090, 4090 und RTX Pro 6000 Blackwell auf AMD EPYC-Hosts mit PCIe Gen5 und Standard-Ethernet oder InfiniBand zwischen den Knoten. Die Kernaussage steht gleich am Anfang, sodass der Rest des Artikels sie nicht weiter ausführen muss: Die meisten Kentino-Kunden optimieren ihre Modelle, anstatt sie vorzutrainieren, und FSDP2 auf einem einzelnen 8-GPU-Knoten deckt 90 % der Feinabstimmungsanforderungen ab. Megatron-Core und 3D-Parallelität lohnen sich erst bei Vortrainings von Grund auf oberhalb der 30-Milliarden-GPU-Skala, und das betrifft deutlich weniger Nutzer, als die Werbung suggeriert.

Die fünf Achsen

Jedes moderne Framework für verteiltes Training nutzt eine Teilmenge der fünf Parallelisierungsachsen. Sie sind keine Alternativen – für große Modelle werden drei oder vier gleichzeitig kombiniert. Der Fokus liegt auf der Kommunikation; sie ist der Kernpunkt.

Achse Was es spaltet Kommunikation pro Schritt Bandbreitenhungrig? Notizen
Datenparallel (DP) Die Charge – jeder Rang hat ein vollständiges Modell Alle Gradienten werden einmal pro Schritt reduziert. Moderat Die Ausgangslage; DDP und FSDP beide DP
Tensorparallel (TP) Die Matrixmultiplikation jeder Schicht über alle GPUs All-Reduce pro Schicht × 2 (attn + FFN) Sehr schwer Liebt NVLink; hat Probleme mit PCIe.
Pipeline parallel (PP) Die Schichten sind auf verschiedene Phasen aufgeteilt. Aktivierung an der Phasengrenze Leicht Fügt Blasenlatenz hinzu, erhöht den Durchsatz
Sequenz-/Kontextparallelität (SP/CP) Sequenzdimension über GPUs hinweg Ringversammlung der KV / Aktivierungen Mittel bis schwer Ermöglicht das Training mit einer Million Token.
Expertenparallel (EP) MoE-Experten für GPUs Gesamt-zu-gesamt pro MoE-Schicht explosive heftig MoE nur

DP ruft einmal pro Schritt. TP ruft zweimal pro Ebene . PP flüstert einmal pro Phase. SP/CP ruft einmal pro Aufmerksamkeitsblock, jedoch entlang einer anderen Dimension. EP führt eine All-to-All-Kommunikation nur auf den MoE-aktiven Ebenen durch. Diese einzelne Spalte bestimmt, wo sich jede Achse befindet – innerhalb eines schnellen Bereichs oder in einem langsameren Bereich.

Der Begriff „3D-Parallelität“, der in jedem NVIDIA-Blog auftaucht, ist DP × TP × PPFügt man SP und EP hinzu, erhält man 4D oder 5D, was eher eine Frage der Notation als eine architektonische Änderung ist. Entscheidend ist das Layout: TP innerhalb des Knotens (wo Bandbreite günstig ist), PP zwischen den Knoten (wo Bandbreite teuer ist), DP darüber, um den Durchsatz zu skalieren. SP wird neben TP eingesetzt; EP gilt nur für MoE.

Querverweise: Die Bandbreite innerhalb eines Knotens bei Tensor-Parallelisierung wird in K07 erläutert , der NVLink-gegen-PCIe-Kostenunterschied in N03 und die Vernetzung zwischen Knoten in N08.

DDP – wenn das Modell passt und Sie einfach nur einen höheren Durchsatz wünschen

PyTorch DDP (DistributedDataParallel) ist die älteste, einfachste und immer noch korrekte Lösung, wenn das Modell auf einer einzelnen GPU trainiert wird. Jeder Rang enthält eine vollständige Kopie des Modells und des Optimiererzustands. In jedem Schritt führt jeder Rang seine eigene Vorwärts-, Rückwärts- und Gradientenberechnung für seinen eigenen Mikro-Batch durch. Anschließend summiert ein einziger All-Reduce-Aufruf die Gradienten über alle Ränge hinweg, und alle wenden dasselbe Update an.

DDP in PyTorch 2.x ist im Grunde dasselbe wie immer, mit zwei erwähnenswerten Verbesserungen: einer robusteren Funktionsweise. static_graph=True Pfad für compilerfreundliche Graphen und engere Integration mit torch.compileDas Kommunikationsmuster bleibt unverändert – ein All-Reduce pro Schritt, Überlappung mit dem Rückwärtsschritt, lineare Skalierung, bis der All-Reduce dominiert.

Wann DDP die richtige Antwort ist:

  • Das vollständige Modell inklusive Optimiererzustände und Aktivierungen passt auf eine GPU. Für Adam-artige Optimierer mit FP32-Mastergewichten gilt die Faustregel: ungefähr 16 Bytes pro Parameter Der Speicherbedarf für den trainierbaren Zustand allein (4 Byte Gewichte, 4 Byte Gradienten, 8 Byte Optimierer) zuzüglich Aktivierungen beträgt 128 GB. Ein 8-Byte-Modell entspricht 128 GB Zustand, was mit gemischter Präzision und BF16-Mastergewichten nur auf eine einzelne RTX Pro 6000 Blackwell (96 GB) passt. Unterhalb von 8 Byte Parametern ist DDP auf einer einzelnen 5090 problemlos lauffähig; darüber hinaus empfiehlt sich FSDP2.
  • Sie wollen maximalen Durchsatz, nicht maximale Modellgröße. DDP hat das niedrigste Kommunikations-zu-Rechen-Verhältnis aller datenparallelen Ansätze, da Gradienten reduziert werden. einmal pro Schritt, nach der gesamten lokalen Rückrechnung.
  • Sie führen Reinforcement-Learning-Rollouts, LoRA oder ein beliebiges Setup durch, bei dem jeder Rang einen kleinen trainierbaren Adapter über eingefrorenen Basisgewichten enthält.

Wenn DDP fehlerhaft ist: Das Modell passt nicht. Die Lösung ist nicht „kleinere Charge“. Die Lösung ist FSDP2.

torchrun --standalone --nproc-per-node=8 train.py

Das ist der gesamte Launcher. DDP ist der langweilige Standard-Launcher, den jeder vergisst, und für die richtige Arbeitslast ist er das Schnellste, was man ausführen kann.

FSDP2 – der neue Standard für alles, was DDP nicht bewältigen kann.

FSDP (Fully Sharded Data Parallel) verteilt die Modellparameter, Gradienten und Optimiererzustände auf die datenparallele Gruppe. Jede GPU speichert diese Parameter. 1/N der Parameter. Für einen Vorwärtsdurchlauf sammelt der Rang alle benötigten Schichten, führt die Berechnung durch und verwirft die gesammelten Gewichte. Der Speicherbedarf sinkt im Vergleich zu DDP um etwa den Faktor N; die Kommunikation steigt, da jede Schicht gesammelt und erneut gesammelt wird.

Die Geschichte von 2025 ist FSDP2Das ursprüngliche FSDP (FSDP1) fasste Parametergruppen in einem einzigen zusammen. FlatParameterDies machte die Analyse des Verhaltens einzelner Parameter – partielles Einfrieren, gemischte Datentypen, parameterweise Optimierungseinstellungen – schwierig oder unmöglich. FSDP2 hat die internen Abläufe auf Basis von DTensor grundlegend überarbeitet: Jeder Tensor bleibt ein realer Datentyp. torch.Tensor das zufällig entlang seiner Dimension 0 über alle Ränge hinweg aufgeteilt ist. Die benutzerseitige API hat sich geändert von FSDP(model, ...) zu fully_shard(model, ...).

Was FSDP2 gegenüber FSDP1 tatsächlich bietet, basierend auf den veröffentlichten Benchmarks und unseren eigenen Tests:

  • ~7 % geringerer GPU-Speicher auf Llama 2 7B bei gleicher Konfiguration, weil FSDP2 die record_stream Ein Muster, das Erinnerungen pessimistisch verankerte.
  • ~1.5% Durchsatzgewinn bei gleicher Leistungund bis zu 50 % Durchsatzbeschleunigung in Kombination mit torch.compile und torchao float8-Training auf Hopper-Hardware.
  • Sharded State Dictionaries, die schnell geladen und sauber neu shardiert werden Bei unterschiedlichen Parallelisierungslayouts war das FSDP1-Checkpoint-Format bekanntermaßen schwer zwischen Training und Inferenz umzugestalten.
  • Partielles Einfrieren von Parametern ohne Akrobatik, was für LoRA und das Adaptertraining wichtig ist.

FSDP1 ist veraltet ab PyTorch 2.11Neue Arbeiten sollten verwendet werden fully_shard. Das alte FullyShardedDataParallel Der Wrapper existiert aus Kompatibilitätsgründen noch, wird aber nach und nach entfernt.

FSDP2 stellt außerdem zwei Sharding-Strategien vor, die bestimmen, wo das Modell gespeichert wird:

  • Vollständiger Splitter. Parameter vollständig über alle Ränge verteilt (FSDP1-Standard). Geringster Speicherbedarf, höchste Kommunikationsintensität.
  • Hybrid-Shard. Parameter aufgeteilt . ein Knoten und repliziert Die Kommunikation zwischen den Knoten erfolgt innerhalb eines Knotens über PCIe/NVLink (schnell). Zwischen den Knoten durchläuft lediglich die Gradienten-All-Reduce-Operation die langsame Netzwerkarchitektur. Dies ist die optimale Lösung für 2–4 Knoten in einem 100/200-Gbit/s-Ethernet/IB-Netzwerk.

Wenn FSDP2 die richtige Antwort ist (der modale Kentino-Fall):

  • 8B–70B Feinabstimmung auf einem 8-GPU-Knoten. Vollständiger Shard, BF16, Gradienten-Checkpointing aktiviert. torch.compile. Erledigt.
  • 70–405 Byte Feinabstimmung über 2–4 Knoten. Hybrid-Shard mit vollständigem Shard in jedem Knoten, repliziert über alle Knoten.
  • Alles rund um LoRA / QLoRA – FSDP2 ist FSDP1 in puncto Teilparameterbehandlung deutlich überlegen.
from torch.distributed.fsdp import fully_shard, MixedPrecisionPolicy

mp = MixedPrecisionPolicy(param_dtype=torch.bfloat16, reduce_dtype=torch.float32)
for block in model.transformer_blocks:
    fully_shard(block, mp_policy=mp)
fully_shard(model, mp_policy=mp)

Der Start erfolgte auf die gleiche Weise wie bei DDP, über torchrunDie Verpackung ist das Einzige, was sich ändert.

DeepSpeed ​​und die ZeRO-Stufen – weiterhin verfügbar, aber nicht mehr standardmäßig

DeepSpeed ​​ist Microsofts verteilter Trainingsstack. Bekannt wurde er vor allem durch ZeRO (Zero Redundancy Optimizer), das Jahre vor FSDP auf den Markt kam und den modernen Sharding-Ansatz prägte.

Niveau Was ist zersplittert? Speichereinsparungen im Vergleich zu DDP Kommunikation vs. DDP
ZeRO-1 Optimiererzustände ~4× Gleich
ZeRO-2 Optimiererzustände + Gradienten ~8× Etwas mehr
ZeRO-3 Optimiererzustände + Gradienten + Parameter Linear in N ~1.5× DDP

ZeRO-3 ist architektonisch äquivalent zu FSDP Full-Shard. Beide lösen dasselbe Problem mit denselben Kommunikationsprimitiven.

Die Realität in den Jahren 2025–2026: FSDP2 hat DeepSpeed ​​im Bereich der dichten LLM-Anwendungsfälle überholt. PyTorch-nativ, kein zusätzliches Paket erforderlich, integriert mit torch.compileDie gleiche Rezeptur wird auch bei Hugging Face Transformers, Accelerate und TorchTitan verwendet. Interne Benchmarks von Lightning und Hugging Face zeigen, dass FSDP Full-Shard in einigen Konfigurationen pro Iteration 2- bis 5-mal schneller läuft als ZeRO-3. DeepSpeed ​​holt jedoch bei sehr großen Modellen (über 10 Milliarden) auf, wo die CPU- und NVMe-Offload-Pfade weiterhin deutliche Vorteile bieten.

DeepSpeed ​​ist aus drei Gründen weiterhin erwähnenswert:

  1. ZeRO-Infinity Offload. Wenn Sie ein Modell feinabstimmen müssen, das nicht in den gesamten GPU-Speicher passt – beispielsweise ein 405B-Modell auf einem System mit vier RTX Pro 6000 Blackwell-Grafikkarten –, kann DeepSpeed ​​Parameter in den CPU-RAM (günstig, aber langsam) oder in NVMe (günstiger, aber deutlich langsamer) auslagern. FSDP bietet ebenfalls CPU-Offloading, DeepSpeeds NVMe-Lösung ist jedoch ausgereifter. Nützlich für den Fall, dass Sie nur einen Rechner und ein widerspenstiges Modell haben; nicht die richtige Lösung, wenn Sie einen zweiten Knoten mieten oder kaufen können.
  2. DeepSpeed-Ulysses-Sequenzparallelität. Ein kommunikationseffizientes, sequenzparalleles Schema, das All-to-All anstelle von Ring-All-Gather für die Aufmerksamkeitssteuerung nutzt. Es wurde mit bis zu 1 Million Token umfassenden Kontexten auf 64 A100-Systemen demonstriert und trainierte Llama-8B mit 15 Millionen Token Kontext auf 32 H100-Systemen (Veröffentlichung 2025). Für das Training sehr langer Kontexte ist Ulysses der Megatron-Implementierung für bestimmte Architekturen weiterhin überlegen.
  3. DeepSpeed-MoE. Schulung durch eine Expertengruppe mit paralleler Expertenschulung. Weniger relevant für die Feinabstimmung, sehr relevant bei der Vorbereitung von Führungskräften.

Für die meisten Feinabstimmungen von Kentino-Kunden ist FSDP2 die richtige Wahl, es sei denn, es gibt einen spezifischen Grund, DeepSpeed ​​zu verwenden (langer Kontext, CPU-/NVMe-Offloading, MoE-Vortraining). Die Entwicklung im Ökosystem geht eindeutig in Richtung FSDP2.

Megatron-LM, Megatron-Core, NeMo – wo das schwere Eisen lebt

Megatron entstand 2019 aus NVIDIAs Veröffentlichung zum tensorparallelen Transformer-Architekturmodell. Heute besteht die Familie aus drei Schichten:

  • Megatron-LM — die ursprüngliche Forschungscodebasis. Wird immer noch verwendet und aktualisiert.
  • Megatron-Kern — die modulare Bibliotheksversion. Zusammensetzbare Bausteine ​​für TP/PP/DP/EP/CP-, Mixed-Precision- (FP16/BF16/FP8/FP4) und Referenztransformatorarchitekturen. Das, was Sie tatsächlich integrieren.
  • Nvidia NeMo — das durchgängige Framework, das auf Megatron-Core basiert. Rezepte, Datenpipelines, Ausrichtung, Bereitstellung.

Megatron-Core ist das Framework, das im High-End-Bereich führend ist, insbesondere weil es Tensor-, Pipeline-, Sequenz-, Kontext- und Expertenparallelität in einem einzigen, zusammensetzbaren Mesh implementiert. Beim Training eines 405-Bucket-Modells mit hoher Dichte auf mehr als 512 GPUs ist die Kombination von mindestens drei dieser Parallelitätsmechanismen unerlässlich, und Megatron-Core ist die am häufigsten eingesetzte und am besten getestete Kombination.

Die Parallelisierungsvorgaben für Megatron für das Jahr 2026 aus der NVIDIA-Dokumentation stimmen mit der Hardware-Realität überein:

Hardware Empfohlene Hauptachsen
Einzelknoten, NVLink TP bis zu 8 innerhalb des Knotens
Mehrere Knoten, InfiniBand NDR TP innerhalb eines Knotens, PP zwischen Knoten
Begrenztes Netzwerk (Ethernet) Minimiere TP, bevorzuge PP für Cross-Node-Anschlüsse.
Lange Sequenzen CP hinzufügen; SP überall dort aktivieren, wo TP aktiv ist.

Diese Tabelle erklärt, warum Megatron existiert. Es handelt sich um das Framework, dessen Autoren mit der Bandbreitenmathematik arbeiten, die wir in N03 und K07 beschreiben , und dessen Rezepte darauf abgestimmt sind.

Wo Megatron überdimensioniert ist: bei jeder Feinabstimmung eines einzelnen Knotens, bei jedem Modell, das in FSDP2-kompatiblen Speicher passt, und bei jeder Arbeitslast, bei der kein TP benötigt wird. Die TP-Architektur von Megatron ist zwar tatsächlich schneller als selbst implementiertes TP auf PCIe, aber TP auf PCIe ist immer noch langsam – siehe die K07-Werte. Megatrons Stärke liegt in SXM-Hardware, die Kentino nicht herstellt.

Hier ist Megatron die richtige Lösung: für das Vortraining von dichten Modellen mit 70 bis über 405 Milliarden Bit auf gemieteter oder eigener NVLink-Hardware oder für den Aufbau einer Produktionsinfrastruktur für ein Forschungslabor. Wenn das auf Sie zutrifft, sind Sie wahrscheinlich bereits Teil des NeMo-Ökosystems.

TorchTitan – die neue Referenz

TorchTitan ist Metas PyTorch-native Referenz für groß angelegtes Training, die auf der ICLR 2025 akzeptiert wurde und nun das De-facto-Beispiel für die Frage ist: „Wie sollte ein TP × PP × FSDP2 × CP-Rezept im Jahr 2026 aussehen?“ Es erfindet keine neue Parallelität – es setzt die Bausteine ​​zusammen, die PyTorch bereits mitliefert (fully_shard, torch.distributed.tensor.parallel, pipelining, DTensor) in ein sauberes, vierdimensionales paralleles Trainingsskript mit asynchronem Sharded Checkpointing, torch.compileund float8.

Warum es auch dann wichtig ist, wenn Sie es nicht direkt verwenden:

  • Es ist die kanonisches Beispiel wie FSDP2 ohne ein Drittanbieter-Framework mit TP und PP zusammenarbeitet.
  • Die gleichen APIs sind in der Standardversion von PyTorch enthalten. Da steckt nichts Magisches dahinter.
  • AMD lieferte Ende 2025 einen optimierten TorchTitan-Fork für ROCm aus; die im Oktober 2025 angekündigte Partnerschaft mit Lightning AI ermöglicht es, TorchTitan-Rezepte auf Lightning Studios auszuführen.

Für Kunden der Kentino-Klasse ist TorchTitan eher eine Referenz als ein Framework zur Implementierung. Für Feinabstimmungen sind Accelerate oder Axolotl über FSDP2 ergonomischer. Beim Vortraining in moderatem Umfang (8–64 GPUs) auf Standardhardware ist TorchTitan mit NeMo vergleichbar und deutlich weniger ressourcenintensiv.

Die Rahmenmatrix

Unser Ansatz Parallelismusachsen Wird instand gehalten? Am besten geeignet,
PyTorch-DDP DP Ja, stabil Modell passt pro GPU; maximaler Durchsatz
PyTorch FSDP1 DP (fragmentiert) Veraltet 2.11 Fang nicht hier an
PyTorch FSDP2 DP (sharded), zusammengesetzt mit TP/PP/CP Ja, aktiv Die Antwort zur modalen Feinabstimmung folgt im Jahr 2026.
DeepSpeed ​​ZeRO DP (sharded), CPU/NVMe-Offload Ja, aktiv Auslagerungsintensiver, sehr langer Kontext (Ulysses), MoE
Megatron-Core / NeMo TP, PP, SP, CP, EP, DP Ja, sehr aktiv 70B+ Vortraining, SXM/NVLink-Cluster
TorchTitan FSDP2 + TP + PP + CP + float8 Ja, Referenz Modernes Vortraining auf dem PyTorch-nativen Stack
HF-Beschleunigung Wrapper um DDP/FSDP/DS Ja, aktiv Einfacher Launcher, abstrahiert das Backend
Axolotl Wrapper um Accelerate/FSDP Ja, aktiv Feinabstimmung, Datensätze, Rezepte für LoRA/QLoRA

Accelerate und Axolotl sind keine separaten Parallelisierungsstrategien – sie kapseln die oben genannten Backends. Die meisten Kentino-Kunden, die Feinabstimmungen vornehmen, werden Axolotl über FSDP2 letztendlich ganz selbstverständlich verwenden, und das ist auch richtig so.

Das Kommunikationsbudget – warum Ihr Netzwerk das Modell einschränkt

Querverweis: N08 erläutert die RDMA- und Uplink-Mathematik; dies ist die trainingsspezifische Ansicht.

Bei datenparalleler Verarbeitung (DDP oder FSDP) ist die Kommunikation zwischen den Rängen pro Schritt annähernd proportional zur Anzahl der Parameter (zu reduzierende Gradienten). Bei tensorparalleler Verarbeitung ist sie proportional zur Aktivierungsgröße multipliziert mit der Anzahl der Schichten – also um Größenordnungen höher pro Schritt.

Faustregel für das Gradientenvolumen eines einzelnen Schritts bei BF16:

Modellgröße Gradientenbytes/Schritt Gesamtreduzierungszeit bei 25 GB/s (NDR HDR-Klasse) Bei 12.5 GB/s (100 GbE)
8B 16 GB ~0.6 s ~1.3 s
70 Mrd 140 GB ~5.6 s ~11 s
405 Mrd 810 GB ~32 s ~65 s

Die 70-Byte-Reduzierung allein dauert 5.6 Sekunden auf einem 200-Gbit/s-Netzwerk. Dauert die Vorwärts- und Rückwärtsberechnung in einem Schritt ebenfalls 5 Sekunden, sind bereits 50 % der Netzwerkauslastung durch die Kommunikation begrenzt; bei 2 Sekunden Rechenzeit sind über 70 % der Netzwerkauslastung im Leerlauf. Deshalb ist 100-Gbit/s-Ethernet für das Training von über 70 Bytes zu wenig geeignet, und Sie benötigen 400-Gbit/s-Ethernet/NDR IB. Die Rechenzeit wird immer kürzer; das Netzwerk muss mithalten, sonst bleiben die GPUs im Leerlauf.

FSDP2 kaschiert dies teilweise durch Überlappung (die Berechnung der nächsten Ebene beginnt, während die aktuelle Ebene berechnet wird). Hybrid Shard kaschiert noch mehr, indem die Gradienten -Reduzierung innerhalb des schnellen intra-node Fabrics erfolgt und nur replizierte Gradienten knotenübergreifend reduziert werden. Die obigen Zahlen stellen den Worst-Case für Full-Shard-FSDP über alle Knoten ohne Überlappung dar.

Bei der Tensor-Parallelisierung skaliert die Kommunikation pro Token mit der Größe der verborgenen Schicht und der Anzahl der Schichten. Die Zahlen in K07 verdeutlichen dies: ca. 80 MB pro generiertem Token während der Dekodierung, ca. 300 GB pro Prefill bei 70 Byte und Batchgröße 32. In diesem Bereich ist PCIe (realistisch: 50 GB/s) etwa 14-mal langsamer als NVLink (realistisch: über 700 GB/s), und das Vortraining eines dichten Modells mit über 70 Byte über PCIe ist schlichtweg nicht mit akzeptabler Effizienz möglich.

Echte Rezepte

8B Llama Feinabstimmung, ein 8-GPU-Knoten — FSDP2

Hardware: 8× RTX 5090 oder 8× RTX Pro 6000 Blackwell, EPYC-Host, kein Inter-Node-Fabric erforderlich.

torchrun --standalone --nproc-per-node=8 \
  finetune.py \
    --model meta-llama/Llama-3.1-8B \
    --batch-size 1 --grad-accum 16 --seq-len 4096 \
    --bf16 --fsdp full_shard --fsdp-reshard-after-forward \
    --gradient-checkpointing --torch-compile

Erwartet: ~2000 tok/s Gesamtdurchsatz bei BF16, passt gut zu KV/Aktivierungen, Full-Shard-FSDP2 über PCIe Gen5 übernimmt die Gradienten-All-Reduce-Operation intern. So sehen auch 90 % der Kentino-Feinabstimmungsprozesse aus.

70B Llama Feinabstimmung, 2× 8-GPU-Knoten — FSDP2 Hybrid-Shard

Hardware: 2× 8× RTX Pro 6000 Blackwell, 200 Gbps IB oder 100 GbE RoCE zwischen den Knoten.

torchrun --nnodes=2 --nproc-per-node=8 \
  --rdzv-backend=c10d --rdzv-endpoint=node0:29500 \
  finetune.py \
    --model meta-llama/Llama-3.3-70B \
    --batch-size 1 --grad-accum 32 --seq-len 4096 \
    --bf16 --fsdp hybrid_shard \
    --gradient-checkpointing --torch-compile \
    --activation-cpu-offload

Der Hybrid-Shard speichert den vollständigen Shard in jedem 8-GPU-Knoten und repliziert ihn über die beiden Knoten. Das Inter-Node-Fabric transportiert lediglich die Reduce-Scatter-Daten der replizierten Gradienten – etwa 70 GB/Schritt bei BF16, ca. 3 s bei 200 Gbit/s IB. Die Überlappung minimiert diesen Aufwand. Bei 100 Gbit/s E/A dauert derselbe Schritt ca. 5–6 s, und die GPUs zeigen Leerlaufzeiten an; das Verfahren funktioniert weiterhin, nur langsamer pro Epoche.

405B Vortraining, 8×8-GPU-Knoten — Megatron-Core 3D

Hardware: 8× 8-GPU NVLink/SXM-Knoten, 400 Gbit/s NDR IB. Nicht von Kentino gebaut – der Vollständigkeit halber.

# Megatron-Core launcher (abbreviated)
torchrun --nnodes=8 --nproc-per-node=8 \
  pretrain_gpt.py \
    --tensor-model-parallel-size 8 \
    --pipeline-model-parallel-size 8 \
    --sequence-parallel \
    --context-parallel-size 1 \
    --num-layers 126 --hidden-size 16384 --num-attention-heads 128 \
    --seq-length 8192 --micro-batch-size 1 --global-batch-size 2048 \
    --bf16 --use-flash-attn --transformer-impl transformer_engine

TP=8 × PP=8 = 64 Rang pro Replikat; 8 nodes × 8 GPUs = 64 GPUs Insgesamt genau eine Replik. Um die Anzahl der Replikate für einen höheren Durchsatz zu erhöhen, multiplizieren Sie mit DPHier zeigt Megatron seine Stärken. Das gleiche Modell auf FSDP2 allein würde die meiste Zeit mit der Kommunikation zwischen den Rängen verbringen; das 3D-Layout verlagert die rechenintensivste Kommunikation (TP) in den NVLink-Bereich.

Ehrliche Einschätzung für Kentino-Kunden

Die meisten Kentino-Kunden führen kein Vortraining durch. Sie optimieren offene Basismodelle – Llama, Qwen, Mistral, manchmal Gemma – anhand ihrer Domänendaten, gelegentlich mit LoRA oder QLoRA, gelegentlich mit vollständigem Feintuning. Für diese Arbeit ist die Framework-Wahl folgende:

  • Ein Modell, das auf eine GPU in BF16 passt, mit Optimiererstatus. Verwenden Sie DDP. Replikate erhöhen den Durchsatz.
  • Ein Modell, das nicht auf eine einzelne GPU passt, aber in der Summe auf einem 8-GPU-Knoten Platz findet. Verwenden Sie den vollständigen FSDP2-Shard. Dies deckt Feineinstellungen von 8 bis 70 Byte ab.
  • Ein Modell, das sich insgesamt auf zwei 8-GPU-Knoten verteilen lässt. Verwenden Sie den FSDP2-Hybrid-Shard. 70B–200B Feinabstimmungen.
  • Ein größeres Modell oder ein Vortraining von Grund auf. Hier kommen Megatron-Core, SXM-Hardware und NDR IB ins Spiel. Wir werden den Speicher und die Managementebene aufbauen, die GPUs werden für diese Phase aber üblicherweise gemietet.

Die 10 % der Kunden, die tatsächlich ein eng gekoppeltes Training auf mehreren Knoten benötigen, sind größtenteils Forschungslabore mit finanzierten Vortrainingsprogrammen. Sie wissen bereits vor der Kontaktaufnahme, was sie brauchen. Den übrigen 90 % sollte kein Cluster verkauft werden – stattdessen sollte ihnen ein gut ausgestatteter 8-GPU-Knoten mit dem passenden Fabric-Stub für einen zukünftigen zweiten Knoten angeboten werden. Die Netzwerkkomponenten sollten als separate Position (P2) bereitgestellt werden.

Was ist als nächstes zu tun?

Wenn Sie den Umfang einer Schulungsmaßnahme planen und noch kein Rahmenkonzept ausgewählt haben, gehen Sie diese Schritte der Reihe nach durch:

  1. Berechnen Sie den Speicherbedarf pro Rang mit der von Ihnen angestrebten Genauigkeit. Parameter × 2 (BF16) + Gradienten × 2 + Optimierer × 8 (Adam FP32-Zustände) + Aktivierungen. Wenn das mit ausreichendem Spielraum in den VRAM Ihrer GPU passt, ist DDP die richtige Lösung.
  2. Wenn der Speicherplatz nicht ausreicht, fragen Sie sich: Habe ich einen oder mehrere Knoten? Ein Knoten → FSDP2 Full Shard, Ende der Konversation. Viele Knoten → FSDP2 Hybrid Shard.
  3. Führen Sie eine einfache Plausibilitätsprüfung durch. Sehen Sie sich die gesamte Zeitreduzierung an NCCL_DEBUG=INFOWenn es den Schritt dominiert, ist das Netzwerk für das Modell unterdimensioniert. Sie haben zwei Möglichkeiten: ein kleineres Modell oder ein größeres Fabric; eine Anpassung des Frameworks wird das Problem nicht lösen.
  4. Greifen Sie nur dann zu Megatron-Core oder DeepSpeed, wenn FSDP2 Ihre Anforderungen nicht erfüllen kann. „Kann nicht“ bedeutet: Für ein Modell, das größer ist als der gesamte Arbeitsspeicher Ihres Knotens, ist Tensor-Parallelisierung erforderlich, CPU-/NVMe-Offloading ist notwendig, Sequenz-Parallelisierung ist über dem erforderlichen Wert notwendig. --context-parallel-size in PyTorch gibt es Ihnen, oder Sie trainieren MoE vor.
  5. Verwenden Sie Axolotl oder Accelerate als Launcher. Das manuelle Entwickeln einer FSDP2-Wrapper-Lösung ist eine Lernübung; im Produktivbetrieb benötigt man ein Framework, das Datensatz, Tokenisierung, Checkpoint-Format und die LoRa-Infrastruktur verwaltet. Beide basieren im Kern auf FSDP2.
  6. Kontrollpunkt mit torch.distributed.checkpoint (DCP) oder NeMos asynchroner Sharded Checkpoint. Synchrone, nicht-shardierte Checkpoints, die auf NFS geschrieben werden, sind ein Muster aus dem Jahr 2022; im Jahr 2026 stellen sie einen selbstverschuldeten Trainingsstillstand dar. Siehe K06 für die Fehlerbehandlung, die damit zusammenhängt.
  7. Seien Sie ehrlich hinsichtlich der Größe des Clusters, die Sie tatsächlich benötigen. Wenn Ihr Job auf einem 8-GPU-Knoten in angemessener Zeit läuft, lohnt es sich nicht, für einen Vier-Knoten-Cluster zu bezahlen, um ihn theoretisch 2.5-mal schneller zu machen. Die Skalierungsberechnungen in K07 zeigt, warum „mehr Knoten“ bei Standardhardware schon frühzeitig nicht mehr hilft.

Begleitende Artikel: Verteilte Trainingsdatenspeicherung und Checkpointing in K04 , Inferenz-Clustering in K03 , Fehlerbehandlung in K06 , die PCIe-Bandbreitenbegrenzung in K07 und der NVLink-versus-PCIe-Kompromiss in N03 . Die Netzwerkmathematik findet sich in N08.


Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Computing, Robotik und den Systemen, die diese verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.