Speicherebenen in einem KI-Server: Modell, Datensatz, Scratch, Checkpoint

Immer wieder führen wir mit Käufern Gespräche über NVMe. Sie wünschen sich „so schnell wie möglich“, da die Datenblätter 14 GB/s für eine Gen5-SSD ausweisen und eine 4090 neben einer Samsung 9100 PRO vergleichbar klingt. Dann fragen wir nach dem Verwendungszweck, die Antwort lautet „hauptsächlich für Inferenz“, und die optimale Konfiguration erweist sich als nur eine SSD statt acht. Speicher in einem KI-Server ist der Bereich, in dem Überdimensionierung einfach, für den Anbieter unkompliziert und für die Arbeitslast nahezu unsichtbar ist.

Dieser Artikel behandelt die vier realen Speicherebenen eines einzelnen KI-Servers, ihre jeweiligen Aufgaben, den NVMe-Markt im Jahr 2026, wann sich der Aufpreis für Gen5 lohnt, warum Hardware-RAID für NVMe an Bedeutung verloren hat und wie man die einzelnen Ebenen optimal dimensioniert, ohne unnötig Geld auszugeben. Die Wahl des Dateisystems wird separat in L04 behandelt; gemeinsam genutzter Clusterspeicher (NFS, BeeGFS, Lustre, Objektspeicher) in K04. Hier bleiben wir im Gehäuse.

Die vier Speicherebenen

Ein leistungsstarker KI-Server erfüllt vier unterschiedliche Speicherfunktionen. Diese unterscheiden sich hinsichtlich Größe, Durchsatz, Ausdauer und Kosten erheblich. Sie als einen einzigen Speicherpool zu behandeln, wäre ein Fehler.

Tier Funktion / Rolle (Role) * Durchsatzbedarf Ausdauerbedarf Typische Größe
Modell OS-Root, Modellgewichtsbibliothek, Container-Images Leseintensiv, bescheiden Niedrig (meistens gelesen) 1–4 TB
Datensatz Trainingsdaten, Feinabstimmungskorpora Sequenzielles Lesen, hoch Niedrig–mittel 10 TB – 200 TB
Schutz vor Aktivierungsüberlauf, Datensatz-Cache, dekodierte Shards Lesen und Schreiben, sehr hoch Mittel bis hoch (gemischt) 2–8 TB
Kontrollpunkt Modellzustand während des Trainings, periodische Momentaufnahmen Bursty groß schreibt Mittel (schreibfreudig) 5–20 TB

Ein Inferenzserver mit 4 GPUs benötigt typischerweise nur die erste Speicherebene und gegebenenfalls einen geringen Teil der zweiten. Ein Trainingsserver mit 8 GPUs benötigt alle vier Ebenen, und für jede Ebene werden unterschiedliche Laufwerke benötigt. Die Frage „Wie viele TB NVMe-Speicher?“ ist ohne die Auswahl einer Speicherebene sinnlos.

Modellspeicher

Die Modellschicht enthält Ihre Gewichtsbibliothek – alle Llama-, Qwen-, Mistral-, Stable Diffusion-, Flux- und Whisper-Varianten, die Sie jemals laden möchten. Hier befinden sich auch das Betriebssystem, Container-Images, Conda-Umgebungen und die Binärdateien des Inferenzservers. Bei den meisten Builds werden diese auf dem Systemlaufwerk abgelegt.

Die Dimensionierung hängt davon ab, wie viele Modelle im Speicher gehalten werden. Einige Beispiele für gängige Quantisierungen:

  • Llama 3 70B Q4: ~40 GB
  • Llama 3 70B FP8: ~70 GB
  • Qwen2.5-VL 72B Q4: ~45 GB plus einige GB Vision Tower
  • Mistral Large 2 (123B) Q4: ~70 GB
  • Llama 4 Maverick MoE FP8: ~250 GB
  • Eine bescheidene VLM-Bibliothek (8 Modelle, gemischte Quantisierungen): 300–500 GB
  • Ein Forschungslabor, das 30 Modelle auf Hochtouren laufen lässt: 2–4 TB

Hauptsächlich Lesezugriffe. Das Modell wird einmalig beim Prozessstart geladen und verbleibt den Rest des Tages im VRAM. Die SSD liest beim Start von vLLM sequenziell 40 GB und arbeitet danach weitgehend im Leerlauf. Eine einzelne 2–4 TB große Gen4 NVMe-SSD – selbst eine Consumer-SSD wie die Samsung 990 PRO – bewältigt dies problemlos. Achten Sie auf die Speicherkapazität, nicht auf den Durchsatz.

Datenspeicherung

Der Datensatz enthält Trainingskorpora und Material für das Feinabstimmungsverfahren. Kunden unterschätzen diese Ebene chronisch, da der aktuell verwendete Datensatz noch passt und sie vergessen, dass der nächste nicht mehr ausreicht.

Realistische Reichweiten:

  • LoRA-Feinabstimmungskorpus für eine einzelne Domäne: 10–100 GB
  • Multimodaler Feinabstimmungssatz (Bilder + Text): 1–10 TB
  • Vortrainingskorpus (FineWeb-Teilmenge usw.): 5–50 TB
  • Video-Vortraining oder Robotik-Demonstrationsset: 20–200 TB
  • Genomische, wissenschaftliche oder aus dem Web extrahierte Archive: 100 TB – 1 PB+

Das Zugriffsmuster ist sequenzielles Lesen, wiederholt über mehrere Epochen hinweg, parallel auf vielen DataLoader-Workern. Es ist durchsatzsensitiv (da die GPU wartet), aber latenztolerant. Die Schreibrate ist praktisch null, sobald die Daten bereitgestellt sind.

Bei Datensätzen über ca. 10 TB ist die optimale Lösung in der Regel außerhalb des Gehäuses – siehe K04 für NFS-, BeeGFS- und Objektspeicher-Muster. Innerhalb des Gehäuses ist eine Datensatzebene aus HDDs im RAIDZ2-Verbund (günstig, groß, langsam, aber ausreichend, sobald der Seitencache aufgetaut ist) oder ein U.2-NVMe-RAID der mittleren Leistungsklasse bis ca. 50 TB sinnvoll.

Schutz vor

Scratch ist der stille Held. Es absorbiert alles, was anderswo nicht sauber hineinpasst: dekodierte Bildfragmente, Zwischenaktivierungen, die von ZeRO-Offload erzeugt werden, und von anderen erstellten Datensatz-Caches. webdataset/DALITemporäre Datensatzverschiebungen, Container-Build-Artefakte und der Dump eines abgestürzten Laufs. Gleichzeitig lese- und schreibintensiv.

Größenempfehlung: 2–8 TB sind optimal. Bei weniger als 2 TB ist der Speicherplatz bereits nach einer einzigen Feinabstimmung voll. Bei mehr als 8 TB erstellt man üblicherweise eine kleine Datenebene und bezeichnet sie als Scratch – in Ordnung, aber man sollte offen zugeben, was man tut.

Die Ausdauer ist hier wichtiger als in den anderen Stufen. Scratch-Operationen verbrauchen viele Schreibvorgänge – 5–20 TB geschriebene Daten pro Tag sind auf einem stark frequentierten Schulungssystem keine Seltenheit. Eine Enterprise-Festplatte mit 4 TB Speicherkapazität und 1 DWPD ermöglicht 4 TB geschriebene Daten pro Tag über fünf Jahre; für anspruchsvolle Schulungen mit Scratch-Operationen wird eine Festplatte mit 1–3 DWPD und gemischter Nutzung benötigt.

Kontrollpunkt

Die Checkpoint-Ebene markiert den Zustand des Trainingszustands. Bursty: Zehn Minuten Stille, dann 50–500 GB in wenigen Sekunden geschrieben, dann wieder Stille.

Ein 70-Byte-Modell-Checkpoint bei FP16 umfasst ca. 140 GB an Gewichten. Mit FSDP, Gradienten und dem Zustand des Optimierers erhöht sich der Speicherbedarf pro Checkpoint auf 400–700 GB. Mit DeepSpeed ​​ZeRO-3 und dem vollständigen Zustand des Optimierers (Adam: 8 Byte pro Parameter für den Master-FP32 + erstes/zweites Moment) kann ein 70-Byte-Checkpoint fast 1 TB groß werden.

Die kontinuierliche Schreibrate einer einzelnen Gen5 NVMe-SSD beträgt ca. 10–13 GB/s. Ein 700 GB großer Checkpoint wird – optimistisch geschätzt – in etwa einer Minute geschrieben, vorausgesetzt, jeder Rank speichert die Daten auf einem eigenen Laufwerk. Gleichzeitig werden die Trainingsblöcke für diese Minute synchronisiert. Die Lösung ist asynchrones Sharded Checkpointing (siehe unten).

NVMe Gen4 vs. Gen5 – wann sich der Aufpreis lohnt

Der NVMe-Markt im Jahr 2026 teilt sich in die etablierte Gen4-Generation (5–7 GB/s) und die mittlerweile weit verbreitete Gen5-Generation (12–14 GB/s) auf. An der Spitze des Consumer-Segments steht die Samsung 9100 PRO mit sequenziellen Lesegeschwindigkeiten von 14.8 GB/s und sequenziellen Schreibgeschwindigkeiten von 13.4 GB/s. Auch die Enterprise-Gen5-SSDs bewegen sich in diesem Bereich: Die Solidigm D7-PS1010 erreicht 14.5 GB/s beim Lesen, die Micron 9550 MAX 14 GB/s beim Lesen, die Kioxia CD8 und die SanDisk DC SN861 liefern alle 13–14 GB/s beim Lesen und 8–10 GB/s beim Schreiben.

Der Kostenaufschlag für Gen5 gegenüber Gen4 mit vergleichbarer Kapazität liegt Mitte 2026 bei 30–50 % für Endverbraucher und bei 20–35 % für Unternehmen.

Wenn sich Gen5 tatsächlich auszahlt:

  • Modellladung aus dem Kaltzustand. Ein 250-GB-MoE-Modell lädt auf der 5. Generation in 18 Sekunden, im Vergleich zu 36 Sekunden auf der 4. Generation. Das ist wichtig, wenn man häufig zwischen verschiedenen Modellen wechselt.
  • Training I/O bound. Bildverarbeitungspipelines, die rohe JPEGs von der Festplatte dekodieren, multimodale Datensätze, bei denen die Vorverarbeitung den Flaschenhals darstellt.
  • Vor dem asynchronen Kopieren einen Checkpoint auf die lokale NVMe-Festplatte erstellen. Je schneller der lokale Schreibvorgang, desto eher wird das Training fortgesetzt.
  • Cluster-Speicherserver mit mehr als 8 Trainingsknoten. Die aggregierte Kundennachfrage übersteigt die Kapazität der vierten Generation.

Wenn Gen4 völlig ausreicht und Gen5 rausgeschmissenes Geld ist:

  • Inferenzserver. Das Modell wird einmal beim Start geladen; den Rest des Tages arbeitet die Festplatte mit einstelligen MB/s-Werten.
  • OS-Root und Container-Speicher. Einmal im Monat neu starten, Pakete gelegentlich installieren.
  • Datensatzebene, auf der die Shards vordekodiert und groß sind. Der PyTorch DataLoader mit 8 Workern, die WebDataset-Shards lesen, erreicht eine Gesamtkapazität von etwa 4–6 GB/s; Gen4 deckt dies ab.

Die ehrliche Version: Etwa 70 % der von uns ausgelieferten Kundensysteme dienen ausschließlich der Inferenz, und für diese ist NVMe der 4. Generation durchweg die richtige Wahl. Die 5. Generation ist eine Entscheidung für das Training.

Formfaktoren – M.2, U.2/U.3, E3.S

Formfaktor Typische Verwendung Heißer Tausch Thermische Hülle Kapazitätsobergrenze Notizen
M.2 2280 Verbraucher, Boot Nein 8–10 W 8 TB Drosselklappen unter anhaltender Gen5-Belastung
M.2 22110 Arbeitsstation, Server Nein 12–15 W 16 TB Bessere Wärmespeicherkapazität als 2280
U.2 / U.3 Rechenzentrumsstandard Ja 25 W 30 TB Ausgereift, weitgehend kompatibel
E1.S Hyperscaler-Dichte Ja 20 W 16 TB "Lineal"-Form, 1U dicht
E3.S Rechenzentrum der nächsten Generation Ja 25–40 W Mehr als 30 TB Entwickelt für Gen5/Gen6-Thermoelemente

M.2 Gen5 drosselt die Übertragungsrate. Eine Samsung 9100 PRO 2 TB, die in einem heißen Gehäuse dauerhaft mit 13 GB/s betrieben wird, erreicht 75 °C und taktet dann herunter. Modelle mit Kühlkörpern verbessern die Leistung. M.2 eignet sich gut für den Systemstart und moderate Arbeitslasten; für kontinuierliche Schreibvorgänge ist es jedoch nicht die richtige Bauform.

U.2 ist der Standard. Jede Enterprise-NVMe-SSD von Kentino, die in einem Bone64c- oder Supermicro-Gehäuse verbaut ist, nutzt U.2 und ist nahezu universell mit U.3-Backplanes kompatibel. Mit einer thermischen Belastung von 25 W, Dual-Port für Multipath-Datenverkehr, Hot-Swap-Fähigkeit sowie Speicherkapazitäten von 7.68 TB und 15.36 TB bietet sie ein optimales Preis-Leistungs-Verhältnis.

E3.S ist die Zukunft – wenn auch langsam. Von Grund auf für die Wärmeentwicklung der 5. und 6. Generation konzipiert. Für Einzelserver oder kleine Kentino-Cluster bleibt U.2/U.3 bis 2026 die praktikable Wahl; E3.S kommt 2027 für Aktualisierungszyklen zum Einsatz.

Vermeiden Sie das Stapeln von M.2-Einschüben in einem heißen Gehäuse. PCIe-Kartenadapter, die vier M.2-Laufwerke hinter einem Switch-Chip aufnehmen, funktionieren zwar, aber in einem 4U-Server mit acht GPUs ist die Luftzirkulation über diesen Einschüben unzureichend. Wir beobachten bereits nach zehn Minuten Dauerlast thermische Drosselung. Wenn Sie vier NVMe-Laufwerke in einem Server benötigen, verwenden Sie U.2.

Ausdauer – DWPD als Kaufsignal

Klasse DWPD Anwendungsfall Kostenaufschlag vs. Leseinterferenz.
Leseintensiv 0.3-1 Bootvorgang, Modellspeicher, Datensatz, Archiv Baseline
Gemischt genutzte Immobilien 1-3 Training Scratch, Checkpoint, Hot Caches +30–60 %
Schreibintensiv 3–10 + Protokolle, Journale, schreibintensive Datenbanken +100–200 %

Für einen KI-Server ist die Zuordnung unkompliziert:

  • Modellstufe: leseintensiv, 0.3–1 DWPD.
  • Datensatzebene: leseintensiv, 0.3–1 DWPD.
  • Scratch-Tier: Gemischt genutzt, 1–3 DWPD. Dies ist die Nutzungsstufe, die ihr Budget für die langfristige Finanzierung rechtfertigt.
  • Kontrollpunktstufe: Gemischte Nutzung, 1–3 DWPD. Kurze Schreibzyklen akkumulieren sich; 1 DWPD auf einer 4-TB-Festplatte erlaubt nur 4 TB/Tag, was bei einem intensiven Trainingsrhythmus überschritten wird.

Schreibintensive Systeme (3+ DWPD) sind für fast alle KI-Anwendungen überdimensioniert. Die falsche Ausdauerklasse lässt sich durch Austausch korrigieren; die falsche Durchsatzklasse hingegen oft nicht. Achten Sie von Anfang an auf den richtigen Durchsatz und betrachten Sie die Ausdauer als eine Option, die Sie nachträglich erweitern können.

RAID für NVMe – Hardware ist tot, Software ist die Lösung

Dies verdient einen eigenen Unterabschnitt, da Kunden immer noch danach fragen. Kurz gesagt: Wenn Ihr System im Jahr 2026 noch einen Hardware-RAID-Controller vor NVMe-Laufwerken verwendet, ist es falsch konfiguriert.

Hardware-RAID-Controller (LSI/Broadcom MegaRAID, Microchip SmartRAID, HPE Smart Array, Dell PERC) wurden für SAS/SATA entwickelt. Der integrierte ASIC des Controllers übernimmt Paritätsberechnung, Caching und Befehlswarteschlangenverwaltung und bietet bei der SAS-Bandbreite (12 Gbit/s = 1.5 GB/s) ausreichend Leistungsreserven.

NVMe Gen5 mit 14 GB/s pro Laufwerk stößt bei einem RAID-Controller mit einer einzelnen Karte bereits nach zwei Laufwerken an seine Grenzen. Acht Laufwerke hinter einer Hardware-RAID-Karte erzeugen mehr Bandbreite, als die PCIe-Uplink-Verbindung der Karte übertragen kann. Der Controller wird zum Flaschenhals und schließlich zum Ausfallpunkt.

Die praktischen Antworten sind Software:

  • mdadm (Linux Software-RAID). Ausgereift und im Kernel integriert, unterstützt RAID 0/1/10 einwandfrei. RAID 5/6 auf NVMe funktioniert, die Paritätsberechnung beansprucht jedoch CPU-Leistung. Für 4 NVMe-Speicher im Spiegel- oder Stripe-Verbund: perfekt.
  • ZFS RAIDZ2. Verbesserte Datenintegrität (durchgängige Prüfsummen), optimierte Werkzeuge für Bereinigung und Datenersetzung, Snapshot-/Klon-Semantik. CPU-intensiver als mdadm. Die optimale Wahl für Archiv- und Datensatzebenen, bei denen Datenintegrität wichtiger ist als maximaler Durchsatz.
  • Replikation/Erasure Coding pro Laufwerk auf Anwendungsebene. Bei sehr großen Arrays verlagern MinIO/Ceph EC oder BeeGFS Striping die Redundanzentscheidung vollständig aus der Blockschicht.

Für die meisten Kentino-Konfigurationen:

  • Boot: 2× M.2 NVMe im mdadm RAID1-Verbund.
  • Kratzen: RAID0 über 2–4 NVMe-Speicher (Daten sind regenerierbar).
  • Datensatz/Prüfpunkt: RAID10 in mdadm oder RAIDZ2 in ZFS.

Hardware-RAID hat in KI-Servern nur noch einen einzigen Anwendungsfall: ein kleines Boot-Mirror hinter einer einfachen Broadcom/MegaRAID-Karte auf einem Server, bei dem unbedingt bootfähige Redundanz vor dem Betriebssystem benötigt wird. Selbst dort funktioniert mdadm RAID1 mit EFI auf beiden Laufwerken einwandfrei.

Netzwerkgebundener Speicher für die Datensatzebene

Schnittmuster Netzwerk Verwendbarer Lesetext Wenn es richtig ist
NFS über 10 GbE 10 GbE ~ 1 GB/s Kleines Labor, ein einzelner Trainer
NFS über 25 GbE mit nconnect=8 25 GbE ~ 2.5 GB/s 1–2 Trainer, moderate Datensatzrate
NFS über 100 GbE mit nconnect=16 100 GbE 8–10 GB/s Mehrere Trainer, große Datensätze
BeeGFS über 100 GbE, 2–3 Speicherziele 100 GbE 30–60 GB/s Trainingscluster mit 4–8 Knoten
Objektspeicher (MinIO/Ceph) + lokale Stufe 25/100 GbE variiert Episodisches Training, großer Datensee

Fazit: Die Datenebene gehört bei KI-Servern ab 10 TB fast immer außerhalb des Servers. Innerhalb des Chassis benötigt man schnelles Scratching, schnelles Checkpointing und einen Modellspeicher; die Datenebene kann extern liegen.

Wie PyTorch Daten tatsächlich lädt

Ein nützliches Modell zur Dimensionierung des Speichers ist es, dem Ansatz von PyTorch zu folgen. DataLoader tut es. Mit num_workers=8 und pin_memory=True:

  1. Acht Worker verarbeiten jede geöffnete Datensatzdatei parallel.
  2. Jeder Worker liest, dekodiert (JPEG, Videoframes, Audio-Resampling) und tensorisiert eine Stichprobe.
  3. Der dekodierte Tensor wird im gemeinsamen Speicher abgelegt.
  4. Der Hauptprozess liest Daten aus der gemeinsamen Warteschlange, speichert sie im Host-RAM und kopiert sie per DMA auf die GPU.

Die praktischen Auswirkungen:

  • Eine Bildverarbeitungspipeline ist selten speichergebunden Es sei denn, der Datensatz ist so groß, dass der Seitencache keinen Arbeitsdatensatz speichern kann.
  • Eine LLM-Vortrainingspipeline liest vortokenisierte Shards Bei Gen4 ist der Speicherplatz oft begrenzt. Gen5 schafft Abhilfe. Ebenso hilfreich ist es, das aktive Shard-Set auf einer lokalen NVMe-Festplatte anstatt auf NFS zu platzieren.
  • Inferenz ist im Grunde nie speichergebunden Nach dem Laden des Modells. Der Aktivitätsmesser der Scheibe auf einer Servierbox ist flach.

Die Kontrollpunktklippe

Ein 70-Byte-Modell-Checkpoint bei FP16 umfasst 140 GB an Gewichten. Hinzu kommen der Adam-Optimierer-Status (ca. 8 Byte pro Parameter für FP32-Master + erstes + zweites Moment): weitere ca. 560 GB. Gradienten, falls während eines Snapshots gespeichert wird: zusätzliche ca. 140 GB. Ein vollständiger 70-Byte-Checkpoint kann je nach gespeicherten Daten 800 GB bis 1 TB groß sein.

Synchroner Checkpoint mit einem einzigen Schreibvorgang auf eine einzelne Gen5 NVMe-SSD mit einer kontinuierlichen Schreibgeschwindigkeit von 13 GB/s: ca. 75 Sekunden für einen 1-TB-Checkpoint. Trainingsblöcke werden über die gesamte Dauer ausgeführt. Da dies alle 100 Schritte bei einer Schrittdauer von jeweils 5 Sekunden durchgeführt wird, verlangsamt sich der Trainingslauf um 15 %.

Zwei Korrekturen, beide unerlässlich:

1. Sharded Checkpointing. Jeder FSDP-Rank schreibt seinen eigenen Shard auf seine eigene lokale NVMe-SSD. Mit 8 GPUs und 8 lokalen Laufwerken beträgt die Schreibgröße pro Rank 125 GB, und die Schreibvorgänge werden parallelisiert. Die Laufzeit sinkt auf ca. 10 Sekunden.

2. Asynchrones Checkpointing. PyTorch DCP (torch.distributed.checkpointDie Schreiboperation wird an einen CPU-Thread ausgelagert. Die GPU pausiert kurz für die Zwischenspeicherung der Daten (einige Sekunden), anschließend wird das Training fortgesetzt und der eigentliche Schreibvorgang auf den Speicher erfolgt im Hintergrund.

Die Kombination aus asynchronem Sharding und Checkpoint-Speicherung wandelt die Anforderung, dass die Speicherung von Checkpoints nicht mehr „1 TB in Sekunden verarbeiten“ erfordert, sondern lediglich „mit einer kontinuierlichen Hintergrundkopie von einigen hundert MB/s Schritt halten muss“. Nahezu jede Speicherebene bewältigt dies. Der Fehler, den es zu vermeiden gilt: synchrone Checkpoints, die den gesamten Zustand pro Rang direkt auf NFS schreiben. Das war 2022 noch üblich, ist 2026 jedoch ein schwerwiegender Fehler.

Beton Kentino AI Lagerlayouts

4-GPU-Inferenzserver (z. B. Kentino AI 192 Genoa, 4× RTX 5090 oder 4× RTX Pro 6000 Blackwell):

Boot + model:    1× 2 TB Gen5 M.2 NVMe (consumer or read-intensive enterprise)
Scratch:         optional, often unnecessary for pure inference
Dataset:         not needed on the box
Checkpoint:      not needed on the box

Total: 2 TB NVMe. Cost: low. Sufficient for any inference workload.

Trainingsserver mit 8 GPUs (z. B. Kentino AI 256 Turin Dual, 8× RTX 5090 oder 8× RTX Pro 6000):

Boot:            2× 480 GB M.2 NVMe, mdadm RAID1, ext4 → /
Model storage:   2× 4 TB U.2 Gen5 NVMe, mdadm RAID1, ext4 → /models
Scratch:         2× 8 TB U.2 Gen5 NVMe, mdadm RAID0, XFS → /scratch
Checkpoint:      2× 8 TB U.2 Gen5 NVMe, mdadm RAID10, XFS → /checkpoints
Dataset:         NFS mount from external storage server, 100 GbE

Total local NVMe: ~36 TB. Cost: meaningful but matched to GPU spend.

Gemeinsamer Speicherknoten im Cluster (getrennt vom Rechenknoten):

Boot:            2× 960 GB M.2 NVMe, RAID1, ext4
Hot tier:        12× 7.68 TB U.2 Gen5 NVMe, ZFS RAIDZ2 or BeeGFS storage target, XFS
Cold tier:       8× 16 TB SAS HDD, ZFS RAIDZ2 → /archive
Network:         2× 100 GbE, RoCE or NVMe-oF capable

Serves the cluster's dataset tier. See K04 for distributed FS choice.

Zwei Dinge sind zu beachten: Der Inferenzserver verfügt über ein einzelnes Laufwerk . Der Trainingsserver hingegen ist vierstufig, wobei jedes Laufwerk für seine jeweilige Aufgabe dimensioniert und nicht überdimensioniert ist, um das größtmögliche verfügbare Laufwerk zu verwenden. Der Cluster-Speicherknoten ist ein vollständig separater Rechner.

Ehrlich gesagt – die meisten Kunden überdimensionieren ihren Speicherplatz.

Ein Muster, das wir häufig genug beobachten, um es anzusprechen: Ein Kunde baut einen Server mit acht GPUs, um „zukunftssicher“ zu sein, spezifiziert acht 15.36 TB große U.2-NVMe-SSDs, weil die Steckplätze vorhanden sind, und führt dann Inferenz-Workloads aus, die vielleicht 200 GB an Modelldateien benötigen, während der Rest des Arrays ungenutzt bleibt. 25,000 € NVMe-SSDs bleiben ungenutzt.

Die ehrlichen Größenregeln:

  • Reine Inferenz, einzelner Server: 2–4 TB NVMe-Speicher insgesamt. Ein Laufwerk. Fertig.
  • Inferenz plus gelegentliche Feinabstimmung: 4–8 TB insgesamt. Boot + Scratch.
  • Ernsthaftes Training, Einzelserver: 16–40 TB verteilt auf Boot-/Modell-/Scratch-/Checkpoint-Daten, wobei sich der Datensatz extern auf einem NAS oder Objektspeicher befindet.
  • Cluster: Datensatz und Prüfpunkt werden auf gemeinsam genutzten Speicher verschoben; der lokale NVMe-Speicher pro Knoten schrumpft für Bootvorgang, Modellierung und Write-Back Scratch auf das Inferenzprofil (2–8 TB).

Speicher ist der einzige Bereich in KI-Systemen, in dem die Annahme „mehr ist immer besser“ konsequent falsch ist. GPUs skalieren ihren Nutzen annähernd linear mit den Kosten; RAM skaliert vernünftig; Speicherplatz skaliert oft gar nicht mehr, sobald man genug hat.

Was geht kaputt?

Die Ausfallarten, die wir im Feld beobachten, in der Reihenfolge:

  • Das Systemlaufwerk ist ein handelsübliches M.2-Laufwerk ohne Redundanz. Nach 18 Monaten fällt die Festplatte aus, der Server ist nicht mehr bootfähig. Die Modelle bleiben im RAID-Verbund zwar erhalten, der Wiederaufbau dauert aber einen Tag. Lösung: 2× M.2 im mdadm-RAID1-Verbund, auch auf Inferenzsystemen.
  • Scratch füllt sich mitten im Lauf. Dataset-Cache, dekodierte Shards und temporäre Framework-Dateien verursachen Probleme. Lösung: Überwachung und Alarmierung bei 80 % Auslastung; Größe: 1.5-facher des maximal erwarteten Arbeitsspeichers.
  • Hardware-RAID-Karte hinter NVMe. Die Leistung ist nur halb so gut wie sie sein sollte, der Controller ist die einzige Fehlerquelle, ein Austausch ist aufwendig. Lösung: Karte entfernen, mdadm oder ZFS direkt verwenden.
  • Synchroner Checkpoint zu NFS, Trainingsstörungen. Lösung: Asynchroner Sharded Checkpoint, zuerst lokale NVMe-Speicherung, dann asynchrone Kopie.
  • Thermische Drosselung von Gen5 M.2. Eine Festplatte mit einer Nenngeschwindigkeit von 14 GB/s erreicht nach 3 Minuten kontinuierlicher Schreibaktivität nur noch 4 GB/s. Abhilfe: Kühlkörper, verbesserte Luftzirkulation oder Wechsel zu U.2.
  • Der Datensatz auf der Datensatzebene sättigt Gen4. Die Pipeline für das Bildverarbeitungstraining ist zu 30 % speichergebunden. Lösung: Gen5-Scratch, Vordekodierung in WebDataset oder beides.
  • ZFS ARC belegt RAM, der eigentlich für das Training vorgesehen ist. Die standardmäßige Zuweisung von 50 % führt zu einem Speichermangel im Trainingsprozess. Lösung: Obergrenze zfs_arc_max bis zu 10–20 % des RAM. Siehe L04.

Was ist als nächstes zu tun?

Ablauf zur Dimensionierung vor Vertragsunterzeichnung:

  1. Schlussfolgerung, Training oder beides? Schlussfolgerung: Bei einem Laufwerk zu Schritt 5 übergehen. Training: fortfahren.
  2. Welches ist das größte Modell, das Sie trainieren oder feinabstimmen möchten? Multiplizieren Sie die Parameteranzahl mit der Anzahl der Bytes pro Parameter (FP16: 2, FP8: 1, BF16 + Optimiererstatus: 16). Das ist der minimale Speicherbedarf pro Snapshot.
  3. Was ist der größte Datensatz, mit dem Sie in den nächsten 12 Monaten arbeiten werden? Bis zu ca. 10 TB passen die Daten auf eine lokale NVMe-SSD im Dataset-Tier. Bei mehr als 10 TB gehören sie auf ein NAS oder in einen Objektspeicher – siehe K04.
  4. Werden Sie Sharded Async Checkpointing implementieren? Falls ja (PyTorch DCP, NeMo, moderne Frameworks), reduziert sich der Speicherbedarf für Checkpoints pro Knoten um das 4- bis 8-Fache. Falls dies nicht möglich ist, planen Sie, dass der gesamte Zustand auf jedem Knoten gespeichert wird, und dimensionieren Sie den Speicher entsprechend.
  5. Wählen Sie den Formfaktor. M.2 für das System. U.2/U.3 für alle anderen Komponenten im Servergehäuse. E3.S nur, wenn das Gehäuse dafür vorgesehen ist.
  6. Wähle Ausdauer. 1 DWPD leseintensiv für Modell und Datensatz. 3 DWPD gemischte Nutzung für Scratch und Checkpoint.
  7. Generation auswählen. Gen5, wo hoher Durchsatz entscheidend ist (Scratching, Checkpoint, Modelltausch auf Multi-Tenant-Systemen). Gen4 überall sonst.
  8. RAID auf Betriebssystemebene festlegen. mdadm für kleine Arrays, ZFS, wo Prüfsummen wichtig sind, kein Hardware-RAID-Controller vor NVMe.

Querverweis: W01 für den Zusammenhang zwischen RAM-Dimensionierung und Modellladung aus dem Speicher, W02 für das PCIe-Lane-Budget, das Speicherlaufwerke belegen.

Beim Speicheraufbau zahlt sich Zurückhaltung aus. Die einfachste Konfiguration, die keinen Engpass darstellt, ist fast immer die richtige.


Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Computing, Robotik und den Systemen, die diese verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.