Dateisystemwahl für KI-Server: XFS, ZFS, ext4 und warum Btrfs nicht auf der Liste steht
Wenn Sie gerade 40 € für GPUs ausgegeben haben, sollten Sie sich gut überlegen, auf welchem Dateisystem Sie Ihre Daten speichern. Der Ubuntu-Installer verwendet standardmäßig ext4; für viele KI-Workloads ist das die richtige Lösung, für manche jedoch nicht. Wählen Sie das falsche Dateisystem für ein 50 TB großes Dataset, riskieren Sie Durchsatzverluste, Datenverlust oder dass Ihr DataLoader aufgrund eines Metadaten-Engpasses im Leerlauf läuft.
Dieser Abschnitt beschreibt, welches Dateisystem wo auf einem KI-Server der Kentino-Klasse (4–8 GPUs, NVMe-Boot-Laufwerk, NVMe-Scratch-Laufwerk, langsameres Bulk-Tier) platziert werden soll. Ubuntu 22.04 / 24.04, Kernel 6.x.
Die kurze Version
| Einhängepunkt | Arbeitsbelastung | Dateisystem | Warum |
|---|---|---|---|
/ (Boot, Root) |
Betriebssystem, Pakete, Protokolle | ext4 | Langweilig, bewährt, wiederverwertbar |
/scratch (NVMe RAID0) |
Aktive Trainingsfragmente, ephemere Schreibvorgänge | XFS | Durchsatz, parallele Verzeichnis-E/A |
/data (RAID10) |
Trainingsdatensätze, Modell-Checkpoints | XFS oder ZFS | XFS für maximale Geschwindigkeit; ZFS, wenn Snapshots und Prüfsummen gewünscht sind. |
/archive (RAID-Z2/6) |
Abgeschlossene Läufe, Datensatz-Kaltlagerung | ZFS | Komprimierung, Prüfsummen, Snapshots |
/home |
Benutzer-Homes, Notebooks | ext4 | Kleine Dateien, geringe Konflikte |
Kurz gesagt: ext4 für das Betriebssystem, XFS für Hot Scratch, ZFS, wenn die Datenintegrität wichtiger ist als die letzten 10 % des Durchsatzes, kein Btrfs in der Produktion.
ext4 – die langweilige Standardeinstellung, die meistens richtig ist
ext4 ist seit über einem Jahrzehnt der Standarddateityp auf Ubuntu, Debian, Fedora und RHEL. Gut verstanden, wiederherstellbar mit fsck16 TB pro Datei, 1 EB pro Volume. Nichts Aufregendes – genau das ist der Punkt.
Verwenden Sie ext4 für das Root-Verzeichnis (jeder Ubuntu-Live-USB-Stick weiß, wie man das behebt; weitaus weniger wissen, wie man einen ZFS-Pool importiert), für /homeund für VM-Image-Speicher im kleinen bis mittleren Umfang.
Wo ext4 seine Grenzen verliert: bei breiten parallelen E/A- Operationen (das Journal serialisiert Metadatenaktualisierungen – zwanzig DataLoader-Worker auf einem ext4-Volume führen zu einem Engpass im Journal, lange bevor NVMe ausgelastet ist); bei einzelnen riesigen Dateien (wird zwar verarbeitet, aber die Extent-Zuweisung ist für sequentielle Dateien >100 GB weniger benutzerfreundlich als bei XFS – z. B. Trainings-Shards, Checkpoints, Videokorpora); bei Snapshots (nativ nicht verfügbar; LVM Thin Snapshots funktionieren zwar, sind aber umständlich).
mkfs.ext4 -L root /dev/nvme0n1p2
Wenn Sie für eine KI-Workload exotische ext4-Optimierungen vornehmen müssen, haben Sie das falsche Dateisystem gewählt.
XFS – die richtige Antwort für Hot Scratch und Trainingsdaten
XFS war ein SGI-Dateisystem für sequenzielle E/A mit hohem Durchsatz auf großen Arrays. Diese Herkunft passt nahezu perfekt zu KI-Workloads: große Dateien (Trainings-Shards, Parquet-Dateien, Webdaten-TARs, Checkpoints), sequenzielle Lesevorgänge, viele parallele Leser, Toleranz gegenüber der Tatsache, dass „der Workload die Daten neu generiert“.
Was XFS kann, was ext4 nicht kann: Zuteilungsgruppen — Das Volumen teilt sich in 4 bis 32 unabhängige Gruppen auf, die parallel lesen und schreiben, ohne dass eine globale Journalsperre erforderlich ist – genau das, was ein Multi-Worker-DataLoader benötigt; verzögerte und spekulative Vorzuteilung so dass große, aufeinanderfolgende Schreibvorgänge zusammenhängende Bereiche erhalten; keine praktische Dateigrößenbeschränkung (8 EB); und xfs_growfs für eine zuverlässige Einzeiler-Erweiterung nach RAID-Wachstum.
Was es nicht kann: keine nativen Snapshots, keine Prüfsummen für Dateidaten (Metadaten sind seit 2014 CRC-geschützt), kein Shrink – nur Grow.
Eine angemessene mkfs.xfs für ein 8× NVMe RAID0 Scratch-Volume, 64 KiB-Block:
# su = stripe unit = chunk size; sw = number of data disks
mkfs.xfs -f -d su=64k,sw=8 -l size=512m -L scratch /dev/md0
# largeio + swalloc: behave for >1 MB I/O
# allocsize=1g: preallocate aggressively for big sequential writes
# noatime: save a write per read under heavy DataLoader load
mount -o noatime,largeio,swalloc,allocsize=1g /dev/md0 /scratch
noatime und largeio Das ist am wichtigsten. XFS ist bei kleinen Dateien akzeptabel, aber nicht seine Stärke – für Hunderte von Millionen von <16 KB großen Bildern sollte man sie in Webdataset / Parquet / LMDB neu packen, anstatt Swap-Dateisysteme zu verwenden (siehe unten).
ZFS – die richtige Lösung, wenn es auf Datenintegrität, Snapshots oder Komprimierung ankommt.
ZFS ist ein Dateisystem, ein Volumenmanager und eine Software-RAID-Schicht in einem:
- End-to-End-Prüfsummenberechnung. Bitfehler beim Lesen erkannt und stillschweigend durch Redundanz korrigiert. Bei einem 50 TB großen Datensatz, der zwei Jahre lang auf einer herkömmlichen Festplatte gespeichert war, ist dies relevant; bei einem kurzlebigen NVMe-Speicher, der nur sechs Wochen dauert, spielt es keine Rolle.
- Schnappschüsse und Klone. Atomar, COW, praktisch kostenlos. Snapshot vor dem Start, Klon erstellen, zurücksetzen – genau dafür ist ZFS da.
-
Eingebaute Kompression.
lz4Standardmäßig eingeschaltet;zstdfür bessere Komprimierungsraten. Bei Text-/JSON-/Parquet-Daten ist die Komprimierung üblicherweise steigt Der effektive Durchsatz wird erhöht, da die CPU-Kosten geringer sind als die eingesparten E/A-Operationen. - ARC — ein eigener, RAM-basierter Lesecache, getrennt vom Linux-Seitencache. Die berüchtigte Fußfaust.
- Natives RAID-Z — kein mdadm.
Was es für KI nicht gut macht: frisst RAM (Der Standard-ARC beträgt ca. 50 % des Systemspeichers – auf einem 512-GB-Server hat der Kernel plötzlich nicht mehr 256 GB zur Verfügung, und Trainingsprozesse, die Seitencache oder große Seiten erwarten, werden aufgrund von Speichermangel abgebrochen; begrenzen Sie den ARC); nicht der schnellste bei sequenziellen Rohlesevorgängen (ein gut optimiertes XFS auf NVMe RAID0 schlägt ZFS um 15–30 % – Prüfsummen und COW kosten echte Zyklen); ignoriert O_DIRECT (Die gesamte E/A erfolgt konstruktionsbedingt über ARC – für die meisten Arbeitslasten ausreichend, jedoch eine harte Inkompatibilität mit GPUDirect Storage).
ARC-Tuning – der eine Knopf, den Sie einstellen müssen
Bei einer frischen Ubuntu-Installation mit ZFS auf einem 512-GB-System belegt ZFS 256 GB für ARC. zfs_arc_max bei der Installation, nicht erst nach dem ersten Speichermangel.
# Cap ARC at 64 GB. Bytes, not GB. 64 * 1024^3 = 68719476736
echo "options zfs zfs_arc_max=68719476736" | sudo tee /etc/modprobe.d/zfs.conf
echo 68719476736 | sudo tee /sys/module/zfs/parameters/zfs_arc_max # apply now
sudo update-initramfs -u # persist
Faustregel: Der ARC-Speicher sollte auf einem KI-Server auf 10–20 % des Arbeitsspeichers begrenzt werden. Die klassische Dimensionierung „2 GiB Basis + 1 GiB pro TiB“ gilt für Speichersysteme; auf einem KI-Server ist der größte Teil des Arbeitsspeichers für Modellgewichte, Aktivierungen und den Framework-Seitencache reserviert.
Ein sinnvolles ZFS-Layout für die Datenschicht eines KI-Servers
# 8 × 16 TB SAS in two RAID-Z2 vdevs (6+2 each) — two vdevs give 2× IOPS
zpool create -o ashift=12 \
-O compression=zstd -O atime=off -O xattr=sa -O recordsize=1M \
data \
raidz2 /dev/sd[a-h] \
raidz2 /dev/sd[i-p]
# Datasets sized for their workload
zfs create -o recordsize=1M data/datasets # large training shards
zfs create -o recordsize=128k data/checkpoints # mixed size
zfs create -o recordsize=16k data/metadata # small files (json, yaml)
zfs snapshot data/datasets@pre-run-2026-05-14
zfs rollback data/datasets@pre-run-2026-05-14
ashift=12 = 4 KiB Blöcke — Wenn Sie dies bei der Pool-Erstellung falsch machen, können Sie es nicht beheben, ohne den Pool zu zerstören. recordsize=1M für Workloads mit großen Dateien (der Standardwert von 128 KiB ist für Multi-GB-Shards zu klein). xattr=sa Speichert xattrs direkt im Text, deutlich schneller als die Standardmethode.
Btrfs – im Allgemeinen für produktive KI vermeiden
Btrfs bietet die gleichen konzeptionellen Funktionen wie ZFS – COW, Snapshots, Prüfsummen, integriertes RAID. Theoretisch gut; in der Praxis raten wir jedoch von der Verwendung auf Kentino-Servern ab. RAID 5/6 weist bekannte Datenverlust-Bugs auf, die vom Projekt selbst als nicht produktionsreif gekennzeichnet werden (RAID 1/10 sind stabil, Paritätsmodi jedoch nicht). Die Performance verschlechtert sich stark unter der Fragmentierung, die KI-Workloads erzeugen (Gradienten-Checkpoints, Caches). Die Snapshot-Performance bricht ab einigen hundert Snapshots rapide ein, was in einem Workflow pro Experiment innerhalb eines Quartals erreicht wird. Zudem sind die Tools für Replikation, Monitoring und Scrub-Planung weniger ausgereift als bei ZFS oder XFS. Auf einem Laptop mag es funktionieren. Für einen Multi-GPU-Server mit mehreren Terabyte Trainingsdaten empfehlen wir XFS oder ZFS.
RAID-Layouts – welches Dateisystem passt dazu?
| RAID-Level | Anwendungsfall | Redundanz | Notizen |
|---|---|---|---|
| RAID0 | Kratzer (ephemer, regenerierbar) | Keine Präsentation | Nur für Daten, die Sie wiederherstellen können |
| RAID10 | Trainingsdatensätze, Prüfpunkte | 1 pro Spiegel | Optimale Geschwindigkeit und Sicherheit für heiße Daten |
| RAID-Z1 / RAID5 | Für Neubauten vermeiden | 1 Festplatte | Die Wiederherstellungszeiten auf Festplatten mit 16 TB und mehr machen Z1 riskant. |
| RAID-Z2 / RAID6 | Archivierung, Speicherung kalter Datensätze | 2-Festplatten | Die richtige Wahl für große Mengen |
| RAID-Z3 | Weitverzweigte Arrays (12+ Festplatten) | 3-Festplatten | Nur wenn die Arraybreite dies erzwingt |
Bei Festplatten mit 16 TB und mehr kann die Wiederherstellung einer einzelnen Festplatte 24–72 Stunden dauern, und ein zweiter Ausfall auf Festplatten derselben Charge innerhalb dieses Zeitraums ist nicht zu vernachlässigen. Einfache Parität ist nicht mehr die sichere Standardeinstellung. Verwenden Sie Z2/RAID6 oder Spiegelung.
Kleine Dateien im Vergleich zu großen Dateien
Die Frage, die die meisten Menschen mehr beschäftigt als jede Dateisystemwahl: Wie verhält sich Ihr Dateisystem mit 50 Millionen 4-KB-Bildern in einer Verzeichnisstruktur? Die Antwort für jedes hier vorgestellte Dateisystem: schlecht.
Die Metadaten pro Datei (Inode, Dentry, Zeitstempel, erweiterte Attribute) umfassen unabhängig von der Dateigröße 200–500 Byte – 50 Millionen winzige Dateien verbrauchen 10–25 GB Metadaten, bevor ein einziges Byte Pixeldaten gespeichert werden kann. Das Öffnen/Lesen/Schließen-Muster überlastet die Metadaten und blockiert die DataLoader-Prozesse.
Die Lösung liegt nicht im Dateisystem. Speichern Sie kleine Dateien nicht als Dateien. Packe die Daten in Webdatensätze (webdataset / tar / parquet / lmdb / hdf5 / safetensors) und streame sie sequenziell – PyTorch's WebDataset Sowohl NVIDIA als auch DALI erwarten dies. Das Dateisystem erkennt dann eine kleine Anzahl großer Dateien, was jedes hier vorgestellte Dateisystem gut kann. Wenn Sie einzelne Dateien in großem Umfang speichern müssen, ist ZFS mit recordsize=16k und xattr=sa Das ist die am wenigsten schlechte Option, aber die eigentliche Lösung ist Umpacken.
Direct I/O, Seitencache und O_DIRECT
PyTorch nutzt den Linux-Seitencache für wiederholte Datensatz-Epochen – Epoche 1 von der Festplatte, Epochen 2 bis N aus dem RAM. Einige Workloads verwenden O_DIRECT Um den Cache bei großen Lesevorgängen zu umgehen, bei denen die Daten nur einmal verwendet werden, geht NVIDIAs GPUDirect Storage noch einen Schritt weiter und stellt eine direkte DMA-Verbindung zwischen NVMe und GPU her.
ext4 und XFS honor O_DIRECT Korrekt ausgerichtete direkte E/A, kein Seitencache. ZFS ignoriert dies. O_DIRECT (Sämtliche E/A über ARC, systembedingt): Für die meisten Workloads geeignet, jedoch inkompatibel mit GPUDirect Storage. Die Ausrichtung ist wichtig – Puffer und Offset müssen an die Blockgröße des Geräts (typischerweise 4 KB) angepasst sein.
Wenn Sie GPUDirect Storage verwenden möchten, um ein System mit 8 GPUs mit voller Bandbreite zu versorgen, /data Es muss XFS auf NVMe sein. Wenn Sie nicht wissen, was GPUDirect Storage ist und das Training rechenintensiv ist, benötigen Sie es noch nicht.
NVMe-Multipath
Dual-Port U.2 / E1.S NVMe wird als zwei PCIe-Pfade bereitgestellt. Der Linux NVMe-Treiber unterstützt natives Multipath (nvme_core.multipath=Y(Standardeinstellung in modernen Kerneln), ermöglicht Failover und Round-Robin-Lastverteilung. Auf der Dateisystemebene ist es unsichtbar, aber es ist wichtig für Failover (ohne es führt ein Pfad-/HBA-Ausfall dazu, dass das Laufwerk nicht mehr erkannt wird und das Dateisystem abstürzt) und Bandbreite (ein U.2-Laufwerk mit mehreren Pfaden erreicht ca. 14 GB/s gegenüber 7 GB/s mit einem einzelnen Pfad).
cat /sys/module/nvme_core/parameters/multipath # expect: Y
nvme list-subsys
Bei Consumer-Systemen mit M.2 NVMe (5090-Desktop-Grafikkarte) ist Multipath nicht relevant – es wird nur ein Pfad verwendet. Bei Systemen mit 8 EPYC-GPUs und Enterprise-U.2/E1.S-Anschlüssen in einer Dual-Controller-Backplane sollte Multipath aktiviert bleiben.
Prüfsummen-Overhead
| Produktion | CPU-Kosten pro GB, ein Kern | Notizen |
|---|---|---|
| ZFS fletcher4 (Standard) | ~50–100 ms | Standard-Datenblock-Prüfsumme |
| ZFS lz4 compress | ~150–250 ms | Amortisiert sich üblicherweise durch reduzierte E/A-Verhältnisse. |
| ZFS zstd compress | ~400–800 ms | Besseres Verhältnis, höhere Kosten |
| XFS / ext4 (keine Datenprüfsumme) | 0 | Nur Metadaten |
Auf einem 64-Kern-EPYC-Host sind die Kosten nicht vermerkt. Auf einem 16-Kern-Xeon kann ZFS unter Dauerlast 5–10 % der effektiven CPU-Leistung beanspruchen – ob dies relevant ist, hängt davon ab, ob das Training durch die Vorverarbeitung CPU-gebunden ist (häufig ja bei Bildverarbeitung) oder durch die GPU-gebunden (häufig ja bei großen LLMs).
Ehrlich gesagt: ZFS erkennt Bitfehler, die Ihnen sonst erst auffallen würden, wenn Ihr Modell mit leicht beschädigten Daten trainiert wird. Bei einem Datensatz, an dem Sie sechs Monate gearbeitet haben, lohnt sich der Aufwand von 5–10 %. Bei flüchtigen Daten, die Sie wöchentlich neu generieren, hingegen nicht.
NFS für gemeinsam genutzte Datensätze über Clusterknoten hinweg
Sobald Sie mehr als einen Server haben, wird es interessant, wo die Datensätze gespeichert werden. Drei Muster:
- Auf jeden Knoten kopieren. Einfach, verschwendet Kapazität. Geeignet für <1 TB und ≤4 Knoten.
- NFS von einem dedizierten Speicherserver. Eine kanonische Kopie. Das Netzwerk ist der Flaschenhals – mindestens 25 GbE, 100 GbE für das Training mit mehreren Knoten.
- Paralleles Dateisystem (BeeGFS, Lustre, WekaFS). Größere Hubkraft, Skalierung jenseits dessen, wo NFS an seine Grenzen stößt.
Für 1–4 Knoten ist NFS die richtige Wahl. Server: XFS auf RAID10 NVMe, exportiert über NFSv4. Client: Mounten mit nconnect=8 um die Verarbeitung über TCP-Verbindungen hinweg zu parallelisieren.
# Server /etc/exports
/data/shared 10.0.10.0/24(rw,async,no_subtree_check,no_root_squash)
# Client
mount -t nfs -o vers=4.2,nconnect=8,proto=tcp,rsize=1048576,wsize=1048576 \
storage01:/data/shared /mnt/shared
NFS über 100 GbE mit nconnect=8 Es liefert eine kontinuierliche Übertragungsrate von 8–10 GB/s – ausreichend für 16 GPUs bei typischen Bildverarbeitungs- oder LLM-Trainingsvorgängen. Darüber hinaus ist BeeGFS/Lustre ein Thema für sich.
Vollständiges Beispiel: 8-GPU EPYC, 24 NVMe + 8 SAS
2× 480 GB NVMe (boot) → md RAID1 → ext4 → /
8× 7.68 TB NVMe (scratch) → md RAID0 → XFS → /scratch
8× 7.68 TB NVMe (data) → md RAID10 → XFS → /data
8× 16 TB SAS (archive) → 2× RAID-Z2 → ZFS → /archive
ZFS ARC: 64 GB of 512 GB RAM. NVMe multipath: on. NFS export: /data over 100 GbE.
mkfs.ext4 -L root /dev/md0
mkfs.xfs -f -d su=64k,sw=8 -l size=512m -L scratch /dev/md1
mkfs.xfs -f -d su=64k,sw=4 -l size=512m -L data /dev/md2
zpool create -o ashift=12 \
-O compression=zstd -O atime=off -O xattr=sa -O recordsize=1M \
archive raidz2 /dev/sd[a-h]
echo "options zfs zfs_arc_max=68719476736" > /etc/modprobe.d/zfs.conf
update-initramfs -u
Maximaler NVMe-Durchsatz, wo er benötigt wird, Redundanz, wo die Daten unersetzlich sind, und komprimierte, mit Prüfsummen versehene Datenmengen für alle anderen Daten.
Was ist als nächstes zu tun?
Bevor Sie irgendetwas formatieren, beantworten Sie bitte folgende Frage:
-
Größter Datensatz, in Terabyte? Formate
/dataund teilt Ihnen mit, ob Sie eine Archivstufe benötigen. -
Sind Trainingsdaten aus einer verlässlichen Datenquelle regenerierbar? Falls ja, ist RAID 0 als Scratch-Datei ausreichend. Falls nein, mindestens RAID 10, erwägen Sie ZFS.
/data. - Wie viele GPUs lesen gleichzeitig dasselbe Datenvolumen? Ab etwa 8 parallelen DataLoader-Prozessen machen sich die Zuordnungsgruppen von XFS gegenüber ext4 bezahlt.
- Benötigen Sie Schnappschüsse? „Einen Datensatz forken und zurückrollen“ → ZFS. Ansonsten ist XFS schneller und einfacher.
- RAM-Budget und wie viel kann ZFS verarbeiten? Entscheiden Sie vor der Installation, nicht erst nach dem ersten Speichermangel.
Die Wahl des Dateisystems ist zwar nicht die spannendste Entscheidung bei einem KI-Server, aber eine der wenigen, die sich kaum rückgängig machen lässt. Wählen Sie es bewusst, formatieren Sie es einmal und gut ist.
Dies ist ein Auszug aus dem Kentino Wiki, einer Referenzreihe zu KI-Rechenleistung, Datenspeicherung und den dazugehörigen Systemen. Kommentare und Korrekturen sind willkommen unter info@kentino.com.