RDMA in der Praxis + neuer Uplink-Cluster
Vorherige Beschreibung: N ist eine neue RDMA-Topologie ( N02 ), eine bewährte Topologie ( N04 , N05 ). Diese praktische Aufgabe besteht darin, die Software zu installieren, zu öffnen, diese Funktion zu verwenden, GPUDirect zu aktivieren, NCCL zu validieren und das Versprechen zu übernehmen, aber es ist kein Problem, wenn dies der Fall ist.
Vorherige Version von Ubuntu 22.04 oder 24.04, neue Mellanox/NVIDIA ConnectX-5- oder ConnectX-6-Karte mit InfiniBand HDR/NDR, nicht RoCEv2 und Ethernet-Verbindung. Sie haben die Erfahrung gemacht, dass Sie sich auf die Suche nach einem Kentino-Stolic-Test begeben haben, ohne dass Sie sich für den Kentino AI-Cluster entschieden haben.
Eigenschaften: MLNX_OFED, nicht stromaufwärts rdma-core?
| Variante | Was Sie erhalten | Kdy ji zvolit |
|---|---|---|
| MLNX_OFED (neues NVIDIA DOCA-OFED) | Weitere Informationen finden Sie unter NVIDIA, GPUDirect peermem, perftest, mlxconfig | Produzierte KI-Cluster mit ConnectX-6/7 und GPUDirect |
Upstreamový rdma-core + im Baum mlx5
|
Um Ubuntu zu verwenden, müssen Sie es erneut herunterladen | Laborversuche, jeden Tag, ohne GPUDirect, ohne Firmware |
Für Cokoli, die für NCCL-Produkte zuständig sind, wurde MLNX_OFED installiert. Upstreamový mlx5 sice funguje, ale přijdete o mlxconfig, o přibalený perftest a – což je nejdůležitější – o modul nvidia-peermem Auf der anderen Seite wird der Strom von OFED angezeigt.
Installation von Ubuntu 22.04 unter 5.15.x:
tar xf MLNX_OFED_LINUX-*.tgz && cd MLNX_OFED_LINUX-*
sudo ./mlnxofedinstall --add-kernel-support --with-nvmf --force
sudo /etc/init.d/openibd restart && sudo systemctl enable openibd
Schalten --add-kernel-support je zásadní. Wenn ich meine OFED-Prüfung durchführe, wähle ich die DKMS-Prüfung aus – und versichere mir, dass sie den Standard erfüllt mlx5 a nevíte o tom. Der User-Space-Stack ist ein neuer Download dpkg -l | grep -E 'libibverbs|rdma-core|mlnx-ofed'.
Nahoďte linku a ověřte, že karta vidí síť
Sie haben folgendes gelesen:
sudo mst start && mst status # firmware tools
ibstat # port state, width, speed
ibv_devinfo -v # GIDs, max_qp, MTU, hw revision
Zdravý port hlásí State: Active, Physical state: LinkUp, očekávanou hodnotu Rate: (např. 200) a správnou Link layer: (InfiniBand, nebo Ethernet). Zwei Pole, která se běžně přehlédnou:
-
Link layer: InfiniBandvsEthernet. Schließen Sie die ConnectX-Karte anmlxconfig -d /dev/mst/mt4125_pciconf0 set LINK_TYPE_P1=2(1 = IB, 2 = Ethernet). Ich brauche einen Neustart. -
Rate:odpovídá očekávané rychlosti. NDR-Port mit 200 Gbit/s und 100 Gbit/s, je nach Bedarf: Kabel, kein DAC oder Port-Switch, kein Kabelanschluss erforderlich. Wenn Sie mit der Arbeit beginnen, müssen Sie noch mehr Geld ausgeben.
Auf dem neusten RoCE-Server ist die Version v2 verfügbar (v1 mit Ethertype 0x8915, v2 mit UDP/4791 und einem modernen Stack): sudo cma_roce_mode -d mlx5_0 -p 1 -m 2.
Subnetz-Manager (für InfiniBand)
InfiniBand ist kein Ethernet – der Standort ist nicht verfügbar, der Subnetz-Manager (SM) benötigt keine LID. Im Laboratorium befindet sich eine Reihe von Proben sudo apt install opensm && sudo systemctl enable --now opensm. V Produkte können SM-Geräte zum Umschalten verwenden. Zwei Software-SM, které si navzájem konkurují, znameají odpoledne ladění, které nikdo nepotřebuje. RoCE ist ein SM-Gerät, das über einen Ethernet-Server verfügt und RoCE konfiguriert, um QoS auf Switches und Hostservern zu installieren.
Hier sind die RDMA-Pilze: perftest
Ještě před jakýmkoli během NCCL nebo Frameworku prověřte samotné vedení nástrojem perftest. Dva uzly, nejprve server:
# server (node A) # client (node B)
ib_send_bw -d mlx5_0 -F --report_gbits -D 10
ib_send_bw -d mlx5_0 -F --report_gbits -D 10 10.10.1.1
Očekávané hodnoty na čisté síti:
| Linie |
ib_send_bw (velké zprávy) |
ib_send_lat (2 Bajty) |
|---|---|---|
| 100 Gbit/s EDR / 100 Gbit/s RoCE | 95–98 Gbit/s | 1.0–1.5 µs |
| 200 Gbit/s HDR / 200 Gbit/s E RoCE | 188–197 Gbit/s | 0.9–1.3 µs |
| 400 Gbit/s NDR | 370–395 Gbit/s | 0.8–1.1 µs |
Wenn Sie einen Rabatt von 20 % erhalten möchten, müssen Sie NCCL bezahlen. Chyba je v síti. Kontrolujte für alle Pořadí: (1) MTU, (2) PFC und RoCE, (3) Dual-Kabel/Transceiver, (4) Generierung von PCIe und Počet-Line-Pro-Síťovou-Karte, (5) Umstellung auf NUMA-Ramci. Latence pod jednu mikrosekundu je du NDR v rámci racku dosažitelná; 5 µs lang auf der RoCE-Roce-Rozbit-Seite einschalten.
GPUDirect RDMA: Neue DMA-Funktion
Der RDMA- und AI-Cluster ist für viele von uns bekannt und wird von der GPU-Karte auf den Host-Server übertragen. K tomu je potřeba nvidia-peermem (Neues DMA-BUF-Gerät – NVIDIA verfügt über DMA-BUF-Module, die nicht mehr benötigt werden, aber auch über ein stabiles Stack-Produkt verfügen).
sudo modprobe nvidia-peermem
lsmod | grep nvidia_peermem
echo nvidia-peermem | sudo tee /etc/modules-load.d/nvidia-peermem.conf
Da das Modul jedoch nicht verfügbar ist, müssen Sie die API für den RDMA-Peer-Speicher verwenden, um OFED zu erhalten. Installationsfehler: OFED ist nicht verfügbar, NVIDIA ist auf dem neuesten Stand nvidia-peermem — Bitte beachten Sie, dass die OFED-Installation nicht möglich ist.
Diese neue RDMA-Grafikkarte ist die beste für die GPU:
# server # client
ib_write_bw -d mlx5_0 --use_cuda=0 -F --report_gbits -D 10
ib_write_bw -d mlx5_0 --use_cuda=0 -F --report_gbits -D 10 10.10.1.1
--use_cuda=0 Registrieren Sie CUDA auf GPU 0 und RDMA-Puffer. Sie können feststellen, dass die GPUDirect-Funktion nur einen Prozentsatz der von Ihnen verwendeten Hosting-Lösungen enthält. Bis zu 5 Mal, wenn Sie auf der Suche nach Hosting-Paketen sind, sehen Sie, ob ein Problem vorliegt, das nicht mit der PCIe-Topologie verbunden ist, die GPU-Karte ist mit NUMA nicht kompatibel.
MTU und PFC pro RoCE (für alle RoCE-Stützpunkte im Cluster)
RoCEv2 und Ethernet-Verbindung sind jetzt verfügbar:
- Velké MTU po celé trase. Nastavte 9000 na každé síťové kartě, portu switche i na každém směrovači. RoCE wurde von der MTU und dem IB-Stift übernommen und verfügte über eine Ethernet-MTU von 9000 bis 9000 Ethernet-Geräten, darunter RoCE MTU 4096.
- PFC hat Vorrang vor RDMA. Nachdem Sie die Verbindung hergestellt haben, werden die Pakete abgerufen und bereits vorab freigegeben. Mögliche Vorgehensweise: RDMA mit Priorität 3, im Vergleich zu anderen mit Priorität 0.
- Schalten Sie ECN auf den Computer um. ECN ist eine Signalquelle, die PFC hat eine hohe Signalstärke. Většinu práce odvede ECN; PFC wird nicht verwendet, da ECN nicht mehr vorhanden ist.
Na straně hostitele pomocí mlnx_qos:
sudo mlnx_qos -i enp1s0f0 --pfc 0,0,0,1,0,0,0,0 # PFC on prio 3
sudo mlnx_qos -i enp1s0f0 --trust dscp
echo 106 | sudo tee /sys/class/infiniband/mlx5_0/tc/1/traffic_class
DSCP (26) und PFC (3) sind vorrangig auf dem Markt. Wenn Sie auf die Musikauswahl umschalten: PFC auf Priorität 3 einstellen, ECN auf der Vorderseite deaktivieren, Konfigurationspuffer löschen und auf den BDP-Link zugreifen.
Wechseln Sie jetzt zu den RoCE-Dokumenten (NVIDIA Spectrum, Arista, Cisco Nexus 9000) und verwenden Sie diese. Die Konfiguration von PFC auf einer Whitebox mit Broadcom-Produkten hat sich bewährt und ist für die Installation eines Projekts geeignet. Dělali jsme to. Nedoporučujeme zu.
DCQCN (Data Center Quantized Congestion Notification) ist ein regulärer Dienst, der PFC an die ECN-Sendung sendet: ECN sendet Datenpakete und Daten, die an der Front gesendet werden müssen, bevor CNP an die Schnittstelle weitergeleitet wird zrychlí. PFC ist für den Einsatz von DCQCN-Geräten zuständig. Das moderne ConnectX-6/7-Firmware-Gerät wurde vor 4.16.16 Tagen mit einem sehr guten WLAN-Zugang ausgestattet. Laden (Alpha, Cílová Rychlost, Prahy v Bajtech a časovačích) Je hrou pro ty, kdo provozují takové měřítko, kde 0,5 % u operace allreduce stojí za dva týdny práce.
NCCL: Proměnné, na kterých záleží
NCCL wurde mit RDMA ausgestattet, das für PyTorch, JAX, DeepSpeed und paralleles vLLM zum Einsatz kommt. Dies geschieht automatisch. In einem von Ihnen erstellten Skript werden Sie aufgefordert, die gewünschten Ergebnisse zu erzielen:
| Proměnná | Was er macht | Kdy ji nastavit |
|---|---|---|
NCCL_IB_DISABLE |
1 vynutí TCP sokety místo IB/RoCE |
Pouze při ladění |
NCCL_SOCKET_IFNAME |
Rozhraní pro Bootstrap NCCL (Nicoli pro datovou cestu) | Vždy – Ich habe meine Management-Karte erstellt, indem ich Bootstrap Nepal oder RDMA installiert habe |
NCCL_IB_HCA |
Které HCA hat NCCL für seine Daten ausgewählt | Die meisten Karten werden automatisch angezeigt |
NCCL_NET_GDR_LEVEL |
Jak agresivně využívat GPUDirect RDMA mit PCIe-Topologie |
PIX/PHB Außerdem ist die KDE-GPU ein neuer PCIe-Switch mit NUMA-Karte |
Die Funktion des Clusters besteht darin, die GPU auf der Tastatur zu verwenden:
export NCCL_SOCKET_IFNAME=eno1 # 1 GbE management network
export NCCL_IB_HCA=mlx5_0,mlx5_1 # both RDMA NICs
export NCCL_IB_GID_INDEX=3 # RoCE v2 GID
export NCCL_NET_GDR_LEVEL=PHB
export NCCL_DEBUG=INFO # one-shot, then drop to WARN
mpirun -np 16 -N 4 --hostfile hosts -x NCCL_SOCKET_IFNAME \
-x NCCL_IB_HCA -x NCCL_IB_GID_INDEX -x NCCL_NET_GDR_LEVEL \
-x NCCL_DEBUG ./build/all_reduce_perf -b 8 -e 8G -f 2 -g 1
Ausgabe NCCL_DEBUG=INFO Es ist mir wichtig, dass ich mich um eine Person kümmere. Řekne vám, jaký transport NCCL zvolilo (Channel ... via NET/IB/0 GDR) für den Rang eines Kanals. Pokud se kdekoli object via NET/Socket, cesta přes RDMA se nepoužívá – netestovali jste to, co si myslíte.
Validace nástrojem nccl-tests
nccl-tests Die meisten Stapel – OFED, PEERMem, NCCL und andere – sind von Vorteil. Číslo, na kterém záleží, je propustnost sběrnice (busbw), nikoli propustnost algorithmus (algbw). Die Wahrscheinlichkeit ist groß, dass der Strom normalisiert wird, bevor Sie Ihre Karte mit der Zeit verbinden, die Sie benötigen.
| Velikost clusteru | Očekávaná busbw u allreduce (vielké zprávy) |
|---|---|
| 1 Uzel, 4 GPUs über NVLink | 200–400 GB/s |
| 1 Uzel, 8 GPUs über NVLink | 250–500 GB/s |
| 2 UZLY, 4 GPU, 200 GbE RDMA | 20–24 GB/s |
| 4 Uzly, 4 GPU, 200 GbE RDMA + GDR | 20–22 GB/s |
Allreduce bedeutet, dass die einzelnen Elemente auf der linken Seite der Karte angezeigt werden (allreduce kann nur dann verwendet werden, wenn ein neuer Rang erreicht wird). 200 Gbit/s ≈ 25 GB/s; Der Name „22 GB/s“ liegt bei mir. Wenn Sie zwei Mal 5x gedrückt haben, müssen Sie RDMA verwenden. Přečtěte si výstup NCCL_DEBUG=INFO.
Hier ist der Link zum Cluster
Sie müssen sich keine Sorgen machen , dass die GPU-Verbindung besteht. Wenn Sie einen Uplink -Cluster haben, ist dies nicht der Fall . Špatně navržený uplink potkáváme neustále.
Der neuseeländische Cluster Kentino AI hat folgende Ziele:
- Firemní síť / WAN – Registrierungsmodell, aktualisierter Datensatz (S3, NFS, MinIO), Git, Registrierungskonten, Telemetrie.
- Workstationy vývojářů – Wenn Sie über SSH Zugriff haben, die Verbindung herstellen, den Checkpoint von der Festplatte kopieren und Jupyter verwenden.
- Další clustery — druhý tréninkový Cluster, inferenční Cluster, Cluster für CI und Evaluierung.
Výpočet propustnosti
Bis zu 4 Tage pro Jahr sind 22 GB/s Allreduce-Rhythmus verfügbar, der interne Speicher ist jedoch nicht mit 700 Gb/s provoziert. Samotný uplink tomu odpovídat nemusí. Musí odpovídat rychlosti načítání dat :
- 4 Einheiten × 4 GPU × 1 GB/s pro GPU (obrazový či video model) = 16 GB/s ≈ 128 Gb/s trvalého čtení z objektového úložiště.
- Bevor Sie LLM mit Token-Texten versehen, sind mehrere Monate erforderlich – 1–4 Gbit/s, ein Token-Prototyp, der nur wenige Tage nach der Zahlung benötigt wird.
- Jetzt, da ich noch nicht einmal an einem Checkpoint bin, habe ich nur ein paar Sekunden lang ein 40-Gbit/s-Paket mit nur einem einzigen Datenträger erhalten.
| Arbeitsbelastung | Trvalé načítání | Spitze | Uplink |
|---|---|---|---|
| Předtrénování LLM (tokenizovaný text) | 1–4 Gbit/s | 20 Gb / s | 25 GbE |
| Trénink obrazových ein Videomodellů | 50–150 Gbit/s | 200 Gb / s | 2× 100 GbE vs. LAG nebo 1× 200 GbE |
| Doladění / RLHF s přehazováním checkpointů | 5–20 Gbit/s | 50 Gb / s | 25–100 GbE |
| Schlussfolgerungen aus dem Load-Balancer-Cluster | 5–50 Gbit/s | závisí na modelu | 25–100 GbE |
Preis: 40.000 € für Uplink 400 GbE pro Jahr, der interne Standort beträgt mehr als 400 GbE. Špatné měřítko. Es ist wichtig, dass Sie Ihren Datensatz gelöscht haben. Postavili jsme čtyřuzlové Clustery s Uplinkem 25 GbE, které týdny jely naplno na tokenizovaných datech for LLM.
Souhrnná versus přidělená propustnost
Es handelt sich um eine 100-GbE-Karte mit maximaler Kapazität von 400 Gb/s . Tato kapacita se ale přiděluje po tocích, nesdílí se v jednom fundu. Jeder TCP spojení mezi dvěma IP-Adresse, die je nach Karte verwendet wird – sie benötigt 100 Gb/s. ECMP hat eine Reihe von Daten erstellt, die in den letzten 20 Jahren auf den Markt kamen.
-
Allreduce Bevor Sie mehrere Kanäle gleichzeitig nutzen, ist jeder Kanal für Sie geöffnet. NCCL ist ein Muttersprachler auf der ganzen Welt (
NCCL_IB_HCAs oběma uvedenými). Pro NCCL verfügt über 4× 100 GbE mit praktisch 400 Gbit/s. - Jediný datový stolz datasetu (jeden HTTP GET stahující 1TB shard) Ich bin jeden Tag dabei. 4× 100 GbE mit 100 Gb/s, weniger als 400. Wenn Sie sich die Zeit genommen haben, muss der parallele Datenlader installiert sein – mit DALI, WebDataset und dem Streaming von MosaicML als Basis.
Oddělení sítí
- 100/200/400 GbE RoCE nebo InfiniBand HDR/NDR
- NCCL, Datensatzdatensatz, Checkpoint-Zählung
- Bezeztrátová, PFC/ECN, vyhrazené switche
- Sterilní – žádný provoz mimo AI
- 1 GbE oder 10 GbE
- SSH, Prometheus, NTP, Syslog, IPMI/BMC
- Neue Switches, standardmäßige L2/L3, zwei zusätzliche QoS
- Funguje vždy, i když datová síť leží
Provozujte vždy dvě sítě. Die Verwaltung ist nicht mit allen Funktionen verbunden, die auf dem Server installiert sind – nachdem Sie die SSH-Verbindung hergestellt haben, müssen Sie die RDMA-Verbindung herstellen.
Management rovina není volitelná. Wählen Sie diese Option aus – ein Transceiver, ein PFC-Schalter, ein Schalter – dieser wird über SSH aktiviert und an den angeschlossenen Standort angeschlossen. Laden Sie RoCE auf der linken Seite herunter, bevor Sie die Verbindung herstellen, und klicken Sie dann auf die Seite, bevor Sie sie öffnen. Patří sem i IPMI/BMC a NTP; Für viele Menschen ist es wichtig, dass sie keinen Farbverlauf haben.
BGP nicht nummeriert pro směrovanou Clos topologii
Über 8 Jahre altes Leaf-Spine-System mit L2-Bolzen – Limity Spanning Tree, MAC-Tabelle, Übertragung über mehrere native Multipfade. Die moderne Lösung ist eine geschlossene L3-Topologie: Die Leaf-Spine-Verbindung ist nicht nummeriert, BGP wird nicht von ECMP übertragen, sondern von einem Spine-Proxy.
BGP nicht nummerierte Adressen werden an die Link-Local-Adresse IPv6 weitergeleitet, dies ist jedoch nicht der Fall, da die Evidenci-Seite /31 für die Link-Local-Adresse geeignet ist. Leaf s FRRouting unter Linux
router bgp 65001
neighbor swp1 interface remote-as external
neighbor swp2 interface remote-as external
address-family ipv4 unicast
network 10.1.1.0/24
redistribute connected
Die Blatt- und Spine-Funktion wurde von AS übernommen, eBGP wurde in den ECMP-Loopback-Modus integriert und auf die Spine-Funktion übertragen. Siehe RFC 7938; Nicht nummerierte BGP-Geräte mit Cumulus/NVIDIA, Arista, Cisco und Juniper. U 4 uzlů stačí jediný switch. Bei 8 bis 16 Monaten ist die Topologie des Geräts geschlossen. Nad 16 uzlů jedinou rozumnou odpovědí.
Propojení s dalšími Clustery
Es ist nicht erforderlich, den Cluster auf die RDMA-Seite zu schließen. Trénink znamená obrovské nárazové operace allreduce, inference ustálený tok malých zpráv; Die Bereitstellung von QoS ist für die nächsten drei Monate erforderlich. Nachdem Sie eine ungewöhnliche Website gefunden haben, können Sie sie auf L3-Geräte mit IP-Routing-Funktionalität anwenden. Řídicí provoz mezi Clustery – Fronty úloh, odesílání logů, přenos artefaktů – Jeder Ort, an dem die Verwaltung stattfinden soll, ist nicht in der Lage, Ethernet-Verbindungen mit Mezi Clustery herzustellen. Soubor s vahami modelu o 70B parametrech má zhruba 140 GB, checkpoint dvojnásobek. Für 25 GbE dauert es 90 Sekunden, für 100 GbE 22 Sekunden. Sie können Ihre eigene Variante wählen.
Co dělat dál
Neues Postup zum Schutz von RDMA im neuen Cluster:
-
Bitte überprüfen Sie den Link, bevor Sie die Verbindung herstellen. Starte es
ibstatna každém uzlu. Mehr Informationen, mehr MTU, mehr Link. Dejtingsajte dejtingsajt dejta nátí nát, níž sáhnete na software. -
Nainstalujte MLNX_OFED, nejen
rdma-core, Ich habe GPUDirect in der Nähe von NCCL. Sestavení OFED musí odpovídat běžícímu jádru. -
Starte es
perftestmezi každou dvojicí uzlů Ještě předtím, než sáhnete na Frameworky. Mindestens 5 % der theoretischen Maxima = zdravý stav. Cokoli pod tím = zastavte a opravte. -
Načtěte
nvidia-peermema ověřte jej pomocíib_write_bw --use_cuda=0. Výsledek by měl odpovídat variantě s hostitelskou pamětí. - Konfiguriert PFC, ECN und DCQCN, pokud jste na RoCE. Na InfiniBandu tento krok vůbec neexistuje; Um ein zweites Kind zu haben, werde ich IB lesen.
-
Starte es
nccl-testsAllreduce mit 2 Stück, Paket mit 4 und Paket mit 8. Bevor Sie ein Projekt starten, können Sie die Cluster-Funktion nutzenNCCL_DEBUG=INFO. Ověřte, že se objevíNET/IB ... GDR. - Oddělte sítě. Management mit 1/10 GbE. Daten auf RDMA-Website. Nesdílejte je.
- Uplink-Dimensionen können zu neuen Datenmengen führen, nikoli podle rychlosti interní sítě. Většina-Clusterů-Pořebuje-podstatně-méně-externí-propustnosti, než má.
- Vor 8 Jahren ist die Anzahl der Clos topologii s BGP nicht nummeriert. Pod 8 uzly stačí jediný switch.
Navazující články v řadě N rozebírají latenci ( N06 ) und složitost směrování ( N07 ) – právě tam najdete ladění DCQCN a pathologie hashování v ECMP. Die von K erstellten Distribuovaným Tréninkem (K02), Inferencími Clustery (K03) und Úložišti (K04) – eine Reihe von Vorgängen, deren RDMA-Stack sich auf der letzten Stufe unserer Pilze befindet.
Alles, was ich suche, ist Kentino Wiki, eine Reihe von Referenzen für KI-Systeme, die von mir entwickelt wurden. Bitte kontaktieren Sie uns unter info@kentino.com.