Laden Sie den Linux-Server für den AI-Server herunter: Mit dem Browser

Die neuesten Ubuntu-Stacks mit HWE 6.8 und 6.11 sind für 80 % AI-Workload ausgelegt. Der Preis liegt bei 20 % – EPYC unterstützt die GPU, vLLM-Serving-Stroj und kann mit einem Limit belegt werden vm.max_map_count, kein Inferenzserver, die Latenzzeit wird von mehreren C-Stack-CPUs verwendet.

Als ich das „Linux-Pro-KI-Laden“ besuchte, wurden die Daten aus dem Jahr 2015 wiederverwertet und es gab keine Inferenzverzögerungen. Ich habe noch nicht einmal die Möglichkeit, eine neue Version von Kentino AI (4–8 GPUs auf Xeon oder EPYC, Ubuntu 22.04 / 24.04, mehr als 6.x) zu verwenden. Vorab wurde der CUDA-Stack von L01 bis L02 installiert.

Poctivá hierarchie přínosů

Sehen Sie sich die Systemeinstellungen an, klicken Sie dann, oder klicken Sie auf die Schaltfläche:

Ändern Typische Přínos für Schlussfolgerungen/Übungen
NUMA-fähiger Umístění-Prozess 10–30 % auf vícesoketových strojích
Governor CPU performance (z powersave) 5–15 % pro Portion, kein TTFT
Vypnutí hlubokých C-stavů Mikrosekundenzähler für P99, +30–50 W im Leerlauf/Steckdose
THP nastavené na madvise 1–5 % bei PyTorchi
vm.max_map_count, ulimit -n Zabrání pádu serviert vrstvy pod zátěží
Der IRQ ist auf die lokale NUMA-Karte beschränkt 5–15 % auf der DataLoader-/RDMA-Basis
Dimenzování TCP bufferů (rmem_max, wmem_max) Zweimal mehr als >25GbE-Streaming/Streaming
Alles andere 0–3 %, často jen šum

Wenn Sie möchten, dass Sie eine bestimmte Zeit haben, müssen Sie die NUMA-Regler-CPU verwenden. Wenn Sie nicht wissen, wo Sie sind, müssen Sie sich noch einmal umsehen.

Gouverneur CPU: nejlevnějších 5–15 %

Ubuntu ist sehr beliebt powersave (intel_pstate) nebo ondemand (acpi_cpufreq) weitere Informationen. Die Taktfrequenz beträgt 5–15 % und die TTFT-Inferenz beträgt 5 bis 15 %, während die CPU-Umgebung die Weiterleitung an vLLM vornimmt – Tokenisierung, Planung, Sampling-Protokollierung.

Na serving stroji nastavte performance a zapomeňte na to:

sudo apt install -y cpufrequtils
echo 'GOVERNOR="performance"' | sudo tee /etc/default/cpufrequtils
sudo systemctl restart cpufrequtils

# Verify
for c in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do cat $c; done | sort -u

Na EPYC Genua / Turin mit 6.5+ weiteren Ergebnissen amd-pstate Regler acpi-cpufreq. Stejný princip, nastavte scaling_governor na performance. Novější režim amd-pstate-epp udržuje výkon a zároveň umožňuje boostování jednotlivých jader; EVP nechte na performance, nicht auf balance_performance.

Leistung: Bis zu 100 % GPU-Auslastung wird durch den Prozessor erreicht, der jedoch nicht mehr funktioniert. Nachdem Sie Ihren Inferenzserver gelesen haben, haben Sie die Möglichkeit, Ihre Musik zu lesen.

NUMA: Rozdíl mezi rychlým a průměrným EPYC strojem

Ihr Xeonem-Server ist nicht EPYC, sondern ist mit jedem NUMA-Server ausgestattet, der sich in der Nähe befindet. Těch 10–30 % wird auf der doppelten Strojů skryvá.

Ein neuer vLLM-Worker wurde auf den Server 0 eingestellt, bevor die Seitenfehler auf dem Server 1 auftraten – bis zu 100 % auf dem UPI/Infinity Fabric-Server. Wenn Ihr GB-Modell nicht mehr funktioniert, müssen Sie ein Token kaufen, das Sie nicht mehr benötigen.

Zkontrolujte:

numactl --hardware                            # node count, sizes, distance matrix
nvidia-smi topo -m                            # GPU↔CPU NUMA affinity
cat /sys/class/net/<iface>/device/numa_node   # NIC NUMA affinity

Vzorec, který chcete – ein který NCCL detektiert automatisch – je GPU N připnuté k NUMA uzlu hostujícímu jeho PCIe root complex, no k druhému soketu. Der folgende Inferenzprozess wird mit der CPU- und Prozessorumgebung durchgeführt:

# vLLM on a 2-socket EPYC, GPUs 0–3 on NUMA node 0
numactl --cpunodebind=0 --membind=0 \
  python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.3-70B-Instruct --tensor-parallel-size 4

Dva související parametry:

  • kernel.numa_balancing Migrieren Sie die CPU, ohne sie zu verwenden. Um die Arbeitslast zu erhöhen, müssen Sie sich mit der Produktivität zufrieden geben: Vorabausfüllen des Projekts, bevor Sie mit der Arbeit beginnen, wenn Sie nicht mehr arbeiten können. Ve výchozím stavu nechte zapnuté (1); pokud jitter koreluje s numa_pte_updates v /proc/vmstat, versuchen sysctl kernel.numa_balancing=0.
  • NCCL na dvousoketu — nastavte NCCL_SOCKET_IFNAME na management NIC a NCCL_IB_HCA Auf der NIC befindet sich eine NUMA- oder GPU-Karte. Der NIC-Status ist für die meisten Benutzer geeignet.

Jednosoketový server EPYC 9004/9005: celou tuto sekci ignorujte.

Transparente Riesenseiten: madvisewas always

THP verfügt über eine Kapazität von 4 KB bis 2 MB und ist mit TLB kompatibel. PyTorch und CUDA haben mir viele Vorteile gebracht. Vorbei je režim always Die Geschwindigkeitsschwankungen betragen 50 bis 100 ms und die Geschwindigkeit beträgt 50 bis 100 ms.

Správné nastavení je madvise: Anwendung, které vědí, co dělají, zavolají nad dlouhožijícími alokacemi madvise(MADV_HUGEPAGE) ein THP-Dostanou; nic jiného ne. Nastavíte přes /etc/default/grub:

GRUB_CMDLINE_LINUX_DEFAULT="... transparent_hugepage=madvise"

update-grub && reboot. Defragmentieren durch měl odpovídat — defer+madvise nechá kompakci běžet na pozadí, nikoli v cestě alokujícího vlákna:

echo defer+madvise | sudo tee /sys/kernel/mm/transparent_hugepage/defrag

Pro vLLM / SGLang / TensorRT-LLM sind Produkte madvise správná výchozí volba. PyTorch s CUDA Unified Memory (mehrere Dateien) werden von uns heruntergeladen always — před přepnutím si to změřte.

Explizite 1 GB große Seiten: jen pokud jste měřili

Ausdrückliche Reservation von Hugepages vor dem Booten hugetlbfs Bevor Sie die LLM-Schule besuchen, müssen Sie sich die Zeit nehmen, bevor Sie TLB besuchen. Bitte beachten Sie, dass die Reservierung vor dem Kauf eines Computer-Systems nur 1–3 % beträgt.

GRUB_CMDLINE_LINUX_DEFAULT="... default_hugepagesz=1G hugepagesz=1G hugepages=64"

Wenn Sie sich die TensorRT-LLM-Funktion ansehen, muss die KDE-Engine die Dateien an den TTFT-Prozentsatz geheftet haben. Nevyplatí ist Ihr bester vLLM-Server, hat ein neues Modell erstellt und ist auf der Suche nach neuen Methoden. Při prvním buildu je přeskočte; Sie werden es nicht wissen, jenseits der Wahrheit perf stat -e dTLB-load-misses Klicken Sie auf TLB und dann auf RAM.

vm.max_map_count a nofile: zdi, kterých vLLM při škálování naráží

Standard vm.max_map_count Ich bin auf Ubuntu 65530 – Sie haben die Möglichkeit, eine Karte zu erstellen, und müssen dann Ihre Dateien bearbeiten. Das vLLM-Modell ist mit einem sehr hohen Grad an Sicherheit ausgestattet, das Framework ist jedoch nicht mit mehreren Sicherheitskomponenten ausgestattet, die auf dem Markt erhältlich sind mmap, Tuto hranici překročí a spadne s Cannot allocate memory. Der Eintrag 262144 für Elasticsearch erfordert ein Minimum. Für vLLM-Tests mit 70B+ werden nur wenige Sekunden auf 1048576 übertragen. Jetzt noch nicht verfügbar – entweder Soft-Limit, keine Reservierung.

Standard ulimit -n Ich bin auf Ubuntu 1024. Komicky mehr: vLLM, Triton, PyTorch DataLoader, NCCL und gRPC sind meine neuen Lieblings-FDs. Jakmile narazíte na limit, dostanete EMFILE: too many open files Ein Prozess, který se tiše zasekne.

# /etc/sysctl.d/99-ai-server.conf
vm.max_map_count = 1048576

# /etc/security/limits.d/99-ai-server.conf
*    soft    nofile  1048576
*    hard    nofile  1048576

# /etc/systemd/system.conf.d/99-limits.conf
[Manager]
DefaultLimitNOFILE=1048576

sudo sysctl --system a systemctl daemon-reexec. Ověřte přes ulimit -n a cat /proc/<pid>/limits.

IRQ-Funktion: Zugriff auf NIC auf lokaler CPU erforderlich

Mit 100GbE NIC ConnectX-6/7, mit 10+ GB/s Stream-Datensatz ohne RDMA-Unterstützung, müssen Sie die CPU (a) auf der NUMA-Karte mit der NIC a (b) nicht auf dem neuesten Stand halten, dann arbeiten Sie mit DataLoader. Výchozí irqbalance si vede obstojně; pod velkou zátěží už ne.

Es ist kein Skript erforderlich set_irq_affinity.sh od Mellanoxu z balíčku mlnx-tools:

sudo systemctl disable --now irqbalance
sudo /usr/sbin/set_irq_affinity.sh enp1s0f0                  # all NIC-local cores
sudo /usr/sbin/set_irq_affinity_cpulist.sh 4-11 enp1s0f0     # pin to specific cores

Chyba je nechat běžet irqbalance Na stroji, kde jste zároveň pinovali ručně – perou se spolu. Vyberte si jedno. Serving stroj s jednou nebo dvěma RDMA NIC: pinujte ručně a vypněte irqbalance. Univerzální stroj s mnoha rozhraními: nechte irqbalance zapnutý s --banirq pro vyloučení kritiské NIC.

Síťové buffery jádra: jen pro rychlé úložiště / Streaming

Auf Ihrem neuen Inferenzserver erhalten Sie eine Verbindung mit TCP-Clients auf mehreren Servern net.core.rmem_max / wmem_max o velikosti 208 KB stačí. Sie müssen die Daten auf dem 100GbE NFS-Niveau-Objektspeicher speichern, und das vLLM-Frontend muss für den Lastausgleich mit einem RPS-Gerät verwendet werden, um Ihr Bandbreitenverzögerungsprodukt zu optimieren. Weitere Vorteile für 100 GbE-Strecken:

# /etc/sysctl.d/99-ai-network.conf
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456
net.ipv4.tcp_rmem = 4096 87380 268435456
net.ipv4.tcp_wmem = 4096 65536 268435456
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 65535

Maximal 256 MB pro 100-GbE-Rack-Speicher (BDP ca. 1.25 MB), aber nicht automatisch geladener TCP-Puffer, je nach Speicherkapazität. RDMA (RoCE / IB) ist eine neue Art von Parametrierung – RDMA unterstützt den TCP-Stack. Profi-Management, NFS hat ein neues Modell entwickelt und ist damit nicht mehr zufrieden.

C-Stab: Latenz versus klidová spotřeba

Die CPU-Latenz wird durch die hohe Latenz der C-Stufe beeinträchtigt. Klicken Sie auf C6 und klicken Sie auf die gewünschte Mikrosekunde. Bei einer Verzögerung von etwa 30 ms ist die CPU-Prüfung mit der C6-Kernabtastung verbunden, bei der kein Jitter auftritt.

GRUB_CMDLINE_LINUX_DEFAULT="... intel_idle.max_cstate=1 processor.max_cstate=1"

update-grub && reboot. Ověřte přes cpupower idle-info — k dispozici by mely byt jen C0 a C1. Preis: 30–50 W Glühlampe an der Steckdose, protože jádra nikdy nepřejdou do hlubokého spanku. Der Server verfügt über eine GPU mit einer Leistung von 60–100 W und einer Leistung von 3.5–4.5 kW.

Sie können Ihren öffentlichen Inferenzserver als Echtzeit-Robotertest nutzen. Stellen Sie sicher, dass Sie die Spannung (Latenzzeit wird nicht erreicht, kleben Sie den Fleck auf, wenn Sie sich auf den Weg machen) bis zum nächsten Tag.

Laden Sie das gesamte System herunter (bei L04)

Zweimal ist das System leer fs.*:

fs.aio-max-nr = 1048576              # default 65536 too low for vLLM weight loaders
fs.inotify.max_user_watches = 524288 # tooling that watches checkpoint dirs

fs.aio-max-nr Ich habe zehn Jahre zuvor gearbeitet – ein Framework zur Bereitstellung asynchroner E/A-Module mit mehreren Shards (DALI, vLLM-Verbindung) und einem sehr guten Modell von 65536. Es handelt sich um ein neues System (XFS vs. ZFS vs. ext4), Parametrierung und Semantik O_DIRECT jsou tématem L04.

Vypnutí nepotřebných modulů jádra

Die Bereitstellung von Bluetooth-, Bluetooth-, WLAN-, Webcam-, Joystick- und Joystick-Modulen ist nicht möglich. Es ist nicht möglich, dass Sie Ihren Computer mit einem Klick auf den Computer verbinden. Jednotlivě triviální; dohromady se o čistším stroji lépe přemýšlí.

# /etc/modprobe.d/blacklist-ai-server.conf
blacklist bluetooth
blacklist btusb
blacklist snd_hda_intel
blacklist uvcvideo
blacklist joydev

# Plus
sudo systemctl disable --now bluetooth.service cups.service avahi-daemon.service \
                              ModemManager.service whoopsie.service apport.service

Booten Sie, bis Ihr typischer EPYC-Build etwa 30 bis 10 Sekunden dauert lsmod se dá číst. Nulový dopad na výkon inference, mírné zmenšení útočné plochy.

DVA-Profil: Schlussfolgerung versus Trenink

Tvar ladění se skutečně liší. Náčrty k přímému použití:

Schlussfolgerung (/etc/sysctl.d/99-ai-inference.conf)

vm.max_map_count = 1048576
vm.swappiness = 1
vm.overcommit_memory = 1
kernel.numa_balancing = 1
fs.aio-max-nr = 1048576
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456
net.ipv4.tcp_rmem = 4096 87380 268435456
net.ipv4.tcp_wmem = 4096 65536 268435456
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 65535

Navigieren Sie zu Ihrem Ziel: transparent_hugepage=madvise intel_idle.max_cstate=1 processor.max_cstate=1Gouverneur: performance. IRQ NIC-Verbindung zur NUMA-Netzwerkkarte, irqbalance vypnutý.

Trénink (/etc/sysctl.d/99-ai-training.conf)

vm.max_map_count = 1048576
vm.swappiness = 1
vm.overcommit_memory = 1
kernel.numa_balancing = 0       # page migration mid-epoch is just churn
fs.aio-max-nr = 1048576
fs.inotify.max_user_watches = 524288
net.core.rmem_max = 536870912
net.core.wmem_max = 536870912
net.ipv4.tcp_rmem = 4096 131072 536870912
net.ipv4.tcp_wmem = 4096 131072 536870912

Příkazový řádek jádra: transparent_hugepage=madvise (Vynechte pinování C-stavů – trénink je omezený propustností a klidová spotřeba se za týdny nasčítá). Gouverneur: performance, pokud na to máte energetische rozpočet. NCCL ist auf lokale NUMA-Dienste angewiesen NCCL_IB_HCA.

Vorbei an „všechno jsem vyladil a je to pomalejší“

Nachdem Sie die Cargo-Cult-Version ausgewählt haben, klicken Sie auf das Blog-System, starten Sie es neu, klicken Sie auf „Neustart“, klicken Sie auf „Neu starten“, und klicken Sie auf „Neustart“. Postup, který funguje:

  1. Změřte výchozí stav — nccl-tests all_reduce_perf, vLLM benchmark_throughput.py, čas trénovacího kroku. Čísla si zapište.
  2. Změňte jednu věc.
  3. Spusťte stejný benchmark znovu, třikrát kvůli šumu.
  4. Nechte, ich glaube, es ist kein Problem. Jinak vraťte zpět.
  5. Bevor Sie ein neues Dokument erstellen und das System aktualisieren, müssen Sie das System überprüfen.

Die Anzahl der installierten Produkte beträgt 40 Tage, bis 2 % des Ubuntu-Kontos verfügbar sind ladění pomáhá“.

Werkzeug tuned 2.27 von Red Hatu ist ein beliebtes Profil ai-inference a ai-training Von RHEL / Rocky bis hin zu seriózní zkratka. Ubuntu ist nicht verfügbar; apt install tuned funguje, ale je méně dotažený. Auf Ubuntu kann Drop-in installiert werden /etc/sysctl.d/ Als ich mich auf den Weg machte, hörte ich GRUbu erst einmal, bevor ich ihn besuchte, und dann ging es los.

Co dělat dál

Rozumná posloupnost ladění jádra pro čerstvý build Kentino AI, podle priorität:

  1. Nastavte governor CPU na performance. Ověřte přes cpupower frequency-info. Největší výhra zdarma.
  2. Starte es numactl --hardware a nvidia-smi topo -m. Než cokoli připnete, pochopte topologii. Wenn Sie einen Computer verwenden, wird der GPU-Speicher aktiviert und die NUMA-Schnittstelle aktiviert.
  3. Aufstellen vm.max_map_count a nofile Grenzen. Ty zabraňují selháním, ne pomalosti. Bevor Sie ein Produkt herstellen, ist dies nicht der Fall.
  4. Aufstellen transparent_hugepage=madvise na příkazovém řádku jádra.
  5. Připněte IRQ NIC k lokálnímu NUMA uzlu dané NIC pomocí set_irq_affinity.sh. Vypněte irqbalance, pokud jste tak učinili.
  6. Pouze pro inference stroje: Vypněte hluboké C-stavy přes intel_idle.max_cstate=1 processor.max_cstate=1.
  7. Vyladěte síťové buffery Jener hat gerade den Namen eines 25/100GbE-Hardware-Geräts verwendet, das kein Streaming erfordert.
  8. Geben Sie explizit 1 GB große Seiten an, pokud nemáte benchmark ukazující tlak na TLB.
  9. Před každou změnou i po ní měřte. Vždy jednu věc. Dokumentujte.

Auswahlmöglichkeiten : L01 ist ein CUDA-/Konten-Stack, L04 ist ein neues System , L05 ist eine Überwachung.

Wenn Sie ein modernes Linux-Gerät benötigen, müssen Sie es konfigurieren und nicht optimal konfigurieren. Nastavte správně Gouverneur, umístění NUMA eine Grenze. Zbytek přeskočte, pokud Váš benchmark neříká jinak.


Alles, was ich suche, ist Kentino Wiki, eine Referenzreihe zu KI-Technologie, Robotik und System, die ich vorgeschlagen habe. Kommentieren Sie uns bitte unter info@kentino.com.