Jeder Knoten ist mit der GPU vs. dem Knoten verbunden: Der Unterschied besteht darin

Die GPU-Nutzung und -Geschwindigkeit ist nicht gewährleistet, und Sie können jeden Tag ein Upgrade durchführen. Es ist nicht möglich, dass die KDE-Workload-Funktion den Stoff ausnutzt, ein Pak-Pull-Roku-Gerät verwendet wird und nicht mehr funktioniert.

Ich habe mir die Logik für den gesamten Prozess angeschaut: Ich brauche nur 8 GPU-Sprengungen, ich bin nicht in der Lage, mehr als genug Arbeitslast zu haben. Doprovodné články pokrývají mechaniku ( K02 trénink, K03 inference, K07 limity PCIe, K06 řešení výpadků); tento je rozhodnutím kupujícího.

Strop 8 GPU Podle Modellů

Bitte beachten Sie, dass das Modell nicht angezeigt wird. S 8× RTX Pro 6000 Blackwell (96 GB groß) mit 768 GB erweitertem VRAM, s 8× RTX 5090 (32 GB groß) 256 GB. Das war noch nicht alles, was ich vor 2026 gesehen habe, aber ich habe es nicht geschafft.

Modell Váhy (FP8) Váhy (INT4) 8× 5090 (256 GB)? 8× Pro 6000 (768 GB)?
Lama 3.1 / 3.3 70B ~ 75 GB ~ 40 GB Ano, s rezervou Ano, is rezervou na KV
Qwen 2.5 72B (včetně VL) ~ 80 GB ~ 44 GB Jahr Jahr
Mixtral 8x22B (141B celkem) ~ 140 GB ~ 75 GB Jen INT4, těsně Jahr
Lama 3.1 405B ~ 400 GB ~ 210 GB Ne INT4 ano, FP8 hraničně
DeepSeek-V3 (671B MoE, 37B akt.) ~ 670 GB ~ 340 GB Ne INT4 ano, FP8 hraničně
Hypotetický dense 600B+ 600+GB 300+GB Ne Hraničně, spíš ne

Zlom nastává na hranici 405B / 671B. Es gibt keinen Grund dafür, dass es sich um ein 8× Pro 6000-Gerät handelt. Es gibt noch keine aggressiven Zusatzfunktionen (für INT4 – für Schlussfolgerungen, für mehr Training), keine zusätzlichen Kosten.

„Vejde se“ není totéž co „běží dobře“. Das Modell verfügt über 95 % VRAM ohne KV-Cache-Reservierung, Präfix-Cache, CUDA-Grafik, nicht aktiviert, aber die tatsächliche Leistung ist nicht gewährleistet. Praktikum: 60–70 % VRAM, 30–40 % VRAM. Zum Glück sind 405B und FP8 nicht mit 8× Pro 6000 kompatibel, aber ich habe keine Ahnung, wie hoch die Arbeitsbelastung ist.

Kdy NEMÁTE škálovat do šířky

Bitte beachten Sie:

  • Die Inferenz ist ein Modell, das nicht funktioniert. Wenn Sie das KV-Modell nicht verwenden, müssen Sie jeden Tag ein TP-Gerät mit einem Ethernet-Anschluss verbinden. PCIe Gen5 verfügt über eine maximale Leistung von ca. 50 GB/s auf der Haupt-GPU, 200 Gb/s und ca. 25 GB/s. Workload, nicht mehr auf PCIe-Basis, sondern auf IB-Platz.
  • Produkční provoz pro jednoho zákazníka. Jedes Model, jeder Kunde, beliebt. Skříň s 8× Pro 6000 zvládne 70B s 32–64 souběžnými požadavky bez potíží. Es ist nicht möglich, dass die DP-Mitglieder ihre Meinung ändern, weil sie nicht wissen, was sie tun sollen.
  • Výzkumné laboratoře provozující 7B–72B. Ich habe die Akademie und die App für das Jahr 2026 getestet – Llama 3.x 8B, Qwen 7B/14B/32B, Mistral, Gemma und das zweite Modell 70B. Žádný z nich nepotřebuje víc než jeden uzel.
  • Weitere Informationen zu LoRA / QLoRA. Smysl PEFT war für mich das erste Mal, dass ich mich auf ein neues Trainingsmodell vorbereitete. LoRA Pro 70B verfügt über 4–8 GPUs im Vergleich zu anderen Geräten, QLoRA Pro 405B mit 8× Pro 6000.
  • Dávková schlussfolgert eine Offline-Arbeitsbelastung. Das SLA-Konto wurde mit der Leistung des 8-GPU-Prozessors ausgestattet. Více uzlů pomůže jen tehdy, když, to do termínu nuestihnete – a to take proto, že je model příliš vílký, no proto, že he uszel pomalý.

Zhruba 80 % zákazníků Kentino by si mělo coupit every větší uzel místo 20 % ve skutečnosti chce DP repliky za Load Balancer, no Cluster.

Kdy škálovat do šířky MUSÍTE

Bitte beachten Sie, dass Sie bei jeder Gelegenheit, die Sie benötigen, nicht darauf achten müssen.

Trainingsmodell 70B+ im Juli. Osm GPU prostě nestačí časem. 70B auf öffentlichem Token-Objekt (1.5–15T) mit mehr GPU-Speicher auf Hardware-Basis der drei H100-Serie mit PCIe-GPU vor Ort. Tato práce vyžaduje 32–128+ GPU a fabric SXM. Kentino tuto třídu nestaví.

Plnohodnotné doladění modelů 70B+. Ne LoRA – Sie erhalten eine optimale Aufenthaltsdauer, einen Gradienten und eine aktivere Nutzung. Mehr als 70B (mehr als FP16 + Adam oder FP32 + Farbverlauf + Aktivierung) mit 1.2–1.5 TB Speicherkapazität, da FSDP für mehr als 8 GPUs ausgelegt ist. Ospravedlňuje-Cluster mit 2–4 Punkten auf IB.

Provoz 405B+ im Latenzprodukt. Wenn Sie INT4 auf 8× Pro 6000 haben, wird der KV-Cache angezeigt, um die Latenz zu erhöhen. Zweimal pro Woche mit 8× Pro 6000 und TP=8×PP=2 oder TP=4×PP=4, aber tatsächlich mindestens für Llama 3.1 405B mit QPS. K03 bis Rozebírá podrobně.

Víceklientský provoz nad >100k QPS in sučtu. Jeder Benutzer benötigt 8 GPUs für 500–2,000 tok/su 70B und FP8. Ich möchte diese QPS-Nachricht erneut verwenden, um den Cluster-Router mit einem kleinen Präfix-Cache zu versehen. Nachdem Sie mehrere DP-Repliken erstellt haben, wird kein TP-Cluster angezeigt.

Mimo tyto čtyři případy argument rychle slábne. Většina „potřebuji víc uzlů“ se nakonec ukáže jako „chci vyšší propustnost“ – což je otázka replik, no fabricu.

Ideale Konfiguration

Jak vypadá silná jednouzlová sestava na hardwaru, který Kentino skutečně dodává:

Komponente Auswahl Warum?
GPU 8× RTX Pro 6000 Blackwell (96 GB) 768 GB VRAM für echtes Geld, Modell Roku 2026
GPU (alternativ) 8× RTX 5090 (32 GB) Höhe, 256 GB, Speicherkapazität: 72B
CPU EPYC 9554P nebo 9654 (jedna patice) 128 Zeilen PCIe Gen5, zusätzlich zu xGMI-Hardware
Verbindung PCIe Gen5 x16 (Prepínaný Fabric) ~50 GB/s Mezi-GPU, auf der SKU mit NVLink
RAM 768 GB–1 TB DDR5 Štědrá rezerva pro plnění dat a odkládání KV
Nähen 2× 100 GbE (maximal 400 GbE) Bohatě stačí pro odchozí Schlussfolgerungen i úložiště
ložiště 4–8 U.2 NVMe + 2 M.2 Pro Boot Lokalisierter NVMe-Pro-Datensatz zu einem ungewöhnlichen Kontrollpunkt

Weitere Informationen: Die NVLink-Karte ist nicht verfügbar. RTX 5090, RTX Pro 6000 Blackwell, L40 und L4 sind mit PCIe ausgestattet. Moduly SXM s NVLink-Fabriken (H100 SXM, B200 SXM, GB200) vyžadují základní HGX, které nestavíme. K07 rozebírá cenu, N03 pak to, kdy na NVLinku záleží.

Diese PCIe-Karte muss für die Praxis geeignet sein, daraus Rückschlüsse auf die zukünftige Entwicklung zu ziehen, die mit der Zeit verbunden ist. Daher ist es wichtig, dass die Inferenz nicht vollständig reduziert wird. Bei der Verwendung des Modells SXM 1.2–1.4× ist die tatsächliche Strafe für den Kauf erheblich. Beim parallelen Training 70B+ wurde im nächsten Jahr eine 2–3-fache Strafe mit folgendem Unterschied erzielt: „Nehmen Sie SXM mit, es ist nicht erforderlich, dass Sie es auf der Kentino-Hardware üben“.

Propast mezi jedním a více uzly

Daher ist es mir wichtig, dass ich meine Kunden nicht in ein bestimmtes System einordne, sondern dass ich die meisten Menschen in die Lage versetze, sie zu nutzen und zu verbreiten.

Korb Durchsatz Latenz
GPU–GPU, mehrstufiges PEX (PCIe Gen5 x16) ~ 50 GB/s pod jednu mikrosekundu
GPU–GPU, vor dem Root-Komplex der meisten Vorläufer ~50 GB/s sdíleně jednotky mikrosekund
400 Gbit/s InfiniBand NDR (mezi uzly) ~ 50 GB/s 1–2 Mikrosekundy
200Gb/s InfiniBand HDR (mezi uzly) ~ 25 GB/s 1–2 Mikrosekundy
100 GbE RoCE (mezi uzly) ~ 12.5 GB/s 5–15 Mikrosekunden
25 GbE TCP (mezi uzly) ~ 3 GB/s 20–50 Mikrosekunden

Die maximale Geschwindigkeit einer GPU beträgt ca. 50 GB/s und wird nur in einem Mikrosekundenbereich gespeichert. Mezi beträgt ca. 25 GB/s bei 200 Gb/s IB – nur 2× bei IB, 4–5× bei 100 GbE und 15× bei 25 GbE. U TP kollektiv, které se spouštějí v každé vrstvě transformu, to bolí hodně. K07 obsahuje tabulku časů all-reduce.

Die Latenzzeit beträgt etwa 5 bis 15 Mikrosekunden, bis RoCE eine Nanosekunde lang auf dem UV-Licht liegt. Während Sie eine Vorabausfüllung durchführen, um die Ergebnisse zu überprüfen, werden die interaktiven Schlussfolgerungen mit TP-Nikoli verknüpft.

Právě kvůli této propasti není „prostě přidáme další skříň“ plynulé rozhodnutí. Cokoli, mit sotva preežívá na PCIe uvnitř uzlu, nepřežije na Ethernetu ani IB mezi uzly.

Matematika silného škálování: kde se zlomí

Amdahlův zákon: Ich habe eine ernsthafte Arbeitslast bei der Verteilung des Trainings festgestellt, je nachdem, was die Kommunikation betrifft. Für die dreistufige 70B-Hardware auf PCIe-Basis, ein Kentino-Stab, ein leistungsstarker Prozessor (GPU-Unterstützung ohne GPU-Unterstützung), nur ein paar Schritte entfernt, wie folgt:

Konfiguration Efektivita na GPU Kdy dává smysl
1-GPU 1.00× (základ) Stets
4 GPU, jeden Tag, TP auf PCIe Gen5 0.82 × Ideální poloha pro TP
8 GPU, jeden Tag, TP auf PCIe Gen5 (vorbereitet) 0.73 × Hranice použitelnosti TP
8 GPU, jeden Tag, FSDP / Datenparallele 0.88 × Silné pro DP
2 x 4 GPU, 200 Gbit/s IB, TP Mezi uzly 0.65 × Bolestivé, zřídka se vyplatí
2 x 8 GPUs, 200 Gbit/s IB, TP-Panel / PP-Mezi 0.74 × Rozumné pro velké modely
4 x 8 GPU, 400 Gbit/s IB NDR, kombiniertes TP/PP/DP 0.62 × Skutečná práce na clusteru
2 x 8 GPUs, 100 GbE RoCE, paralleler Datenaustausch 0.84 × Kein Kompromiss für DP

Dva závěry. Zurück: Die 8-GPU-Karte mit 4-GPU-Grafikkarte ist nicht mehr verfügbar und wird nicht von jedem Gerät benötigt, das nur auf einem PCIe-PCIe-Gerät installiert ist. Hinweis: Datový parallelism škáluje přes fabric mnohem lépe než tenzorový. Ich habe noch nicht einmal die Möglichkeit gehabt, „das Problem mit der Stromversorgung zu lösen“, und habe nicht „jeden Zeitpunkt überprüft“, an den sich DP antwortet – ein Problem, das über 100 GbE verfügt.

Die vorläufige Effektivität kann bei 60 % liegen, die Arbeitsbelastung wird dadurch erhöht, dass die erforderliche Menge an Stoffen nicht mehr benötigt wird. Vorbereitendes Projekt (TP ist nicht verfügbar, PP ist nicht DP verfügbar), es ist nicht mit Hardware ausgestattet, sondern mit SXM. Hrubá síla nefunguje.

Vorbei an výzkumných laboratoří und provozní daň

Vzorec, který vidíme dost často na to, Abychom ho pojmenovali: Labor-Plänüje „do budoucna“ a objedná dva uzly po 4 GPU misto 8 GPU. Wir haben mehrere Stunden lang trainiert (0.65× TP zwischen 0.73× und 0,73× UV-Strahlung), Schlussfolgerungen aus einem bestimmten Modell ziehen, das Fahrzeug jedes Mal auf die Probe stellen, zwei weitere Tests durchführen (von BMC, Zweimal die NIC geladen, zwei Mal ein paar Monate später ein paar Tage später ein paar Tage später ein Upgrade durchführen dílů. Kaufen Sie jeden Computer mit 8 GPUs.

Vícenodové řešení, i když je správnou odpovědí, není zadarmo. Navigation:

  • Sdílené úložiště — lokální NVMe přestává stačit. NFS, BeeGFS in Verbindung mit Lustre und VLAN-Erweiterung für die Nutzung (K04).
  • Asynchroner Checkpoint – Synchronisierung der NFS-Speicherung im Cluster. PyTorch DCP und NeMo sind jetzt verfügbar.
  • Ladění NIC a NCCL – Alle RoCE-, PFC-, ECN-, Jumbo-Ramce-, NCCL-Transport-, Topologie-, Ring-gegen-Baum-Algorithmen. Die meiste Erfahrung ist, dass Sie sich nicht wohlfühlen.
  • Überwachung – DCGM mit Sitz in der Stadt, Prometheus-Föderation, Übertragung der Pufferzone NCCL.
  • Řešení výpadků — odpojení uzlu, resety síťovek, výpadky portů na přepínači. K06 pdeckeje jednotlivé režimy; Wenn Sie nicht wissen, was Sie tun müssen, müssen Sie sich die Zeit nehmen.

V inženýrském čase stojí každý přidaný uzel 4–5× víc. Wenn Sie Zeit haben, müssen Sie nicht lange warten, bis der Cluster die benötigte Kapazität erreicht hat.

Konkretní rozhodovací postup

Projděte si to popořadě. První „ano“ debatu ukončuje.

  1. Welches Modell verfügt über 8× 96 GB und FP8 mit einer Reserve von 30–40 % VRAM in KV? Pokud ano, jeden Tag, heiß.
  2. Vejde se v INT4 se stejnou rezervou? Nachdem Sie die Schlussfolgerungen gezogen haben (ohne zu trainieren), müssen Sie jeden Tag auf INT4 klicken. Váhy v INT4 kann nicht für den Verlauf des Trainings genutzt werden – es wird weitergegeben.
  3. Meine Arbeitsbelastung ist hoch, ein gutes Modell? Als nächstes wurde eine parallele Antwort auf die Konfiguration eines Clusters angezeigt. Wenn Sie mit dem Load-Balancer arbeiten, ist der Stoff nicht ausreichend.
  4. Wenn Sie sich ein paralleles Trainingsmodell ansehen, müssen Sie wissen, dass es keine Zeit mehr gibt? Více uzlů s InfiniBandem. Odhadněte efektivitu škálování podle tabulky v K07. Wenn Sie 60 % des Forschungsergebnisses (TP UV-Schutz, PP-Schutz) benötigen, müssen Sie es mit einem Lächeln auf den Kopf stellen.
  5. Was für ein vorläufiges Modell 70B+ vor Kurzem? Případ pro špičku oboru. Více uzlů s NDR IB nebo SXM. Kentino hat die IB-Seite hinter sich gelassen, ist aber sehr zufrieden, hat sich die Mühe gemacht, die Übungen zu machen und das Gleiche aus der Tasche zu ziehen.

Kroky jedna a dva pokrývají drtivou většinu trhu. Krok tři znamená, že se se Vám dobře daří – odpovědí jsou repliky, ne Cluster. Kroky čtyři a pět jsou real, ale vzácné.

Ehrlich

Die meisten Tests wurden durchgeführt – 70B+ im Juli, Inferenz 405B+ mit niedriger Produktionsrate, Hyperscale mit 100 QPS, aber nicht ganz so einfach zu bedienen, kein Problem mehr. Jsou zu wirklich arbeitsintensiv. Wenn Sie nicht wissen, was Sie tun müssen, müssen Sie sich keine Sorgen machen.

Wir werden jeden Tag mit einer 8-GPU-Karte arbeiten. Die neue Workload Roku 2026 umfasst 768 GB und FP8/INT4, LoRA und QLoRA mit 405B, mehr als 13 B-Minuten mit einer Anzahl von bis zu zwei DPs Die Antwort ist auf den Cluster-Vorgang zurückzuführen. A provozuje se nesrovnatelně snadněji.

Rozhovor hat eine höhere Arbeitsbelastung als die folgenden: Arbeitsbelastung, Standort, Zeitaufwand, erhöhte Effektivität. Suchen Sie nach einem neuen Cluster, einem Post-Cluster. Jeden Tag posten, jeden Tag posten. Bitte antworten Sie auf den Router und senden Sie ihn an. Nehmen Sie keine Konfigurationsschritte vor, Sie müssen nur die gewünschte Konfiguration vornehmen – Sie müssen die gewünschte Konfiguration vornehmen.

Co udělat dál

Sie können folgendes auswählen:

  1. Sepište si model a workload. Počet parametrů, kvantizaci, špičkový počet souběžných uživatelů, cílovou latenci a cílovou propustnost. Kapazitätsauslastung und Bereitstellung von technischen Daten; Aber es gibt nichts, was ich je getan habe.
  2. Spočítejte váhy plus KV Cache při cílové souběžnosti. Vejde se to na 8× 96 GB s rezervou 30 % → every day. Jinak zvažte více uzlů.
  3. Die Wirksamkeit Ihrer Konfiguration wurde verbessert. Použijte tabulku v K07. Zu 60 % gehört die Architektur, die Sie nicht kennen.
  4. Oddělte otázku propustnosti od otázky velikosti modelu. „Víc požadavků za sekundu“ je otázka replik. Zwei 8-GPU-Router ermöglichen jedem Cluster eine 16-GPU-Auslastung und sorgen für eine hohe Arbeitslast, was wiederum zu Problemen führt.
  5. Es ist nicht möglich, die Kapazität zu erhöhen. Wenn Sie sich keine Sorgen mehr machen, müssen Sie sich über eine 50 % theoretische Kapazität freuen, denn Sie können NCCL und BeeGFS herunterladen.
  6. Volte raději every větší uzel než dva menší. 4 GPU × 2 statt 8 GPU × 1, 8 GPUs und 8 GPUs.

Weitere Kategorien: K02 (Trennung), K03 (Inferenc-Cluster), K04 (Nutzung), K06 (Nutzung), K07 (Grenzwert für PCIe und Ethernet), N02 (IB vs. RoCE vs. Ethernet), N03 (NVLink und andere). záleží).


Alles, was ich suche, ist Kentino Wiki, eine Referenzreihe zu KI-Technologie, Robotik und System, die ich vorgeschlagen habe. Kommentieren Sie uns bitte unter info@kentino.com.