Referenzpunkt: Robotická a AI laboratoř v jednom racku
Vorhandene Architektur, Softwarový-Stack, energetische Rozpočet und Návrh-Site. Der erste Schritt war es, den Kaufpreis zu senken – die Kosten für die Hardware zu senken, Kentino zu verkaufen und die Stückliste zu vermarkten.
Die Wissenschaftler sind nicht in der Lage, ein integriertes Labor zu entwickeln, und können jeden Tag einen Roboter mit On-Prem-Inferenz und Schulungen provozieren. Hauptmerkmale: kein Hobby, kein 7B-Modell, keine Hyperscale-Cluster-Umgebung. Seriózní pracovní prostředí, které tým ým dvou aže šesti lidí dokáže postavit, provozovat a rozvíjet bez vyhrazeného DevOps.
Článek pokrývá dvě úrovně téhož architektonického vzoru. Wenn Sie 4 GPUs verwenden , müssen Sie Ihr Labor testen. Die Produktion umfasst 8 GPUs, was zu einer tatsächlichen Arbeitsbelastung führt. Volba hardwaru se liší; Architektur ist identisch.
Co ukazují data z flotily
Kentino verfügt über eine leistungsstarke Konfiguration mit 4 GPUs. Weitere zusätzliche Spezifikationen: AMD EPYC 7542 (32 GB / 64 Lüfter, Boost 2.9 GHz), 512 GB DDR4 ECC LRDIMM mit 2666 MT/s V DIMM-Steckplatz, mehr GPU RTX 4090 (24 GB VRAM, ca. 96 GB), 2 TB NVMe-Scratch-Disk und 512 GB SATA-SSD für das Betriebssystem. Der Schreibtisch ist ASRockRack ROMED8-2T/BCM. Ubuntu 24.04 LTS, Version 6.8.0-generic, NVIDIA 590.48.01, CUDA 13.1/13.2.
Es ist nicht möglich, dass der Benchmarcích mit der Person identisch ist. To není náhoda – je to smysl referenční sestavy. Wenn Sie eine neue Konfiguration wünschen, sind Benchmark-Spezifikationen nicht erforderlich.
GPU-Leistung
Neue FP16-Inhalte mit Tensor-Core-Inhalten (Arbeitsaufwand 8192 × 8192):
| GPU | Trvalý výkon FP16 (TFLOPS) | Špičková teplota (zátěž) | Špičkový příkon (zátěž) |
|---|---|---|---|
| 0 | 165.8 | 67 ° C | 482 W |
| 1 | 153.2 | 64 ° C | 450 W |
| 2 | 166.4 | 72 ° C | 501 W |
| 3 | 166.2 | 62 ° C | 481 W |
| gesamt | 651.6 | W ~ 1,914 |
GPU 1 oder 6 % nicht mehr als GPU 0, 2 und 3 – mit vielen verschiedenen Lotterien und Spotkarten. Der GPU-Burn-Test dauert voraussichtlich 60 Sekunden und die Kombination aus GPU+CPU-Burn-Test kann nur dann durchgeführt werden. Die Zeit, in der ich reserviere, ist, dass die RTX 4090 bei 83 °C auf 83 °C gedrosselt wird, ohne dass die GPU und die CPU bei 73 °C drosseln. Na žádném uzlu nebyl drosseln pozorován.
Praktische Einsatzmöglichkeiten mit maximaler Leistungsfähigkeit: Die Flotte ist mit mehr als einer begrenzten Leistung auf der Karte ausgestattet (450 W, 480 W, 500 W mit Steckplätzen). Für die Herstellung eines Produkts mit einer Temperatur von 450 W ist es erforderlich, dass das Gerät mit einer Temperatur von bis zu 450 W betrieben wird. Ztráta TFLOPS pro 450 W oproti 500 W je 2 % — Nestojí za asymetrické zatížení větví.
Inferenz und vLLM – Lama 3.3 70B AWQ
Měřeno s vLLM 0.19.0, tensor_parallel_size=4, gpu_memory_utilization=0.80, max_model_len=2048:
| Test | Das ergebnis |
|---|---|
| Jeden Tag (512 Token) | 8.0 Zeichen/s |
| Propustnost dávky (32 Personen, mehr als 256 Token) | 179.3 tok/s souhrnně |
| Prüfen Sie die Latenzzeit vor dem 32. Tag | 1,428 ms |
| P99-Latenz (kostenlose Eingabeaufforderung, 16 Token) | 2,043 ms |
| Doba načtení modelu | 95 s |
Jedna důležitá výhrada: Benchmark-Použil-kvantizační-Kernel awq, nicht awq_marlin. Cesta awq_marlin Der Architekt Ada Lovelace (RTX 4090) wurde 2–3 Mal pro Sekunde pro Sekunde gezählt. Produkční nazazení von mělo používat awq_marlin Dieses Mal ist FP8 mit vLLM 0.20+ nicht mehr verfügbar. S awq_marlin Sie können jeden Tag eine Woche lang etwa 8 bis 20 Tage pro Woche auf der Karte verbringen – bis zu einem gewissen Grad, mit dem Sie sich in der Praxis wohlfühlen. Die Kosten für die Bereitstellung von Zusatzleistungen sind für viele Personen wichtig, da die Kosten für die Bereitstellung von Zusatzleistungen nur dann anfallen, wenn die Kosten für die Bereitstellung von Kosten gesenkt werden.
Tato čísla platí pro Llama 3.3 70B v INT4 (AWQ). Modell 7B neben 8B und Q4 mit 4–6× Token-Steckplatz; Modell 13B Zhruba 2.5× Rychleji. Für 70B gelten relevante Grenzwerte für VLM im Hinblick auf die Modellierung im Roboterkontext.
llama.cpp – jeden Tag, ohne Zweifel
Weitere Informationen finden Sie unter llama-cpp-python 0.3.20 (CUDA/cuBLAS), Llama 3.3 70B Instruct Q4_K_M GGUF, verschiedene GPU-Modelle:
| Test | Das ergebnis |
|---|---|
| Generování jednoho požadavku (256 Token) | 19.9–20.3 tok/s |
| Vyhodnocení promptu (1302 tokenů) | 1,568 Zeichen/s |
| Doba načtení modelu | 10.8 s |
llama.cpp ist mit 10.8 Sek. auf 95 vLLM-Läufen ausgestattet und hat eine Reihe von Downloads für alle Benutzer erstellt. Dann habe ich keine Ahnung, was ich tue – jedes Mal, wenn ich etwas tue. Gesprochener Quellcode: llama.cpp mit 4 GPUs für die interaktive Nutzung des 70B-Modells; vLLM ist ein sehr erfahrener und erfahrener Kunde.
Nämlich I02 pro úplnou rozhodovací matici servieren stacku. Stručně: začněte s vLLM v Dockeru, použijte kvantizaci awq_marlin Wenn Sie llama.cpp besuchen, müssen Sie sich auf die Suche nach einem Jetson-Programm machen.
Propustnost paměti GPU
Die Geräte-zu-Gerät-Verbindung (auf der Karte) liegt bei 920.2–920.6 GB/s pro Sekunde – der Wert liegt bei 0.04 % und ist mit GDDR6X ausgestattet. Das PCIe Host→Device verfügt über eine Geschwindigkeit von 26.2–26.3 GB/s, da es sich um ein Gen4 x16-Gerät handelt, das über eine zusätzliche Speicherkapazität verfügt (verknüpfte Verbindung mit einem Gen1-Knoten, der ASPM-Energie verbraucht – normalerweise, nicht verfügbar). Peer-Peer-Netzwerk-GPU für PCIe (z. B. NVLink) mit 19–22 GB/s, da es sich um eine Peer-to-Peer-Verbindung mit PCIe-Root-Komplexen über NVLink (z. B. N03 ) handelt.
Úložiště NVMe
| Test | Durchsatz | IOPS |
|---|---|---|
| Sekvenční čtení (bloky 1 M) | 4,589 MB / s | 4,376 |
| Sekvenční zápis (bloky 1 M) | 4,213 MB / s | 4,017 |
| Náhodné čtení 4K, QD32 | 2,325 MB / s | 568,000 |
| Náhodný zápis 4K, QD32 | 2,273 MB / s | 555,000 |
Die Sekvenční propustnost je blízko stropu Gen4 x4. Nahezu IOPS auf der Front von 32 Stunden: 568.000 IOPS pro Tag, bis zu 568.000 IOPS. Die Laufzeit des NVMe-VRAM-Modells beträgt 10–30 Sekunden, bis das Modell vollständig ist. tento disk není úzkým hrdlem.
Referenční sestava
Kusovník – vývojová úroveň se 4 GPU
Sie haben die Erfahrung gemacht, dass Sie ein Labor mit einem Roboter, einem Roboter, einem aktiven Modell und einem LoRA-Projekt beauftragen.
- Berechnung: 4× RTX 4090, AMD EPYC 7542, 512 GB DDR4 ECC
- Lagerung: 2 TB NVMe (Scratch) + 512 GB SATA (Betriebssystem)
- Nähen: 10 GbE absteigend (zwei Ports, ROMED8-2T/BCM)
- Quellen: dva ATX, rozdělená distribuce napájení
- Šasi: 4U do racku, stolzění vzducchu zepředu dozadu
PoE pro AP (volitelně)
Leistungsumfang: 4 GPUs + ToR Switch + AP mit 6 GHz + Online-USV 5 kVA.
| Artikel | Spezifika | EUR bez DPH (rozpětí) |
|---|---|---|
| GPU (×4) | RTX 4090 24 GB | €2,800–3,200 für Karten |
| CPU | AMD EPYC 7542 32C | 1,200-1,600 € |
| Hauptplatine | ASRock Rack ROMED8-2T/BCM | 800-1,100 € |
| RAM | 8 × 64 GB DDR4 ECC LRDIMM | €1,400–1,800 (celá sada) |
| NVMe Scratch | 2 TB Gen4 NVMe | 180-260 € |
| SATA-Betriebssystem | 512 GB SSD | 60-90 € |
| Šasi + ventilátory | 4U do racku, průmyslové | 400-600 € |
| Zdroje (×2) | 2 kW ATX, rozdělená distribuce | €300–450 (pro Person) |
| ToR-Schalter | 10 GbE-Größe, 8–16 Ports | 400-700 € |
| Wi-Fi 6E AP | Podpora 6 GHz, PoE | 250-450 € |
| UPS | 5 kVA s dvojitou konverzí | 1,200-1,800 € |
| Kabel und PDU | Cat6A + třífázové PDU | 300-500 € |
| Výpočetní uzel celkem | 14,500-17,500 € | |
| Rack Celkem (Uzel + Infrastruktur) | 17,000-21,000 € |
Kusovník – Produktionsleistung mit 8 GPUs
Das Produkt wird von der GPU produziert. Architektonický vzor je stejný; CPU, RAM und andere Komponenten sind nicht mehr verfügbar, da der PCIe-Steckplatz des Betriebssystems offensichtlich ist. Die AMD EPYC Genoa-Plattform in der Nähe von Turin verfügt über einen PCIe-Anschluss für einen 8× x16-Steckplatz mit Kompromisierung in der Bifurkation ( W02 ).
| Artikel | Spezifika | EUR bez DPH (rozpětí) |
|---|---|---|
| GPU (×8) | RTX 4090 24 GB | €2,800–3,200 für Karten |
| CPU | AMD EPYC Genua / Turin (mehr als zwei Wochen) | 2,500-4,000 € |
| Hauptplatine | Plattform Genua/Turin, 8× PCIe Gen4/5 x16 | 1,800-2,800 € |
| RAM | 16× 64 GB DDR5 ECC LRDIMM (1,024 GB) | €3,500–5,000 (celá sada) |
| NVMe Scratch | 2× 4 TB Gen4 NVMe | 600-900 € |
| SATA-Betriebssystem | 512 GB SSD (×2, RAID-1) | 120-180 € |
| Šasi + ventilátory | 4U–6U Rack, 8× GPU, kompakt | 1,200-2,000 € |
| Zdroje (×2) | 3 kW ATX, rozdělená distribuce | €600–900 (pro Person) |
| ToR-Schalter | 25-GbE-Netzwerk, 24 Ports (für Cluster geeignet) | 1,200-2,200 € |
| 25-GbE-Netzwerkkarte | Mellanox ConnectX-5/6, doppelt (doppelt) | 300-600 € |
| Wi-Fi 6E AP | 6 GHz, PoE | 250-450 € |
| UPS | 10 kVA s dvojitou konverzí | 3,000-5,000 € |
| Kabel und PDU | Cat6A / DAC SFP + mehrstufige PDU | 600-1,000 € |
| Výpočetní uzel celkem | 38,000-50,000 € | |
| Rack Celkem (Uzel + Infrastruktur) | 44,000-60,000 € |
Standort: 25 GbE NIC mit 8 GPUs ausgestattet. Es sind nur 4 GPUs verfügbar, die nur 4 GPUs enthalten (nämlich N01 auf der Hauptproduktseite).
Úložiště mimo výpočetní uzel
| Ebene | Zweck | Pravidlo dimenzování | Verknüpfung |
|---|---|---|---|
| NVMe v uzlu (hot) | Aktives Modell, aktueller Datensatz | 2–4 TB na uzel | - |
| NAS (warm) | Trénovací-Datensatz, Archiv-Epizod, Registermodellů | 40–200 TB využitelných | W06 |
| Mimo lokalitu / Wolke (kalt) | Dlouhodobý archiv, obnova po havárii | Dle potřeby | - |
Für den Einsatz in einem neuen NAS mit 4× 16 TB HDD und 48 TB RAID-5-Unterstützung – das ist ein Labortest mit zwei Robotern. Nutzen Sie den 10-GbE-ToR-Switch; Es ist nicht möglich, den Roboter zu testen.
Napájení a chlazení racku
Z I04 :
| Konfiguration | Trvalý výpočet | Celý Rack (vč. robotů, pracovišť, infrastruktury) |
|---|---|---|
| vývojová úroveň se 4 GPU | ~2.0–2.4 kW | ~5–7 kW |
| produkční úroveň s 8 GPU | ~4.0–5.0 kW | ~10–13 kW |
Die getesteten Daten sind leistungsstark, die Verwendung von 4 GPUs erfordert eine maximale GPU-Leistung von ~1,914 W, was zu einem begrenzten Preis-Leistungs-Verhältnis führt. CPU-Leistung (ca. 120 W Leistung), NVMe und Lüfter mit einer Leistung von 2.1–2.2 kW Leistung.
Elektrische Installation für den Betrieb: Mindestens 400 V, 16 A; 32 A třífázově dává prostor k růstu. Schließen Sie das Kabel an zwei seltsame Stellen an. Zapojení viz I04 a P02 . Produkční úroveň (10-kW-Zell-Rack) mit 400 V, 32 A und 15 kW Leistung.
UPS-Dimensionierung: Serverdimensionierung, keine Robotik. Um sicherzustellen, dass Sie mindestens eine USV mit 5 kVA online kaufen können, benötigen Sie eine doppelte Konvertierung. Produkční úroveň 10 kVA. Geben Sie die Online-Konvertierungsdetails an. Nämlich P05.
Software-Stack auf Bare-Metal
- ovladač NVIDIA 590.x (kompatibel mit dem Kernel-Modul)
- Toolkit CUDA 13.x
- nvidia-container-toolkit
- Hauptsächlich: Llama 3.3 70B FP8 und Qwen 2.5 72B AWQ
- Anzahl: VLM (Qwen2.5-VL 32B mit 4 GPUs; 72B mit 8 GPUs)
- llama.cpp (Vorbereitung / Download für alle Benutzer)
- nginx (Reverzní Proxy, TLS, Bearer Auth)
- Prometheus + vLLM /metrics
- DCGM-Exporteur (SM auf GPU, Příkon, Teplota, ECC)
- dashboardy v Grafaně
Software-Stack: bestehend aus Ubuntu und NVIDIA → Container-Toolkit → vLLM + llama.cpp + nginx + Überwachung.
Zamčení ovladače je nediskutovatelné. Flotila běží na ovladači 590.48.01; apt-mark hold nvidia-driver-590 Ich habe vor einiger Zeit das Betriebssystem auf Bare Metal installiert. Bezobslužný apt-get upgrade, který stáhne novější ovladač, rozbil produkční inferenci přesně tolikrát, kolikrát byste čekali. Nämlich L01 pro celý postup.
Die Überwachung ist nicht vollständig. Die Daten werden schnell aktualisiert, die GPU 3 wurde von mir als Benchmark für PCIe AER (RxErr + BadTLP) verwendet – die Hardware wird automatisch aktiviert und von DCGM angezeigt. Wenn Sie die Überwachungsfunktion nutzen, ist es wichtig, dass das Projekt „Erkennen Sie die gewünschte Folgerung“ an. DCGM hat eine neue Warnung vor der ECC-Bekämpfung ausgesprochen. Nämlich L05 Pro-Stack Prometheus + Grafana.
Varianty dimenzování
Vývojová úroveň se 4 GPU – co skutečně utáhne
Celkem 96 GB VRAM (4× 24 GB) bei TP=4:
| Modell | Quantisierung | Vejde se? | Přibl. tok/s (jeden uživatel) |
|---|---|---|---|
| Llama 3.3 / Qwen 2.5 70B | AWQ INT4 | Ano (~36 GB) | 16–22 (s awq_marlin) |
| Qwen 2.5 VL 32B | AWQ INT4 | Ano (~20 GB) | 18-26 |
| Qwen 2.5 VL 72B | AWQ INT4 | Ne (ca. 44 GB, davon 4× 24 GB) | - |
| Lama 3.3 70B | FP8 | Ano (~75 GB napříč 4) | 14-18 |
| model třídy 8B | Q4_K_M | Ano, rezerva pro dva | 80-120 |
72B VLM ist mit 4× 24 GB und INT4 ausgestattet – die Software ist für den Test geeignet, aber der Kontext ist für 4K geeignet. Sie können die VLM 32B-Variante verwenden, jedoch nicht mit 8 GPUs ausgestattet, sondern mit 4× RTX Pro 6000 Blackwell (96 GB VRAM auf der Karte) für das 72B-Modell. Viz W07 k diskusi o VRAM versus třídě modelu.
Geprüft: Jedes 70B-Inferenzmodell wurde mit 1–3 Robotern erstellt, jedes VLM (32B-Version) wurde mit einem neuen LoRA-Modell erstellt. Um 80 % der Kosten für das Roboterlabor im Jahr 2026 zu erreichen.
Produkční úroveň s 8 GPU – rezerva navíc
Celkem 192 GB VRAM (8× 24 GB):
| Modell | Quantisierung | Konfiguration | Přibl. souhrnné tok/s (32 souběžných) |
|---|---|---|---|
| Lama 3.3 70B | FP8 | TP=4, PP=2 | 350-500 |
| Qwen 2.5 72B | AWQ INT4 | TP=4, 2 Antworten | 400-600 |
| Qwen 2.5 VL 72B | AWQ INT4 | TP=4 | 180-280 |
| Modell 8B (Dialog) | FP16 | 1 GPU na repliku, 8 replik | 1,200-1,800 |
Die 8-GPU-Navigation hat zwei weitere Modelle geliefert: 70B LLM mit 4 GPUs und 32B VLM mit 4 GPUs současně, z jedné skříně. Es werden 4 GPUs benötigt, um ein Modell mit einer Laufzeit von 30–120 Sekunden zu erhalten.
Beschreibung von TP=8 pro 70B: TP=8 für PCIe Peer-to-Peer (mit NVLink), 8 Stunden lang nur TP=4 × PP=2, protože náklady na komunikaci all-reduce rostou se stupněm tensor parallelismu. Benchmarking-Daten werden für die meisten GPUs auf PCIe mit 19–22 GB/s verwendet – mehr als TP=4, aber All-Reduction für TP=8 und mehr als 100 % der verfügbaren Link-Sättigung. Doppelte Konfiguration für 70B mit 8× 4090 und TP=4 × PP=2, aber ich habe es in I02 gefunden.
Rozvržení racku
| U | Komponente |
|---|---|
| 1 | 1U-Patchpanel (Cat6A, optisch) |
| 2 | 1U ToR-Switch (10/25 GbE-Niveau) |
| 3 | 2U rozšíření batterie UPS (je-li-potřeba) |
| 4-5 | 2U USV (5 kVA Leistung / 10 kVA Produktion) |
| 6 | 1U PDU (dreieckig, horizontal) |
| 7 | 1U záslepka / organizace kabeláže |
| 8-11 | 4U Hochleistungs-Kentino AI (Produktion) / 6U Hochleistungs-Kentino AI (Produktion) |
| 12-13 | Záslepka / budoucí rozšíření |
| 14 | 1U-Jump-Host / VM für schnelles Arbeiten |
| 15 | Záslepka |
Stellen Sie sicher, dass Sie die USV-Anlage umschalten können, bevor Sie die Heizungsanlage in Betrieb nehmen (unter der Voraussetzung, dass keine Klimaanlage erforderlich ist), und dann mit der Heizungsanlage verbunden sind uličky. Nämlich W05 und I04 k disziplinierte stolze vzduchu.
Der Jump-Host muss 1U lang sein, bevor er angezeigt wird, Sie können ihn herunterladen, installieren und installieren, und der Server muss an der richtigen Stelle installiert sein. GPU nepotřebuje. Postačí použitý workstation nicht mehr als 1U mit 16 GB RAM und Gen3 SSD.
Co tato sestava není
Kein Desktop-GPU-Server und Rack-Skříni. Eine Desktop-Version des Tower-Typs – GPU auf Riser-Karte, ohne Lüfter, Lüftungsschlitze – nichts, was ich nicht sagen kann. Desktopové sestavy jsou v pořádku pro vývoj; Sie verfügen über eine 24/7-Sicherheitslösung, die Ihnen die Sicherheit gibt, die GPU auf stabilem Niveau zu halten.
Není zum NVLink-Cluster. RTX 4090 (Standort / Workstation drei) NVLink nicht verfügbar. Die meisten GPUs bieten PCIe-Prozessoren mit 19–22 GB/s und 900 GB/s. Um daraus Rückschlüsse zu ziehen, beträgt TP=4 bis TP=8. Meine Arbeitsbelastung war bei der Verteilung der Zugmodelle 70B+, RTX Pro 6000 Blackwell (mit NVLink und mehreren Multi-GPU-Prozessoren) auf der NVSwitch-Matematikplattform höher – noch am Ende. Nämlich N03.
Nejsou zu redundantní zdroje. Konfigurieren Sie, ob ein Zwei-Wege-Gerät in der folgenden Verteilung verfügbar ist: Zwei GPUs sind 0 bis 1 (plus zwei GPUs), zwei B sind GPUs 2 bis 3. Wählen Sie nur ein A-Gerät aus, bevor Sie zwei GPUs an den zweiten Schreibtisch anschließen. Es erfolgt keine automatische Aktivierung. Ich schalte die Zwei-Wege-Verbindung aus und wähle die gewünschte Anzahl an Geräten aus, bevor ich die N+1-Redundanz wähle. Viz W04.
Není to náhrada cloudu pro všechno. Um die Arbeitsbelastung Ihres Labors zu erhöhen, müssen Sie die TCO-Vor-Ort-Neuentwicklungen aufgeben. Nachdem Sie den Zugriff auf die Cloud-API abgeschlossen haben, stellen Sie sicher, dass Ihre Kunden Schlussfolgerungen gezogen haben, und stellen Sie sicher, dass das Modell nicht funktioniert, wenn Sie sich darauf verlassen. Viz T02 k podrobné matematice.
Proč právě tyto volby
AMD EPYC 7542 jako hostenské CPU. Das 32-jährige EPYC verfügt über eine 128-PCIe-4.0-Leitung auf der CPU, verfügt über eine 4x-GPU auf x16-Basis und ist mit einem Steckplatz ausgestattet, der einen PCIe-Switch für die Stromversorgung bietet. EPYC ist eine Standard-Plattform für Multi-GPU-KI-Server mit mehreren GPUs und verfügt über zwei Komponenten: Intel Viz W02 k aritmetice počtu linek.
512 GB Systemspeicher. Die Flotila ist mit 512 GB (8× 64 GB) ausgestattet, die angegebene Anzahl beträgt jedoch 256 GB. Ich muss sagen, dass das Modell beim Starten des Computers sehr groß ist, den Datensatz vorab abrufen und den Cache-Speicher des Systems mit RAM-Speichern und VRAM-Speichern erweitern. Bei vLLM werden der KV-Cache und das RAM-System umgerüstet, bevor die GPU ausgetauscht wird – 4 GB werden auf die GPU getauscht und 16 GB werden auf das RAM-System zurückgespeichert. 512 GB Nachladezeit für das Navigieren von Isaac Sim, Sie müssen nur 10–30 GB simulieren oder System-RAM simulieren.
2 TB NVMe-Scratch. Der Benchmark erreicht 4,589 MB/s in zwei Sekunden – Sie arbeiten am nächsten Modell 70B FP8 (~75 GB) in 20 Sekunden. Für Laboratorien wurden bereits mehrere Modelle erstellt (Hochleistungs-Workflow, A/B-Test-Inferencia-Stack), die meisten Tests wurden durchgeführt. Die SATA-SSD-Festplatte ist nicht mit Strom versorgt.
Proudění vzduchu v racku zepředu dozadu. Bevor Sie Ihren Computer installieren: Desktop-Orientierung (auf dem Computer, Sie können ihn nicht mehr lesen) in einem nicht ordnungsgemäßen Zustand. Sie können Ihre Musik auf einen Blick sehen, indem Sie sich auf ein Treffen vorbereiten, das Sie am Ende des Racks gelesen haben. Nämlich I01 und W05.
Erweitert auf Hardware-Roku 2026
Diese Woche bezieht sich auf das Jahr 2026. Die neue GPU RTX 4090 wurde von Kentina entwickelt – RTX 5090 (32 GB VRAM, Blackwell-Architektur, sm_120) und RTX Pro 6000 Blackwell (96 GB VRAM) wurden nach mehreren Berechnungen geliefert VRAM auf der Karte. Benutzen Sie 4 GPU RTX Pro 6000 Blackwell mit 384 GB VRAM – mit Qwen 2.5 VL 72B und FP8 auf der Karte – zum Vergleich mit der Karte.
Co se mezi generacemi nemění: architektonický vzor. Unterstützt AMD EPYC, Multi-GPU auf PCIe, mehr als 100 % Rabatt, zwei Treiber, Ubuntu 24.04, vLLM gegen Docker, Prometheus + DCGM-Exporter. Der Grund dafür ist, dass die GPU-Generierung in Ihrem Unternehmen eine konsistente Leistung erbringt. Kusovník bude levnější a rychlejší; vzor platí dál.
Co dělat dál – postup dimenzování
Odpovězte na tyto otázky v pořadí. Každá podmiňuje tu následující.
- Jaké Modely kann das Hostovat současně machen? Klicken Sie auf die entsprechenden Parameter. 70B LLM + 32B VLM sind mit 96 GB VRAM ausgestattet. 70B LLM + 72B VLM sind mit 192 GB VRAM ausgestattet. Um Ihren VRAM-Speicher zu erweitern. Der Speicherplatz beträgt 96 GB, Sie können nur noch wenige Tage warten.
- Möchten Sie Ihren robotischen Kunden und Ihr Ziel erreichen? Jeder Roboter ist bereit, sich zu bewegen. Der Roboter hat keine Ahnung, wie er sich fühlt (VLM läuft 2 Sekunden lang) → 8 Tage lang ist der Roboter so gut wie nie zuvor, aber er hat noch keine Zeit Dies bedeutet, dass Sie sich nicht auf den Kontext konzentrieren können. Osm robotů → produkční úroveň nebo dva uzly vývojové úrovně.
- Sind Sie im Training ausgelastet? Zusätzliches LoRA-Modell mit 8B und ca. 20 GB VRAM, das auf jeder RTX 4090 basiert. Das zusätzliche LoRA-Modell mit 70B und 3D-Parallelität ist mit einem Gradienten-Checkpointing und einer Konvertierung ausgestattet. Testen Sie das LoRA-Labor mit einem Mal-Modell, da die Tests bereits durchgeführt wurden.
- Jaký máte dnes rozpočet na napájení a chlazení? Buďte upřímní. Projděte tabulku zátěží z I04 Proti stávajícímu elektrickému přívodu vaší budovy. Ich habe gerade erst 16 Tage zuvor angefangen, als ich noch einmal gekündigt habe, bevor ich mich auf den Weg gemacht habe, bis ich mich auf den Weg gemacht habe. Es ist nicht möglich, Pläne zu schmieden.
- Was ist die Software-Integration? Bei der Hardware handelt es sich um ein Polovina-System. ROS 2 für Roboterroboter, gRPC-Client für vLLM, erweiterte Szenario-Überwachung, Konfigurationsüberwachung – bis zu 2–6 Tage im neuen Labor. Wenn Sie Hardware benötigen, die in den Plan integriert ist, benötigen Sie ein Polovinu-System, das Sie benötigen. Nämlich I02 a I01 k celkovému obrazu integrace.
Když dokážete odpovědět na všech pět, velikost sestavy je zřejmá. Sie können die neue Version von 1 (zweites Modell) oder 3 (mehrere Trainingseinheiten) verwenden, bis Sie sie erreicht haben – bis zu 90 % des Preises. Kentino war ein absoluter Volltreffer; Sie müssen Ihr Projekt noch einmal überprüfen, bevor Sie ein neues Konto erstellen.
Alles, was ich suche, ist Kentino Wiki, eine Referenzreihe zur AI-Entwicklung, Robotik und System, die ich vorgeschlagen habe. Kommentieren Sie uns bitte unter info@kentino.com.