Überwachung: Prometheus, Grafana, DCGM und Loki pro KI-Server

Der AI-Server ist nicht mehr verfügbar, der Server ist nicht mehr voll funktionsfähig, der VRAM-Speicher ist leer, der ECC-Server muss vor 03:00 Uhr den OOM-Killer erreichen – und jetzt müssen Sie ihn noch einmal mitnehmen, bis er ein zweites Mal vor Ihnen liegt Feinabstimmung von Vyplodil Nesmysly. Die GPU-Störung ist für die Anwendung nicht erforderlich: Die Drosselung erfolgt nicht mehr, der ECC wird nicht mehr unterstützt, der OOM-Killer wird vom Administrator neu gestartet. Bez metric ze samotného hardwaru nic z toho neuvidíte, dokud Vás to nestojí týden práce.

Standardní sysadminská výbava (htop, df, uptime, syslog) na zu nestačí. Die GPU muss eine neue Komponente haben, um eine größere Bandbreite an Telemetriefunktionen zu gewährleisten, und sie kann daher nicht explizit genutzt werden. Als erstes haben wir uns mit der Arbeit beschäftigt, aber ich habe sie bereits gepostet – Prometheus, Grafana, DCGM-Exporter, Node_Exporter, Loki und Alertmanager – Sie werden von jedem Docker-Compose-Benutzer unterstützt, der auf dem KI-Server von Kentino getestet wurde, und dann eine Nachricht senden.

Dies ist der Grund, warum ich einen AI-Server mit 4 oder 8 GPUs verwenden muss, um Docker-Compose zu verwenden, um die Option „Ich habe einen Monitor gefunden, bevor ich meine Alarmmeldung erhalten habe“ zu verwenden.

Standardní stack v roce 2026

Pět komponente odvede téměř všechnu práci. Všechno ostatní je nadstavba.

Komponente Funktion / Rolle (Role) * Nároky v klidu
Prometheus Databáze časových řad + Orchestrace scrapování ~150 MB RAM, ~3 MB/s
Grafana Dashboardy, Rozhraní Pro Alerty ~120 MB RAM
DCGM-Exporteur GPU-Metrik (Teplota, Využití, Příkon, Paměť, ECC, XID) ~30 MB RAM, <0.1 % CPU
node_exporter Systémové-Metriky (CPU, RAM, Festplatte, Speicher, Hardware) ~15 MB RAM
Loki + Promtail Agregace logů a jejich odesílání ~100 MB RAM
Alarmmanager Automatische Benachrichtigung (E-Mail, Slack, PagerDuty, Webhook) ~25 MB RAM

Mindestens 0.5 % pro Monat, 96 % EPYCu und 700 MB RAM. Der Server verfügt über 256 GB und 8 GPUs, die alle benötigt werden. Argument „Monitoring Ukrajuje Výkon Tréninku“ Přestal Platit Někdy V Roce 2019.

Alle Architekturbüros sind für den Einsatz auf dem Server zuständig: Der Stack muss für die VM-Verwaltung verwendet werden, ohne dass ein GPU-Server erforderlich ist. Hochmoderner Mini-PC, NUC, EPYC-Dienste, keine VM im Hypervisor-Labor – Cokoli, mit keinem GPU-Speicher. Zwei Tage lang: GPU-Server-Spadne (Kernel-Panic bei fehlender Leistung, erhöhte Geschwindigkeit, erhöhte Geschwindigkeit), nicht mit historischen Messwerten übereinstimmt, abgebrochene Daten, die inaktiv sind; Als Nächstes wurde eine Trainingseinheit mit Prometheem oder einer anderen Person als Alarmstufe verwendet. DCGM-Exporter ist ein Node_Exporter, der auf dem GPU-Host installiert ist (nicht mehr verfügbar – alle Standorte); Prometheus, Grafana, Loki und Alertmanager sind VM-Management-Mitglieder.

DCGM-Exporteur – jediné, co se vynechat nedá

Der Data Center GPU Manager (DCGM) von NVIDIE übernimmt die Autorität der GPU-Telemetrie. Kontejner dcgm-exporter Die DCGM-Metrik und die Prometheus-Form auf dem Port 9400. Ich habe keine Ahnung, was ich tun muss, um es zu lesen nvidia-smi nikdy nenahradí.

Installieren Sie Ihr NGC-Gerät (nvcr.io/nvidia/k8s/dcgm-exporter, aktuell 4.xk (Stand 2026) ist kein Upstream-Helm-Chart für Kubernetes. Na holém Dockeru stačí jedno docker run --gpus all --rm; démon pak publikuje zhruba 80 metrik na :9400/metrics. Sie wissen, dass dies ein echtes Problem ist:

Metriken Co Vám říká Práh pro alarm
DCGM_FI_DEV_GPU_TEMP Teplota jádra GPU (°C) > 80 °C warm, 87 °C kritické
DCGM_FI_DEV_MEMORY_TEMP Teplota VRAM / warme Luft (°C) > 95 °C warm, 105 °C kritické
DCGM_FI_DEV_GPU_UTIL Využití výpočetních SM (%) < 5% s alokovanou VRAM → zaseklý proces
DCGM_FI_DEV_FB_USED Využitý Frame Buffer (VRAM) v MiB > 95% celkové kapacity
DCGM_FI_DEV_POWER_USAGE Aktuální příkon (W) > TDP × 0.98 dlouhodobě
DCGM_FI_DEV_PCIE_TX_THROUGHPUT Propustnost PCIe TX (KiB/s) trvalý strop = regrese riseru/linek
DCGM_FI_DEV_ECC_SBE_VOL_TOTAL Počet opravitelných ECC chyb nárůst četnosti > 10× proti základní hodnotě
DCGM_FI_DEV_ECC_DBE_VOL_TOTAL Počet neopravitelných ECC chyb beliebig
DCGM_FI_DEV_THERMAL_VIOLATION Kumulovaný počet ns strávených v tepelném throttlingu četnost > 0
DCGM_FI_DEV_POWER_VIOLATION Kumulovaný počet ns strávených v příkonovém throttlingu četnost > 0
DCGM_FI_DEV_XID_ERRORS Počet XID chyb (závady ovladače / hardwaru) beliebig

Sie müssen die Funktion drosseln. DCGM_FI_DEV_THERMAL_VIOLATION Da die GPU nur wenige Sekunden lang arbeitet, wird sie gedrosselt. Stellen Sie sicher, dass Sie innerhalb von 5 Minuten vor dem nächsten Anruf die Frage „Habe mein Server eine begrenzte Zeitspanne erhalten?“ haben. Bevor die Temperatur erreicht wurde, beträgt die Temperatur 4090 °C und die Temperatur beträgt 83 °C, während die Temperatur auf dem Bedienfeld liegt.

Als DCGM-Exporteur war ich bereits im Jahr 2026 mit dem folgenden XID-Code (vormals XID 62) beschäftigt DCGM_FI_DEV_XID_ERRORS Sie benötigen ein Messgerät, um die Messung durchzuführen der Letzte viděným XID – Wenn Sie nicht mehr wissen, dass der Dokument-Exporter nicht mehr funktioniert. Obrana je gleichzeitig Sledovat Kernel Ring Buffer Přes Loki na doslovný řetězec NVRM: Xid (více níže). Jistota na dvakrát.

Auf dem neuesten Stand (RTX 4090, 5090) haben Sie die DCGM-Datenzentralfunkfunktion aktiviert – MIG, NVLink und Blackwelle sind nicht verfügbar und die ECC-Funktion ist neu. DCGM hat sich dazu entschieden, es zu tun; odlehčená komunitní alternativea nvidia_gpu_exporter (která scrapuje nvidia-smi) Ich habe keine Möglichkeit, DCGM zu kontaktieren. Pro Pro 6000 Blackwell, L40 und L4 – die meisten Rechenzentren / Profis – haben DCGM installiert, keine Anleitung.

node_exporter – Polovina-System

Die GPU-Metrik ist für viele Benutzer geeignet. Zbytek pokryje node_exporter:

Rodina metrik Proč na AI stroji záleží
node_cpu_seconds_total Saturace CPU – vLLM tokenisiert Daten auf CPU-Basis
node_memory_MemAvailable_bytes RAM-System – Analyse und Schlussfolgerung des Workflow-Schutzes
node_disk_io_time_seconds_total Saturace NVMe – natürlicher Datensatz, einfacher Checkpoint
node_filesystem_avail_bytes Místo na disku – Ihr Modell kann maximal 50–150 GB lang sein (d. h L04)
node_network_receive_bytes_total Propustnost sítě – vícestrojový trénink, inferenční clienti
node_load_average Rychlý ukazatel kondice
node_hwmon_temp_celsius Der CPU-Teploty ist auf dem neuesten Stand und der Teploty-Zdroje
node_vmstat_oom_kill Vystřelil OOM-Killer – keine Warnung vor bösen Augen

Poruchový scénář „došla systémová RAM, OOM killer sebral vLLM, contejner se čistě restartoval“ odhalíte tady, no pres DCGM. Schlitten node_memory_MemAvailable_bytes A alarmujte, jakmile klesne pod 5% celkové capacity. Wenn der Linux-Killer auf 0 % eingestellt ist, müssen Sie die SMS-Verarbeitung durchführen.

Prometheus – Konfiguration, Retention, Dimension

Prometheus wurde in seiner Datenbank von einem erfahrenen Orchester-Sänger angegriffen. Výchozí nastavení jsou rozumná; Zwei Stunden vor der Pause – ein Intervall, in dem die Zeit verschwendet wird.

Das 15-Sekunden-Intervall pro AI-Server-Správný-Zackátek: Dost rychlý na to, aby zachytil tepelný špičák dřív, not se z stane trvalý throttling, a dost pomalý na to, aby náklady na časové řady zůstaly nízké. Die Retention beträgt 15 Tage; 30 Tage vor Beginn der Situation müssen Sie sich die Zeit nehmen, bevor Sie mit der Miete beginnen.

Die Laufzeit beträgt 15 Sekunden, ca. 80 DCGM-Werte × N GPU + ca. 400 Knoten-Export-Werte + ca. 50 vLLM-Werte: täglich 1.5–2 GB, insgesamt 30 Tage bei 6–10 GB auf 8 GPUs. Nastavte pro jistotu retenci podle času i podle velikosti:

command:
  - "--storage.tsdb.retention.time=30d"
  - "--storage.tsdb.retention.size=20GB"

Kompaktaci spustí kterýkoli z limitů; platí ten, který se naplní dřív. Es sind 100 GB verfügbar. Sie müssen nur noch eine Reservierung vornehmen, wenn Sie noch nicht einmal dort sind.

Grafana Dashboardy – začněte hotovými

Nestavte Dashboardy od nuly. Komunita to už udělala.

Dashboard ID na Grafana.com Was deckt es ab?
NVIDIA DCGM Exporter-Dashboard 12239 Offizielles Dashboard für NVIDIE – GPU-Metrik
Node Exporter Full 1860 CPU / RAM / Festplatte / síť
Logy Loki / Promtail 13639 Vyhledávání a procházení logů
vLLM serving (komunitní) verschieden TTFT, TPOT, Délka Fronty, KV-Cache

Importiert seit 12239 Jahren im Jahr 1860. 90 % des Preises, aber das ist wirklich nicht der Fall, und das ist eine tolle Sache. Sie müssen sich keine Sorgen mehr machen, Ihr Budget ist frei, Sie müssen sich keine Sorgen machen. Wenn Sie nicht wissen, wo sich die Kentino AI-Hardware befindet, müssen Sie die GPU auf der Rückseite des Blackwell-Prozessors (5090 bei 87 °C, RTX Pro 6000 bei 90 °C) auf einem Panel für nicht mehr verfügbare PCIe-Steckplätze verwenden DCGM_FI_DEV_PCIE_LINK_GEN a DCGM_FI_DEV_PCIE_LINK_WIDTH, abyste na první pohled viděli, jestli riser nespadl z x16 na x8.

Loki – Logik, komplexes Denken, metrisches Denken

Metriky Vám řeknou, co se změnilo; logy řeknou proč . Ich logge mich in die Datenbank von Grafany ein, Promtail ist ein Ort, an dem ich vorbeikommen muss. Name des Promtails:

  • /var/log/syslog a journalctl -k — Kernel-ähnliches OOM, NVIDIA-basiertes Betriebssystem, XID-Version
  • /var/log/nvidia-installer.log — stav instalace ovladače
  • stdout vLLM-Kontejner (über den Docker JSON-Protokolltreiber)
  • Aplikační logy čehokoli, co zákazník provozuje

Weitere Informationen finden Sie in Grafaně je:

{job="syslog"} |= "NVRM:"

Weitere Informationen finden Sie unter NVIDIA mit dem Kernel-Ringpuffer – XID-Funktion, Lüfter, Speicherkarte, Zeitüberschreitung von GSP RPC. Spárujte to s Prometheus warningem na DCGM_FI_DEV_XID_ERRORS Ein Freund von mir hat eine Reihe von strukturellen Maßstäben und detaillierten Details erhalten.

Logy ve výchozím stavu mimo hostitele neposíláme. Loki je drží lokálně s retencí 30 dní; Sie können den SSH-Tunnel für Grafany verwenden, um die Verbindung herzustellen. Als erstes haben wir eine zentrale Datenbank für meine Server eingerichtet, aber die S3-Mitgliedschaft wurde nicht sofort in die Region übertragen – ich habe keine Ahnung, keine Architektur.

Metriky vLLM und SGLang – mehrere Anwendungen, kein Problem

DCGM Vám řekne, že GPU is aneprázdněné. Neřekne Vám, jestli se inferenční požadavky vracejí za 200 ms, nebo za 2 s. Na, musíte osadit osadit měřením eatingovou vrstvu.

vLLM vystavuje /metrics Natives neues OpenAI-API-Portfolio. Wir haben den Endpunkt nicht gefunden :8000/metrics Öffentliche Prometheus-Metrik mit Präfix vllm: (Zum Glück war es Prometheem vllm_). Ty, které stojí za scrapování:

Metrika vLLM Bedeutung
vllm:e2e_request_latency_seconds End-to-End-Latenz (Histogramm)
vllm:time_to_first_token_seconds TTFT – číslo, které uživatelé skutečně cítí
vllm:time_per_output_token_seconds Rychlost generování tokenů (Histogramm)
vllm:num_requests_running Aktivní rozpracované požadavky
vllm:num_requests_waiting Délka-Grenze
vllm:gpu_cache_usage_perc Využití KV-cache (0–1)
vllm:request_prompt_tokens Rozdělení délky promptů

Kombination vllm:num_requests_waiting > 0 a DCGM_FI_DEV_GPU_UTIL < 90% Der Name, die Frontseite, die GPU-Zählung – zeigt, ob die Tokenisierung oder die Tokenisierung nicht der Fall ist, aber nicht möglich ist. Uvidíte to jen tehdy, když máte obé metricy v jednom Dashboardu, a přesně v to tom i smysl sjednocení aplikační a hardwarové telemetry v jed no prometheu.

NVIDIA NIM ist ein vLLM-Metrik-Pod /v1/metrics Als erstes haben Sie das vLLM-Dashboard aktiviert und festgestellt, dass das NIM nur wenige Sekunden vor Pilzinfektionen geschützt ist. SGLang publikuje obdobnou sadu na vlastním portu (výchozí 30000); HTTP-Server llama.cpp vystavuje menší podmnožinu. Triton veröffentlicht zahlreiche Taxonomien. Wenn Sie Schokolade benötigen, verwenden Sie keine Hardware.

Pravidla pro Alertmanager – ta, která skutečně nasazujeme

Dashboardy jsou hezké. Alerty jsou užitečné. Es liegt ein echtes Problem mit der Hardware vor.

groups:
  - name: gpu
    interval: 30s
    rules:
      - alert: GPUTempCritical
        expr: DCGM_FI_DEV_GPU_TEMP > 87
        for: 30s
        labels: { severity: critical }
        annotations:
          summary: "GPU {{ $labels.gpu }} thermal critical ({{ $value }} °C)"

      - alert: GPUThermalThrottling
        expr: rate(DCGM_FI_DEV_THERMAL_VIOLATION[5m]) > 0
        for: 1m
        labels: { severity: warning }

      - alert: GPUECCUncorrectable
        expr: increase(DCGM_FI_DEV_ECC_DBE_VOL_TOTAL[10m]) > 0
        labels: { severity: critical }
        annotations:
          summary: "GPU {{ $labels.gpu }} uncorrectable ECC — schedule replacement"

      - alert: GPUXIDError
        expr: increase(DCGM_FI_DEV_XID_ERRORS[5m]) > 0
        labels: { severity: critical }

      - alert: GPUPowerEnvelopeExceeded
        expr: DCGM_FI_DEV_POWER_USAGE > 590  # 5090 nominal 575 W; alarm above sustained ceiling
        for: 5m
        labels: { severity: warning }

      - alert: GPUIdleDuringWork
        expr: DCGM_FI_DEV_GPU_UTIL < 5 and DCGM_FI_DEV_FB_USED > 1024
        for: 10m
        labels: { severity: warning }
        annotations:
          summary: "GPU {{ $labels.gpu }} idle with VRAM allocated — likely hung"

  - name: system
    interval: 30s
    rules:
      - alert: HostMemoryLow
        expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) < 0.05
        for: 2m
        labels: { severity: critical }

      - alert: OOMKillerFired
        expr: increase(node_vmstat_oom_kill[5m]) > 0
        labels: { severity: critical }

      - alert: ContainerRestartLoop
        expr: rate(container_start_time_seconds[15m]) > 3
        for: 10m
        labels: { severity: warning }

  - name: serving
    interval: 30s
    rules:
      - alert: vLLMQueueBacklog
        expr: vllm:num_requests_waiting > 10
        for: 5m
        labels: { severity: warning }

      - alert: vLLMHighLatency
        expr: histogram_quantile(0.95, rate(vllm:e2e_request_latency_seconds_bucket[5m])) > 10
        for: 5m
        labels: { severity: warning }

Názorová rozhodnutí v těchto pravidlech:

  • 87 °C und die GPU-Kritická-Teplota-Temperatur. 5090 auf dem Herd bei 80 °C drosseln. Stellen Sie sicher, dass die Heizung bei 80 °C nicht mehr warm ist, es liegt jedoch ein Problem mit der Klimaanlage vor, keine Software.
  • Jakákoli neopravitelná ECC chyba budí pohotovost. Jediná dvoubitová ECC chyba znehodnotí obsah dané stránky VRAM – tréninkový krok je špatně, výsledek inference is špatně. Karta potřebuje výměnu, kein Neustart.
  • GPUIdleDuringWork Ich bin ein zablokování-Detektor. Wenn 1 GiB nicht mehr als 5 % nach 10 Minuten gelöscht werden muss, müssen Sie nichts mehr tun. Wenn Sie keine CUDA-Verbindung herstellen, können Sie die Anwendung nicht ignorieren.
  • Alarmieren Sie den OOM-Killer. Damit Sie Linux neu starten können, müssen Sie Docker neu starten zehn Poruchový scénář, který ročně spolyká nejvíc inženýrských hodin. Ať je schlau.
  • Smyčka restartů kontejneru odhalí restartovací cykly NIM a vLLM, Sie müssen die gewünschte Menge an Geld ausgeben (Sie müssen es nicht mehr tun), aber Sie müssen es auch ohne zusätzliche Kosten kaufen.

Šasi a úložiště – IPMI a SMART

DCGM končí u GPU. node_exporter konvertiert Ihr Betriebssystem. Zbytek šasi – Ventilation, Zdroje, Okolní Teplota, Zdraví úložiště – vyžaduje dva další exportéry.

ipmi_exporter (prometheus-community) Mitglied des BMC-Netzwerks IPMI/RMCP mit verbesserter Telemetrie in den letzten Jahren: Die Beatmungsgeräte wurden mit einem stolzen Benutzer verbunden, der das System-Ereignisprotokoll aufzeichnete und erneut anmeldete vzduchu, stav BMC watchdogu. Da Supermicro und Bone64c mit BMC-Funktionalität nur zwei Tage vor der nächsten Woche arbeiten, wird das DCGM-Gerät nicht mit 8GPU-Prozessoren ausgestattet, sondern mit IPMI-Datenprojekten Eine Minute vor dem nächsten Tag, keine Karte XID 79. Spusťte jej na hostiteli (potřebuje). /dev/ipmi0) Es ist nicht möglich, dass BMC einen Multi-Target-Export durchführt.

smartctl_exporter (nebo starší smart_exporter) Die SMART-Attribute NVMe auf SATA-Festplatte anzeigen: Anzeige der angezeigten Medien, erneute Reservierung, Anzeige, möglicherweise nicht verfügbar. AI-Workload-JOS auf NVMe-Brutální – ein weiterer Datensatz, zápisy checkpointů ein Cache HuggingFace hat die Enterprise-Grenze auf eine Spot-Disc für viele Computer gesetzt. Alarmovat se vyplatí na nvme_available_spare klesající pod 20% a na nvme_percentage_used (ukazatel opotřebení) stoupající nad 80%. Selhání disku je druhá nejčastější hardwarová na vytíženém AI serveru hned po třídě riser/zdroj.

Kompletní-Monitorovací-Nasazení-Kentino-AI-Obsahuje-Obojí. Vícepráce je otázkou minut; Bitte beachten Sie, dass der Lüfter des Samsung 990 Pro nicht mit dem DWPD-Abziehriemen ausgestattet sein muss.

Echte Docker-Compose Pro-Management-VM

Co na Management stroji skutečně nasazujeme. Upravte host.docker.internal (Sie können keinen Hostnamen/IP-GPU-Server verwenden) Damit wird Prometheus zum Port-Export auf GPU-Hostseiten.

version: "3.8"

networks:
  monitoring: { driver: bridge }

volumes:
  prometheus_data:
  grafana_data:
  loki_data:

services:
  prometheus:
    image: prom/prometheus:v3.0.0
    restart: unless-stopped
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - ./rules:/etc/prometheus/rules:ro
      - prometheus_data:/prometheus
    command:
      - "--config.file=/etc/prometheus/prometheus.yml"
      - "--storage.tsdb.path=/prometheus"
      - "--storage.tsdb.retention.time=30d"
      - "--storage.tsdb.retention.size=20GB"
      - "--web.enable-lifecycle"
    ports: ["9090:9090"]
    networks: [monitoring]

  grafana:
    image: grafana/grafana:11.4.0
    restart: unless-stopped
    environment:
      - GF_SECURITY_ADMIN_PASSWORD__FILE=/run/secrets/grafana_pw
      - GF_USERS_ALLOW_SIGN_UP=false
    volumes:
      - grafana_data:/var/lib/grafana
      - ./grafana/provisioning:/etc/grafana/provisioning:ro
    secrets: [grafana_pw]
    ports: ["3000:3000"]
    networks: [monitoring]

  alertmanager:
    image: prom/alertmanager:v0.28.0
    restart: unless-stopped
    volumes:
      - ./alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro
    ports: ["9093:9093"]
    networks: [monitoring]

  loki:
    image: grafana/loki:3.3.0
    restart: unless-stopped
    command: -config.file=/etc/loki/loki.yml
    volumes:
      - ./loki.yml:/etc/loki/loki.yml:ro
      - loki_data:/loki
    ports: ["3100:3100"]
    networks: [monitoring]

secrets:
  grafana_pw: { file: ./secrets/grafana_pw.txt }

Auf einigen GPU-Hostseiten (selbst komponieren, auf dem GPU-Server):

services:
  dcgm-exporter:
    image: nvcr.io/nvidia/k8s/dcgm-exporter:4.5.1-4.8.0-ubuntu22.04
    restart: unless-stopped
    runtime: nvidia
    environment: [NVIDIA_VISIBLE_DEVICES=all]
    cap_add: [SYS_ADMIN]
    ports: ["9400:9400"]

  node-exporter:
    image: prom/node-exporter:v1.9.0
    restart: unless-stopped
    pid: host
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command:
      - "--path.procfs=/host/proc"
      - "--path.sysfs=/host/sys"
      - "--path.rootfs=/rootfs"
    ports: ["9100:9100"]

  ipmi-exporter:
    image: prometheuscommunity/ipmi-exporter:v1.10.0
    restart: unless-stopped
    privileged: true
    volumes: ["/dev/ipmi0:/dev/ipmi0"]
    ports: ["9290:9290"]

  smartctl-exporter:
    image: prometheuscommunity/smartctl-exporter:v0.13.0
    restart: unless-stopped
    privileged: true
    ports: ["9633:9633"]

  promtail:
    image: grafana/promtail:3.3.0
    restart: unless-stopped
    volumes:
      - /var/log:/var/log:ro
      - ./promtail.yml:/etc/promtail/promtail.yml:ro
    command: -config.file=/etc/promtail/promtail.yml

Scrape-Konfigurierung von Promethea auf der Verwaltungs-VM:

global:
  scrape_interval: 15s
  evaluation_interval: 15s

rule_files:
  - /etc/prometheus/rules/*.yml

alerting:
  alertmanagers:
    - static_configs:
        - targets: ["alertmanager:9093"]

scrape_configs:
  - job_name: dcgm
    static_configs:
      - targets: ["k-ai-01.lan:9400", "k-ai-02.lan:9400"]

  - job_name: node
    static_configs:
      - targets: ["k-ai-01.lan:9100", "k-ai-02.lan:9100"]

  - job_name: ipmi
    static_configs:
      - targets: ["k-ai-01.lan:9290", "k-ai-02.lan:9290"]

  - job_name: smart
    static_configs:
      - targets: ["k-ai-01.lan:9633", "k-ai-02.lan:9633"]

  - job_name: vllm
    metrics_path: /metrics
    static_configs:
      - targets: ["k-ai-01.lan:8000"]

Um die Funktionsfähigkeit des Labors zu gewährleisten, müssen Sie nur eine Woche lang warten. Der erste Server, der Promethea mit der Service-Discovery-Konfiguration konfiguriert hat, besteht darin, jede Woche Kubernetes zu verwenden, ein DCGM-Helm-Diagramm für den GPU-Betreiber und CRD zu exportieren ServiceMonitor od Prometheus Operatoru.

OpenTelemetry, Pixie, eBPF – bis 2026 verfügbar

Stellen Sie sicher, dass Sie sich keine Sorgen mehr machen müssen.

OpenTelemetry ist der CNCF-Standard für die instrumentelle Beobachtbarkeit und wird seit 2026 verwendet, um die typischen Signale (Metrik, Trassierung, Logik) stabil zu halten. Pipeline OTel Collectoru ist eine von vielen Organisationen organisierte Nahrazuje-Agentur, die die Daten von einem universitären Telemetrie-Anbieter verwaltet. Der pragmatische Pro-AI-Server wurde im Jahr 2026 veröffentlicht: Metriky nicht auf Prometheu (DCGM-Exporter und Node_Exporter mit Prometheem nativ und einer von Prometheem bereitgestellten Benachrichtigung) und OTel Collector haben dies getan, bis sie verfügbar sind verteilte Trasování napříč inferenčním grafem (Verbindung → API-Gateway → vLLM → Volání nástroje → Vektorová databáze → odpověď). Der Server muss mit jedem Modell installiert werden, das von OTel benötigt wird. Bei einer 71 %igen Organisation handelte es sich um „Eingabeaufforderungen“, die Prometheus in der OTel-App für den Download nutzen konnten.

Pixie Für Kubernetes ist die Beobachtbarkeit wichtig, die eBPF-Metrik ist hoch und die Logik wird durch die Verwendung von Code ersetzt. Neue Version von 2026, schneller Zugriff auf eBPF und GPU (bpftime, eGPU, verwendet ein Kernel-Modul (NVIDIE), verwendet eBPF-Instrumente für den GPU-Kernel und kann die PTX-Laufzeit injizieren. Das bedeutet, dass ich meine Produkte so schnell wie möglich zusammenstellen muss. Prozatím je podporovanou odpovědí DCGM.

Die Profilprüfung (Grafana Phlare, Pyroskop) wurde durchgeführt, oder ich habe sie gelesen. Um die Arbeitslast abzuleiten, muss KDE mit dem Framework-Code zusammenarbeiten (vLLM-Patch, Tokenisierung optimieren), Sie müssen die CPU-Funktion nicht mehr nutzen. Dieses Modell und die Standardkontejner bieten Ihnen zusätzlichen Luxus.

Co se rozbíjí (monitorovací edice)

Vorherige Informationen über den Stapel und die folgenden Schritte:

  • Prometheu se zaplní disk. Die Frist beträgt 15 Tage; mein nastavujeme 30 se stropem 20 GB. Bis zu 60 Tage vor der Abreise nach GB. Nastavte retenci podle času i velikosti.
  • Der DCGM-Exporter kann die GPU aktualisieren. Projekt: Das GPU-Panel ist bereits fertig. Náprava: restartovat kontejner; Wenn die Laufzeit erreicht ist, ist die Laufzeit höher nvidia-ctk runtime configure.
  • Der Alertmanager ist nicht vor Ort, er hat die Möglichkeit, den Alarm auszulösen. Nachdem Sie Prometheus an Grafanu gesendet und den Alertmanager per E-Mail an Slack weitergeleitet haben, haben Sie die Möglichkeit, eine neue Benachrichtigung zu erhalten. Otestujte to tak, že schválně vyvoláte GPUTempCritical Zátěžovým během, nebo hned první die vystřelte syntetický warning přes amtool alert add.
  • Exploze Kardinality kvůli štítkům na úrovni požadavků. Neštítkujte vLLM metriky přes user_id oder request_id. Prometheus ist kein einziger Mensch – hat seine Datenbank auf dem neuesten Stand gehalten.
  • Ein Mann aus Grafany ist bereit, zu komponieren. Použijte Docker secrets, ne GF_SECURITY_ADMIN_PASSWORD v-Block-Umgebung. docker inspect i logy hodnoty proměnných vyzradí.
  • XID-Messgerät, který se nevynuluje. Jak bylo zmíněno, XID Gauge DCGM-Exporteur může po zotavení zůstat viset na poslední viděné hodnotě. Zkombinujte metriku se sledováním syslogu na NVRM: v Loki, ein nemáte falešný pocit jistoty.

Upřímně řečeno

Überprüfen Sie das Labor, nachdem Sie ein Grafanu-Gerät installiert haben, stellen Sie sicher, dass Sie ein Dashboard haben, und warten Sie, bis es nicht mehr funktioniert. Das Dashboard enthält Artefakte, aber es gibt auch Probleme mit der Neuinstallation. Problem mit der Alarmbereitschaft. Der Alertmanager hat bereits Zugriffe auf (E-Mail, Slack, PagerDuty) durchgeführt, während er sich mit der GPU beschäftigt hat, zwei ECC-, když je opravdu něco špatně. Tohle udělejte jako první. Das Armaturenbrett ist immer noch in Ordnung, wenn es um Vorfälle geht.

Wenn Sie die Möglichkeit haben, den Server zu öffnen, müssen Sie wissen, dass Kentino die Möglichkeit hat, den Stack zu warnen, bevor Sie die Maschine auf den Tisch legen und dann loslegen. Um dies zu verhindern, funktioniert das System nicht. Dies ist eine Warnung, Sie müssen sich keine Gedanken darüber machen, ob Sie sich auf den Weg gemacht haben – zwei Tage zuvor, noch nicht einmal auf XID 79, und Sie müssen das Kabel mit der GPU-Reklamation verbinden. Jediná taková událost zaplatí celé celé monitorovací úsilí, a to mnohonásobně.

Co udělat dál

Für den Server, der Kentinem postet, müssen Sie Folgendes tun:

  1. Postavte Management VM nebo servisní uzel. Es sind nur 4 bis 8 GB Speicherplatz vorhanden. Installieren Sie Docker. Nasaďte výše uvedený compose s prometheus + grafana + alertmanager + loki.
  2. Na GPU hostiteli nainstalujte nvidia-container-toolkit (siehe Abb L02) a ověřte, že docker run --rm --gpus all nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi Es klappt.
  3. NASA dcgm-exporter, node-exporter, ipmi-exporter, smartctl-exporter a promtail auf GPU-Hostern. U každého endpointu /metrics ověřte, že vrací data.
  4. Prometheus nutzte die Möglichkeit, die Dateien und den Endpunkt zu exportieren /metrics od vLLM. Načtěte konfiguraci znovu (curl -X POST :9090/-/reload).
  5. Importiertes Grafana-Dashboard von 12239 bis 1860. Jetzt ist es so, dass die GPU und das Panel-System aktiviert sind.
  6. Der Alertmanager wird per E-Mail an Slack gesendet. Vystřelte syntetický warning pres amtool. Pokud Testovací Alert Nedorazí, Nedorazí ani ten skutečný.
  7. Pusťte zátěžový běh (gpu-burn na hodinu, nebo realný trénink) a sledujte armaturenbrett. Vor Kurzem war der GPU-Speicher bei 80 °C neu, die NVMe-Karte muss mit einem KV-Cache ausgestattet sein – und das bedeutet, dass die nächste Woche nicht mehr funktioniert.

Folgende Kategorien sind verfügbar: L01 oder die aktuelle Version, L02 oder CUDA zur kontejnierten Laufzeit, L03 oder die geladene Datei, L04 oder das zweite zugehörige System.

Nejdřív monitorujte. Pak laďte. Všechno ostatní je hádání.


Alles, was ich suche, ist Kentino Wiki, eine Referenzreihe zu KI-Technologie, Robotik und System, die ich vorgeschlagen habe. Kommentieren Sie uns bitte unter info@kentino.com.