Instalasi Monitoring (Prometheus + Grafana)¶

1. Keputusan Teknis Awal¶

Item	Keputusan
Instance Grafana	Baru, khusus oneKE — bukan reuse grafana.sikomut.ums.id (isolasi data cluster ini)
Chart	kube-prometheus-stack (prometheus-community) — bundel Prometheus + Grafana + Alertmanager + node-exporter + kube-state-metrics
Namespace	monitoring-system
Retensi Prometheus	15 hari (titik awal — bisa dinaikkan setelah pola kapasitas storage jelas)
Akses Grafana	https://oneke.ums.id/grafana/ (subpath, domain existing, TLS oneke-root-tls)

2. StorageClass longhorn-hdd — Ternyata Belum Pernah Dibuat¶

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: longhorn-hdd
provisioner: driver.longhorn.io
parameters:
  numberOfReplicas: "2"
  staleReplicaTimeout: "30"
allowVolumeExpansion: true

3. Kapasitas Longhorn — "no available disk for replica"¶

Setelah StorageClass dibuat, PVC Prometheus tetap gagal dijadwalkan dengan error scheduling Longhorn "no available disk for replica". Root cause: PVC Galera (3× 50Gi) + PVC Postgres (3× 50Gi) = 300Gi nominal reservation sudah melebihi ambang batas aman (storage-minimal-available-percentage: 25) di 3 storage node berkapasitas 128,8GB masing-masing — meskipun actual usage datanya masih sangat kecil (Longhorn menghitung dari nominal request, bukan usage riil).

Keputusan yang diambil (dua langkah, dipilih Admin lewat opsi cepat vs resize PVC existing):

1. Turunkan storage-minimal-available-percentage dari 25% → 10% (Setting Longhorn, cluster-wide): bash kubectl -n longhorn-system patch settings.longhorn.io storage-minimal-available-percentage \ --type=merge -p '{"value":"10"}'
2. Perkecil permintaan storage Prometheus dari rencana awal 15Gi → 5Gi (masih cukup untuk retensi 15 hari dengan volume data monitoring saat ini): bash kubectl patch prometheus monitoring-kube-prometheus-prometheus -n monitoring-system \ --type=merge -p '{"spec":{"storage":{"volumeClaimTemplate":{"spec":{"resources":{"requests":{"storage":"5Gi"}}}}}}}'

4. Install kube-prometheus-stack¶

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install monitoring prometheus-community/kube-prometheus-stack \
  -n monitoring-system --create-namespace \
  --set prometheus.prometheusSpec.retention=15d \
  --set prometheus.prometheusSpec.storageSpec.volumeClaimTemplate.spec.storageClassName=longhorn-hdd \
  --set prometheus.prometheusSpec.storageSpec.volumeClaimTemplate.spec.resources.requests.storage=15Gi

(Ukuran storage lalu dipatch turun ke 5Gi setelah masalah kapasitas di §3 ditemukan.)

5. Routing Grafana — Subpath Tanpa stripPrefix¶

# grafana-values.yaml
grafana:
  adminPassword: "<auto-generated, lihat §8>"
  grafana.ini:
    server:
      domain: oneke.ums.id
      root_url: "https://oneke.ums.id/grafana/"
      serve_from_sub_path: true

helm upgrade monitoring prometheus-community/kube-prometheus-stack \
  -n monitoring-system -f grafana-values.yaml --reuse-values

IngressRoute Traefik (tanpa stripPrefix, hanya redirect trailing-slash + priority eksplisit mengikuti pola yang sudah ditemukan di migrasi Dashboard/Longhorn):

apiVersion: traefik.io/v1alpha1
kind: IngressRoute
metadata:
  name: grafana-ingressroute
  namespace: monitoring-system
spec:
  entryPoints: [web, websecure]
  routes:
    - match: Host(`oneke.ums.id`) && PathPrefix(`/grafana`)
      kind: Rule
      priority: 100
      middlewares:
        - name: redirect-grafana-slash
      services:
        - name: monitoring-grafana
          port: 80
  tls:
    secretName: oneke-root-tls

6. ServiceMonitor / PodMonitor Tambahan¶

Tiga sumber metrik ditambahkan secara manual (belum ter-cover otomatis oleh chart bawaan):

Monitor	Tipe	Target	Port	Catatan
longhorn-manager	ServiceMonitor	Service longhorn-backend (namespace longhorn-system)	manager (9500)	Port sudah bernama, langsung jalan
traefik	PodMonitor	Pod app.kubernetes.io/name=traefik (namespace traefik-system)	metrics (9100)	Port sudah bernama di container
patroni	PodMonitor	Pod application=spilo (namespace postgres-system)	8008	Port container tidak bernama — lihat gotcha di bawah

apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: patroni
  namespace: monitoring-system
  labels:
    release: monitoring       # wajib cocok dengan podMonitorSelector Prometheus CR
spec:
  selector:
    matchLabels: { application: spilo }
  namespaceSelector:
    matchNames: [postgres-system]
  podMetricsEndpoints:
    - path: /metrics
      targetPort: 8008         # numeric, karena container port Patroni tidak diberi nama
      interval: 30s

7. Metrik MariaDB Galera — Native, Bukan Exporter Manual¶

kubectl patch mariadb galera-cluster -n galera-system --type=merge -p '
spec:
  metrics:
    enabled: true
    username: monitoring
    passwordSecretKeyRef:
      name: galera-monitoring-password
      key: password
      generate: true
    serviceMonitor:
      prometheusRelease: monitoring   # otomatis diterjemahkan jadi label release: monitoring
      interval: 30s
'

Operator membuat Deployment terpisah galera-cluster-metrics (bukan sidecar per-pod) yang melakukan multi-target probe ke ketiga node Galera sekaligus (/probe?target=<node>:3306, mirip pola blackbox-exporter) — satu exporter, tiga target, masing-masing diberi label role (primary/replica).

8. Bug: Cache Secret Kubelet Basi — Config Baru Tidak Otomatis Terbaca¶

9. Hasil Verifikasi Target¶

kubectl exec <pod-curl-sementara> -- curl -s \
  'http://monitoring-kube-prometheus-prometheus.monitoring-system.svc.cluster.local:9090/api/v1/targets?state=active'

Job	Target	Status
serviceMonitor/monitoring-system/longhorn-manager/0	7 endpoint (semua manager node Longhorn)	✅ up semua
podMonitor/monitoring-system/traefik/0	2 pod Traefik	✅ up semua
podMonitor/monitoring-system/patroni/0	3 pod Patroni	✅ up semua
serviceMonitor/galera-system/galera-cluster-metrics/0..2	3 node Galera (primary + 2 replica)	✅ up semua

10. Ringkasan Kredensial¶

Password admin Grafana auto-generated saat instalasi Helm, tersimpan di Secret monitoring-grafana (namespace monitoring-system, key admin-password) — tidak dituliskan plaintext di dokumen ini:

kubectl get secret monitoring-grafana -n monitoring-system \
  -o jsonpath='{.data.admin-password}' | base64 -d

Ringkasan Eksekusi¶

Langkah	Status
StorageClass longhorn-hdd (baru, replika 2×)	✅
Namespace monitoring-system	✅
kube-prometheus-stack (Prometheus + Grafana + Alertmanager)	✅
Retensi Prometheus 15 hari, storage 5Gi	✅
Threshold storage-minimal-available-percentage 25%→10%	✅
Grafana di /grafana/ (serve_from_sub_path)	✅
ServiceMonitor Longhorn + PodMonitor Traefik/Patroni	✅ Semua target up
Metrik Galera (native mariadb-operator metrics)	✅ Semua target up
Link Grafana di homepage oneke.ums.id	✅

---

Diimplementasikan 8–9 Juli 2026. Lihat Errata & Rekonsiliasi untuk temuan lain di sesi-sesi sebelumnya.