---
title: VictoriaLogs (K3s 로그 저장)
updated: 2026-04-08 Grafana 통합
tags: [k3s, logging, vector, observability, grafana]
---

# VictoriaLogs

K3s 클러스터의 raw 로그 저장소. 메트릭은 [[victoriametrics-stack|VictoriaMetrics]], 로그는 VictoriaLogs로 분리. 같은 VM 팀 제품이라 운영 패턴 일치.

## 접속

| 항목 | 값 |
|------|------|
| Web UI | https://vl.inouter.com/select/vmui/ |
| HTTP API | https://vl.inouter.com/ |
| 클러스터 내부 | http://vlogs-victoria-logs-single-server.logging.svc.cluster.local:9428 |
| 노출 방식 | LAN 직접 (Cloudflare DNS → k3s.inouter.com → MetalLB 192.168.9.53 → Traefik IngressRoute), BunnyCDN 우회 |
| TLS | wildcard-inouter-tls (reflector로 logging ns에 자동 복제) |
| 인증 | 없음 (LAN/Tailscale 안에서만 접근 가능) |

## 설치

```bash
helm repo add vm https://victoriametrics.github.io/helm-charts/
helm install vlogs vm/victoria-logs-single -n logging -f vlogs-values.yaml
```

values 핵심:

```yaml
server:
  retentionPeriod: 14d
  persistentVolume:
    enabled: true
    storageClassName: longhorn
    size: 50Gi
  resources:
    requests: { cpu: 100m, memory: 256Mi }
    limits:   { cpu: 1000m, memory: 1Gi }
```

- 단일 노드 (`victoria-logs-single`), 14일 보존, longhorn 50GiB PVC
- 네임스페이스: `logging` (Vector와 같은 곳)

## Traefik IngressRoute

`logging` ns:

```yaml
apiVersion: traefik.io/v1alpha1
kind: IngressRoute
metadata:
  name: vlogs
  namespace: logging
spec:
  entryPoints: [websecure]
  routes:
    - match: Host(`vl.inouter.com`)
      kind: Rule
      services:
        - name: vlogs-victoria-logs-single-server
          port: 9428
  tls:
    secretName: wildcard-inouter-tls
```

## 데이터 파이프라인

### APISIX 로그 (현재 가동 중)

```
APISIX (apisix ns, 2 replica) stdout (nginx access log 형식)
  → Vector daemonset (logging ns, 3 노드)
    - source: apisix_logs (kubernetes_logs, label=app.kubernetes.io/name=apisix)
    - transform: parse_apisix (정규식 파싱 → method/path/status/request_time/host/UA 등 구조화)
    - sink: vlogs (elasticsearch bulk API)
  → VictoriaLogs (/insert/elasticsearch/_bulk)
```

Vector helm values는 [[vector|vector]] 문서 또는 `helm get values vector -n logging` 참조.

### 다른 잠재 source

- Traefik 로그는 별도 sink로 [[crowdsec-safeline|CrowdSec]]에 전송 (vector의 다른 transform/sink). VictoriaLogs로는 안 보내고 있음. 필요하면 sink inputs에 `parse_traefik` 추가하면 됨.

## Grafana 통합

vm-stack의 Grafana(`monitoring/vm-stack-grafana`)에 등록되어 있음. Explore에서 data source를 `VictoriaLogs`로 선택하면 LogsQL 쿼리 가능.

### 등록 방법

두 단계로 구성:

1. **플러그인 설치** — vm-stack helm values의 `grafana.plugins`에 `victoriametrics-logs-datasource` 추가하고 `helm upgrade vm-stack`. Grafana 시작 시 자동 다운로드/설치 (현재 v0.26.3).

2. **datasource 등록** — `grafana.additionalDataSources`는 vm-stack chart 구조상 sub-chart로 전달이 안 되므로 무시됨. 대신 **sidecar ConfigMap 패턴** 사용:

```yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: vlogs-grafana-datasource
  namespace: monitoring
  labels:
    grafana_datasource: "1"   # ← grafana-sc-datasources sidecar가 자동 발견
data:
  vlogs.yaml: |
    apiVersion: 1
    datasources:
      - name: VictoriaLogs
        type: victoriametrics-logs-datasource
        access: proxy
        url: http://vlogs-victoria-logs-single-server.logging.svc.cluster.local:9428
        isDefault: false
        editable: true
```

`kubectl apply -f` 한 번이면 sidecar가 즉시 picks up하고 grafana가 hot reload (`Writing /etc/grafana/provisioning/datasources/vlogs.yaml`).

### 주의

- Grafana PVC가 ReadWriteOnce이므로 helm upgrade 시 새 pod이 다른 노드에 스케줄되면 Multi-Attach error → 기존 pod 수동 삭제 필요. (또는 Grafana Deployment의 strategy를 Recreate로 변경)
- helm values의 `grafana.additionalDataSources`는 무시되지만 plugin 설치는 작동하므로, plugin 라인은 helm values에 두는 게 맞음.

## LogsQL 쿼리 예시

```logsql
# 모든 APISIX 로그
program:apisix

# 5xx 에러만
program:apisix status:>=500

# 특정 path
program:apisix path:/apisix/admin/routes

# 느린 요청 (1초 이상)
program:apisix request_time:>1.0

# 특정 클라이언트 외부 IP (real_ip 적용 후 진짜 IP)
program:apisix remote_addr:211.211.28.97

# 특정 호스트
program:apisix host:juiceshop.keepanker.cv

# 특정 호스트의 4xx/5xx
program:apisix host:juiceshop.keepanker.cv status:>=400

# 특정 노드 pod
program:apisix _stream:{kubernetes.pod_name="apisix-f5764d796-kdj2x"}
```

> [!info] 진짜 IP 추적
> 2026-04-08 [[apisix#real_ip 설정 (2026-04-08 patch 반영)|APISIX real_ip patch]] 이후 `remote_addr`에 BunnyCDN edge가 전달한 진짜 외부 IP가 찍힘. `xff`/`xrip` 필드로 X-Forwarded-For/X-Real-IP 헤더 원본도 보존. 그 이전 로그는 K3s pod CIDR(10.42.x.x)만 찍혀 있음.

> [!warning] parse_apisix 정규식과 APISIX log format은 짝
> APISIX의 `access_log_format`을 바꾸면 vector helm values의 `parse_apisix` 정규식도 같이 업데이트해야 함. 안 그러면 매치 실패해서 `log_type=raw`로 떨어지고 구조화 필드(method/status/path 등) 추출이 안 됨.

UI에서 직접 쿼리하거나 HTTP API:

```bash
curl -s "https://vl.inouter.com/select/logsql/query?query=program:apisix+status:>=500&limit=20"
```

## 운영 명령

```bash
# 메트릭 (ingest 통계)
curl -s https://vl.inouter.com/metrics | grep vl_rows_ingested_total

# 디스크 사용량
kubectl exec -n logging vlogs-victoria-logs-single-server-0 -- du -sh /storage

# Vector 상태
kubectl logs -n logging -l app.kubernetes.io/name=vector --tail=50

# Vector configmap 직접 보기
kubectl get cm vector -n logging -o jsonpath='{.data.vector\.yaml}'
```

## 향후 작업

- [x] Grafana data source 추가 (2026-04-08 완료, 위 "Grafana 통합" 섹션 참조)
- [ ] CrowdSec와 통합 (APISIX 로그 → CrowdSec 시나리오)
- [ ] AI 분석 컴포넌트 (CronJob 또는 streaming, 새 공격 패턴 자동 차단 룰 생성)
- [ ] Traefik 로그도 VL로 동시 sink (현재는 CrowdSec only)