outline-data Longhorn 스냅샷 250개 하드캡 초과 사건 기록 및 해결
- k3s 정기 점검 중 outline-data 볼륨 스냅샷 256개(하드캡 250 초과)로 critical-snapshot/critical-backup 신규 생성 실패 발견 - kubectl delete(webhook이 finalizer 유지)와 파드 재배포/재attach 둘 다 무효였음을 확인 후, Longhorn REST API snapshotPurge 반복 호출로 256 -> 58개 정상화 - 근본 원인(retain 정책이 왜 이 볼륨만 실패했는지)은 미확정으로 남김
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
---
|
||||
title: Longhorn 분산 블록 스토리지
|
||||
updated: 2026-05-09
|
||||
updated: 2026-07-11
|
||||
tags: [infra, platform, longhorn, storage, k3s]
|
||||
---
|
||||
|
||||
@@ -104,6 +104,19 @@ kubectl get snapshots.longhorn.io -A -o json | jq '[.items[] | select(.status.ma
|
||||
|
||||
상세 도입 기록: [[../../history/2026-05-02-longhorn-snapshot-purge-cron|2026-05-02 도입]] / [[../../history/2026-05-07-longhorn-1-11-2-upgrade|2026-05-07 fix 적용]] / [[../../history/2026-05-09-longhorn-snapshot-purge-cron-removal|2026-05-09 회수]]
|
||||
|
||||
## 볼륨별 snapshot count 하드리밋(250) 초과 시 대응 (2026-07-11 사례)
|
||||
|
||||
`outline-data` (`pvc-c4bb2746-...`) 볼륨이 스냅샷 256개까지 쌓여 볼륨당 하드캡 250을 초과, `critical-snapshot`/`critical-backup` 신규 생성 실패한 사례 발생. 근본 원인(왜 이 볼륨만 retain 정책이 안 먹혔는지)은 미확정이나, **`kubectl delete`(admission webhook이 finalizer 재부착해 무효) 와 파드/노드 재attach(효과 없음) 둘 다 실패**하고, **Longhorn REST API `snapshotPurge` 액션을 반복 호출**해서만 정상화(256→58) 성공:
|
||||
|
||||
```bash
|
||||
kubectl port-forward -n longhorn-system svc/longhorn-frontend 19500:80 &
|
||||
# 8~10초 간격으로 여러 번 반복 (1회로는 부족, 스냅샷 개수 줄어드는 것 보며 반복)
|
||||
curl -s -X POST -H "Content-Type: application/json" -d '{}' \
|
||||
"http://127.0.0.1:19500/v1/volumes/<volume-name>?action=snapshotPurge"
|
||||
```
|
||||
|
||||
재발 시 이 방법을 먼저 시도할 것. 상세: [[../../history/2026-07-11-outline-data-snapshot-cap-exceeded|2026-07-11 history]]
|
||||
|
||||
## 업그레이드 절차 (표준)
|
||||
|
||||
minor skip 금지 — 한 단계씩 순차. 각 단계 공통:
|
||||
|
||||
Reference in New Issue
Block a user