outline-data 스냅샷 사건: 2026-06-01 retention 수정이 미검증 상태로 방치돼 재발했음을 확인
- 2026-06-01 RecurringJob spec.labels patch는 그대로 살아있으나 실제 신규 스냅샷에 recurring-job 라벨이 여전히 안 붙는 것을 재확인 - 라벨 결함이 특정 볼륨이 아닌 전 볼륨 공통이며, outline-data는 쓰기 빈도가 높아 250 하드캡에 먼저 도달한 것으로 추정 - 다른 고빈도 쓰기 볼륨도 시간 경과 시 동일 문제 위험 있음을 문서화
This commit is contained in:
@@ -104,9 +104,13 @@ kubectl get snapshots.longhorn.io -A -o json | jq '[.items[] | select(.status.ma
|
||||
|
||||
상세 도입 기록: [[../../history/2026-05-02-longhorn-snapshot-purge-cron|2026-05-02 도입]] / [[../../history/2026-05-07-longhorn-1-11-2-upgrade|2026-05-07 fix 적용]] / [[../../history/2026-05-09-longhorn-snapshot-purge-cron-removal|2026-05-09 회수]]
|
||||
|
||||
## ⚠️ snapshot retention 라벨 결함 — 전 볼륨 공통, 미해결 (2026-07-11 재확인)
|
||||
|
||||
[[../../history/2026-06-01-longhorn-snapshot-retention-fix|2026-06-01]]에 RecurringJob `spec.labels` patch로 "영구 수정"했다고 기록했으나, 그 문서의 검증 단계는 "(예정)"으로 남아 실제 확인이 안 됐음. **2026-07-11 재확인 결과 patch(`spec.labels`)는 그대로 살아있는데도 신규 생성되는 스냅샷에 `recurring-job.longhorn.io/*` 라벨이 여전히 하나도 안 붙음** — retention이 자기 소속 스냅샷을 식별 못해 **전 볼륨에서 자동 정리가 사실상 계속 작동 안 하는 중**. 볼륨별 개수 차이(8~256)는 retention 여부가 아니라 볼륨별 쓰기 빈도 차이로 추정 — **쓰기 빈도가 높은 다른 볼륨도 시간이 지나면 250 하드캡에 부딪힐 위험 있음**. 근본 원인(라벨 부착 메커니즘 자체의 결함) 미해결 — 원인 조사 필요. 상세: [[../../history/2026-07-11-outline-data-snapshot-cap-exceeded|2026-07-11 history]]
|
||||
|
||||
## 볼륨별 snapshot count 하드리밋(250) 초과 시 대응 (2026-07-11 사례)
|
||||
|
||||
`outline-data` (`pvc-c4bb2746-...`) 볼륨이 스냅샷 256개까지 쌓여 볼륨당 하드캡 250을 초과, `critical-snapshot`/`critical-backup` 신규 생성 실패한 사례 발생. 근본 원인(왜 이 볼륨만 retain 정책이 안 먹혔는지)은 미확정이나, **`kubectl delete`(admission webhook이 finalizer 재부착해 무효) 와 파드/노드 재attach(효과 없음) 둘 다 실패**하고, **Longhorn REST API `snapshotPurge` 액션을 반복 호출**해서만 정상화(256→58) 성공:
|
||||
`outline-data` (`pvc-c4bb2746-...`) 볼륨이 위 결함으로 스냅샷 256개까지 쌓여 볼륨당 하드캡 250을 초과, `critical-snapshot`/`critical-backup` 신규 생성 실패한 사례 발생. **`kubectl delete`(admission webhook이 finalizer 재부착해 무효) 와 파드/노드 재attach(효과 없음) 둘 다 실패**하고, **Longhorn REST API `snapshotPurge` 액션을 반복 호출**해서만 정상화(256→58) 성공:
|
||||
|
||||
```bash
|
||||
kubectl port-forward -n longhorn-system svc/longhorn-frontend 19500:80 &
|
||||
|
||||
Reference in New Issue
Block a user