0a45e0536c
incus-kr2 freeze 사건 분석으로 확정된 IOMMU 부분 hang 메커니즘과 운영 규칙(`iommu=pt` 선제 적용)을 별도 reference 문서로 분리. 호스트 사연(history)과 메커니즘(reference)을 분리해 다른 AMD Ryzen 호스트 도입 시 재사용 가능한 정본으로 정리. - infra/compute/amd-vi-iommu.md 신규 (메커니즘 + 차단 + 운영 규칙) - compute _index.md, hosts/incus-kr2.md, history 문서에 링크
71 lines
2.7 KiB
Markdown
71 lines
2.7 KiB
Markdown
---
|
|
title: incus-kr2
|
|
updated: 2026-05-05
|
|
tags: [infra, host, incus, k3s, seoul, amd, iommu]
|
|
type: host
|
|
host_kind: server
|
|
location: seoul
|
|
provider: self-hosted
|
|
status: active
|
|
ssh_host: incus-kr2
|
|
tailscale_ip: 100.119.109.41
|
|
lan_ip: 192.168.9.135
|
|
lan_ip_2_5g: 192.168.205.135
|
|
os: Debian 13 (trixie)
|
|
kernel: 6.12.85+deb13-amd64
|
|
cpu_model: AMD Ryzen 9 6900HX
|
|
cpu_cores: 16
|
|
ram_gb: 30
|
|
k3s_role: control-plane
|
|
critical: true
|
|
monthly_cost_usd: 0
|
|
chassis: Bosgame EffiZen Series (mini PC)
|
|
---
|
|
|
|
## 역할
|
|
|
|
Incus + K3s control-plane 호스트 (서울존). Mini PC 폼팩터, AMD Ryzen 9 6900HX. K3s control-plane 2 중 하나, Incus 프로젝트 `default` + `inbest`. inbest 프로젝트가 leewell.com 등 7 컨테이너(cloudflared/nginx/php5/php8/mariadb10/phpmyadmin/sftp) 호스팅 — kr2 단일 장애 시 leewell.com 포함 inbest 서비스 전체 다운.
|
|
|
|
## 네트워크
|
|
|
|
- 1G LAN `192.168.9.135` (eno1) — Tailscale 진입
|
|
- 2.5G LAN `192.168.205.135` (USB r8152, `enx803f5dd34c9f`) — 백업/대용량 전송용 (실 사용량 14~70 B/s 수준으로 거의 idle, [[infra-hosts]] 참조)
|
|
- Tailscale `100.119.109.41`
|
|
|
|
## 전원/원격제어
|
|
|
|
- Tapo 스마트플러그 연결 → 강제 리부팅 가능 (호스트 hang 시 유일한 OOB 수단)
|
|
- iLO/IPMI 미장착 (mini PC 폼팩터)
|
|
|
|
## 알려진 hang 패턴 — AMD-Vi (IOMMU) Completion-Wait Timeout
|
|
|
|
호스트 freeze 반복의 근본 원인. 메커니즘 정본은 [[amd-vi-iommu]], 사건 사연은 [[2026-05-04-amd-iommu-freeze]].
|
|
|
|
요약: AMD Ryzen 6900HX IOMMU의 Completion-Wait queue가 stall되면서 DMA 의존 디바이스(NVMe, USB 컨트롤러 등)가 멈춤 → containerd/incus/sshd login만 죽고 ICMP/이미 매핑된 프로세스(nginx, node-exporter)는 살아남는 부분 hang. 조치: GRUB cmdline `iommu=pt` 추가 (2026-05-04 적용, 17시간 timeout 0건 검증).
|
|
|
|
**과거 freeze 이력 비교**:
|
|
| 일자 | 원인 | 조치 |
|
|
|------|------|------|
|
|
| 2026-04-04 | USB 2.5GbE r8152 autosuspend hang ([[2026-04-04-usb-25g-hang]]) | `usbcore.autosuspend=-1` + udev rule |
|
|
| 2026-04-19 | OOM freeze (RAM 30 GiB 과적) | `kubelet system-reserved=8Gi` |
|
|
| 2026-05-04 | AMD-Vi IOMMU Completion-Wait timeout | `iommu=pt` |
|
|
|
|
## kr2 전용 K3s 설정
|
|
|
|
- `kubelet system-reserved=memory=8Gi`, `eviction-hard=memory.available<2Gi` (2026-04-19 OOM 대응, RAM 30 GiB로 K3s + Incus 공존)
|
|
- 변경 금지 — 제거 시 OOM 재현 위험
|
|
|
|
## GRUB cmdline
|
|
|
|
```
|
|
ro usbcore.autosuspend=-1 quiet iommu=pt
|
|
```
|
|
|
|
- `usbcore.autosuspend=-1` — USB r8152 절전 hang 차단 (2026-04-04)
|
|
- `iommu=pt` — AMD-Vi Completion-Wait timeout 차단 (2026-05-04)
|
|
|
|
## 디스크
|
|
|
|
- `/dev/nvme0n1` — root + 데이터, ext4 937 GiB (사용 18%)
|
|
- SMART 깨끗 (Critical Warning 0, Media Errors 0, Percentage Used 1%)
|