15개 정본 문서에서 날짜별 변경이력, 인시던트 기록, 폐기된 구현 상세를 history/ 디렉토리로 분리. 정본은 현재 상태만 기술하는 백서 형태로 정리. 각 정본에 history 위키링크 추가. 분리된 history 파일 12건: - apisix git push 500, k3s postgresql migration, apisix→traefik 전환 - netbis DDoS 공격, gitea 이전/분리, usb 2.5g hang + NFS hard mount - supabase→patroni, apisix etcd 통합/분리, anomaly-detect 재설계 - patroni failover incident, zlambda nixos migration, ops-agents setup Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
911 B
911 B
date, topic, areas, tags
| date | topic | areas | tags | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-04 | USB 2.5GbE 어댑터 절전 hang + NFS hard mount D-state 장애 |
|
|
배경
USB 2.5GbE 어댑터(r8152/cdc_ncm)가 Linux USB autosuspend에 의해 절전 모드 진입 후 드라이버 hang 발생.
인시던트
kr2에서 NFS hard mount가 죽은 2.5G IP로 D-state 누적되어 로드 2000+ 장애. 서버 먹통.
복구
- USB unbind/bind로 즉시 복구
- kr2: GRUB
usbcore.autosuspend=-1, udev rule99-usb-ethernet.rules(scatter-gather off) - NAS:
/usr/local/etc/rc.d/usb-no-suspend.sh스타트업 스크립트
교훈
- NFS hard mount는 NAS 끊기면 무한 대기 → 서버 먹통
- 모든 NFS 마운트는
soft,timeo=50,retrans=3필수
참조
infra/infra-hosts.md— 2.5G LAN 구성infra/nas-storage.md— NFS 마운트 옵션