diff --git a/projects/netbis-sigmatch.md b/projects/netbis-sigmatch.md index bd02e52..b1b1cd7 100644 --- a/projects/netbis-sigmatch.md +++ b/projects/netbis-sigmatch.md @@ -13,7 +13,7 @@ Netbis NPM 로그(VictoriaLogs)를 실시간 분석해 **사람 개입 없이 - **배포 예정**: jp1 Incus `ai-sigmatch` 컨테이너 (systemd timer 1분) - **책임자**: kappa 직접 개발 (Heimdall 위임 X, 개발 단계) -## 핵심 설계 (v2.1, 2026-04-24 CUSUM + global entropy 추가) +## 핵심 설계 (v2.2, 2026-04-24 Matrix Profile 추가) ### 탐지 트리거 (OR 조건, 하나라도 충족 시 attack mode ON) @@ -38,6 +38,17 @@ g_t > μ × 2.0 → trigger → reset g=0 - entropy 계산은 `min_entropy_baseline_samples=20` 확보 후부터 - `uniq_ips < entropy_min_uniq_ips=30` 이면 판정 스킵 (트래픽 자체가 너무 적을 때) +**A4. Matrix Profile discord** (패턴 이상) +``` +stumpy.stump(최근 7일 total_reqs 시계열, m=12) +현재 서브시퀀스의 MP > 과거 MP 분포의 p99 → discord +``` +- m=12 (1시간 subsequence length) +- 완전 비파라메트릭. 학습 불필요, 자기 과거와 직접 비교 +- z-normalized euclidean distance라 스케일 차이 무시, **형태 차이**만 봄 +- CUSUM은 "크기 이상"만, MP는 "패턴/형태 이상" 담당 → 상보적 +- 첫 사이클은 numba JIT로 ~7s, 이후 ms 단위 + → attack mode ON: top N contributor IP 일괄 challenge **B. 개별 극단 (항상 동작)** @@ -65,6 +76,7 @@ Raw extreme: reqs ≥ 1500 / 5min | DDoS·대규모 공격 (급격) | static threshold (p95×2.0 / max×1.5) 발동 | | Low-rate / 점진 ramp-up DDoS | CUSUM Page-Hinkley 누적으로 발동 | | 소수 IP 집중 공격 (같은 볼륨) | global src IP entropy drop으로 발동 | +| 지속되는 비정형 shape (평소 한 번도 안 본 패턴) | Matrix Profile discord로 발동 | | 가짜 공격 (baseline 경계선) | samples ≥ 10 확보 후에만 판정 (초기 1~2일은 판정 유예) | **사람이 쓴 공격 지식 없음**: @@ -84,10 +96,11 @@ Raw extreme: reqs ≥ 1500 / 5min - [x] Phase 3-5: (폐기) IsolationForest+DBSCAN+persistence 기반 - [x] Phase 6 (v2): 집계 기반 공격 모드 + 개별 극단 시그니처 - [x] Phase 7: 롤링 baseline 자동 갱신 -- [x] **Phase 8 (v2.1): CUSUM Page-Hinkley + global src IP entropy drop** ← 현재 -- [ ] Phase 9: 장시간 관찰 (dry-run) — 진행 중 (백그라운드 `loop.py`). entropy baseline 20+ 샘플 쌓이려면 약 20시간 -- [ ] Phase 10: CF IP Access Rules 호출 (managed_challenge → block) -- [ ] Phase 11: jp1 Incus 배포 (systemd timer) +- [x] Phase 8 (v2.1): CUSUM Page-Hinkley + global src IP entropy drop +- [x] **Phase 9 (v2.2): Matrix Profile discord (stumpy.stump) 추가** ← 현재 +- [ ] Phase 10: 장시간 관찰 (dry-run) — 진행 중 (백그라운드 `loop.py`). entropy baseline 20+ 샘플 쌓이려면 약 20시간 +- [ ] Phase 11: CF IP Access Rules 호출 (managed_challenge → block) +- [ ] Phase 12: jp1 Incus 배포 (systemd timer) ## 파라미터 (사람 조정 가능) @@ -101,6 +114,8 @@ Raw extreme: reqs ≥ 1500 / 5min | `cusum_threshold_mult` | 2.0 | CUSUM 트리거 h = μ × mult | | `min_entropy_baseline_samples` | 20 | entropy baseline 샘플 부족 시 판정 스킵 | | `entropy_min_uniq_ips` | 30 | uniq IP 부족 시 entropy 판정 스킵 | +| `mp_subseq_len` | 12 | Matrix Profile subsequence length (5분×12=1h) | +| `mp_threshold_pct` | 0.99 | 과거 MP 분포의 이 percentile 초과 시 trigger | | `scanner_uniq_ratio` | 0.8 | uniq_paths/reqs 임계 | | `scanner_min_entropy` | 7.0 | path entropy 임계 (per-IP) | | `scanner_min_reqs` | 300 | 스캐너 최소 요청 수 | @@ -116,6 +131,8 @@ Raw extreme: reqs ≥ 1500 / 5min - 평상시 24h 데이터: static threshold 0회 발동, **CUSUM hour별 μ 적용 시 0회 오탐** - 마지막 5개 윈도우에 1.5x→3.5x 점진 ramp 주입: CUSUM 3회 발동 (idx 198/199/200 연속) - CUSUM 유닛 테스트: 평상시 g=0 유지, ramp-up 시 g 누적 → h 초과 시 trigger + reset 확인 +- **Matrix Profile**: 평상시 201 윈도우에서 p99 초과 ~1%. 단기 3-point spike는 MP 안 튀고 (CUSUM 담당), **1시간 sustained max×3 형상은 MP=3.46 > p99=3.19로 trigger** 확인. 역할 상보적 +- 배포 후 cycle 101에서 `mp=1.87/thr=2.88` 안정 관찰 (현재 패턴이 과거와 유사 → trigger X) ## 폐기된 이전 설계 @@ -131,7 +148,8 @@ Raw extreme: reqs ≥ 1500 / 5min 향후 데이터 2주+ 쌓이면 검토 예정: - **Holt-Winters** — level+trend+seasonality. 현재 static p95×mult 대체 가능 -- **Aggregate-window Isolation Forest** — per-IP 아닌 "윈도우 다변량 feature" anomaly +- **River HalfSpaceTrees** — streaming Isolation Forest, 다변량 윈도우 feature 학습-예측 동시 +- **ADWIN (concept drift)** — baseline 자동 window 조정 (서비스 성장 대응) ## 파일 구조 @@ -141,7 +159,8 @@ Raw extreme: reqs ≥ 1500 / 5min ├── collect_baseline.py — retrospective seed baseline 수집 ├── baseline_aggregate.py — 시간대별 seed 통계 수집 (1회성) ├── inspect_baseline.py — baseline DB 탐색 -├── state.py — state DB (ip_state, baseline_samples 등) +├── state.py — state DB (ip_state, baseline_samples, cusum_state 등) +├── matrix_profile.py — stumpy MP discord 판정 (v2.2) ├── loop.py — 메인 실시간 루프 ├── simulate.py — 과거 데이터로 로직 검증 ├── baseline.db — seed snapshot 24h