kaffa/obsidian

Fork 0

Files

heimdall f0e51daafd refactor: organize infra/ into compute/network/security/data/platform

2026-04-16 13:43:36 +09:00

7.8 KiB

Raw Blame History

title, updated, tags

title

updated

anomaly-detect

아키텍처

OpenRouter x-ai/grok-4-fast에 tool 2개(logsql_query, ban_ips)만 노출하는 agentic 구조. fallback 모델 qwen/qwen3-235b-a22b-2507.

설계 반복 및 모델 벤치마크 이력: 2026-04-08-anomaly-detect-iterations

새 아키텍처

systemd timer (5분)
  ↓
analyzer.py (Python oneshot)
  ├─ OpenRouter → x-ai/grok-4-fast (tools=[logsql_query, ban_ips])
  ├─ agent loop (max 10턴)
  │   ├─ tool: logsql_query(query, start, limit) — VictoriaLogs 자유 조회
  │   │         ※ 응답에서 사설망/Tailscale/RFC5737 IP 자동 제거 (서버측 guardrail)
  │   └─ tool: ban_ips(ips, reason, scenario) — CrowdSec LAPI batch POST
  │             ※ dedup 24h, MAX_BAN_PER_CYCLE cap, 사설망 거부
  ├─ DRY_RUN=1 (기본): ban_ips가 "would ban" 로그만 찍고 실제 POST 안 함
  └─ dedup.json 갱신

환경변수

변수	기본값	비고
`OPENROUTER_API_KEY`	(from `/etc/anomaly-detect/openrouter.env`)	Vault `secret/ai/openrouter`
`OR_MODEL`	`x-ai/grok-4-fast`	주 모델
`OR_FALLBACK_MODEL`	`qwen/qwen3-235b-a22b-2507`	OR 장애 시 재시도
`WINDOW_MIN`	5	조사 윈도우
`MAX_TURNS`	10	agent loop 상한
`MAX_BAN_PER_CYCLE`	2000	한 사이클 ban 상한 (대규모 DDoS 대비)
`LAPI_BAN_CHUNK`	500	LAPI POST를 500건씩 쪼개 발송 (부분 실패 허용)
`BAN_DURATION`	4h
`DRY_RUN`	1	⚠ 초기 안전장치

서버측 guardrail (중요)

LLM은 지시만 받고 강제할 수 없다. 따라서 logsql_query와 ban_ips 두 tool 모두 파이썬 코드 레벨에서 다음을 enforce:

is_skippable_ip(): ipaddress.is_private + Tailscale 100.64/10 + RFC5737 TEST-NET-2/3 포함
Python 3.9의 ipaddress.ip_address('203.0.113.42').is_private == True — 문서 IP도 자동 차단됨 (2026-04-08 벤치마크에서 확인)

LLM 프롬프트가 무시되어도 실수로 사설망이 ban되지 않음.

Vault 위치

OpenRouter key: secret/ai/openrouter (API_KEY 키)
컨테이너 배포본: /etc/anomaly-detect/openrouter.env (mode 600, systemd EnvironmentFile=)

운영 중 주의사항

injected 로그 잔재: E2E 테스트 중 주입한 270 rows가 vlogs retention 기간 동안 남음. sim_e2e 마커 필드로 식별 가능. 다음 cycle에서 다시 탐지될 수 있으나 dedup 24h으로 재ban 차단됨.
재테스트 시: 테스트 후 반드시 cscli decisions delete -s anomaly-detect/<scenario> + /var/lib/anomaly-detect/dedup.json 업데이트 (해당 IP 추가하거나 리셋)

비용 모니터링

매 사이클 journalctl에 한 줄 요약 출력 (48eb489 이후):

cycle usage: turns=5 prompt=9142 completion=2670 total=11812 cost=$0.001866

집계 명령:

# 오늘 누적
ssh incus-hp2 "incus exec anomaly-detect -- bash -c '
  journalctl -u anomaly-detect.service --since today --no-pager |
    grep -oE \"cost=\\\$[0-9.]+\" |
    awk -F\\\$ \"{sum+=\\\$2} END {printf \\\"today: \\\$%.6f (%d cycles)\\n\\\", sum, NR}\"
'"

# 사이클별 상세
ssh incus-hp2 "incus exec anomaly-detect -- journalctl -u anomaly-detect.service --since today --no-pager | grep 'cycle usage'"

OpenRouter /activity API의 지연 (~2-3주)으로 실시간 비용 조회는 여기(journalctl) 경로를 써야 한다. dashboard는 https://openrouter.ai/activity 에서 UI 확인 가능 (더 빠름). management(provisioning) 키는 Vault secret/ai/openrouter → PROVISIONING_KEY 에 저장됨.

월 비용 예상: 평시 사이클당 $0.001-0.002, 5분 주기 × 288/일 × 30일 = **$10-15/월**. DDoS 발생 시 사이클당 $0.01 수준 (massive_ddos 시나리오 기준)까지 튈 수 있으나 일시적.

[[crowdsec-safeline#~~ddos-detect (AI 행위 분석)~~ — 폐기 (2026-04-08)|폐기된 ddos-detect]] 후속. victorialogs에 적재된 서울+오사카 APISIX access log를 5분마다 분석하여 봇/공격성 IP를 crowdsec-safeline에 자동 ban으로 등록한다.

위치 / 사양

항목	값
호스트	incus-hp2
컨테이너	`anomaly-detect` (default 프로젝트, Debian 13 trixie)
IP	10.100.2.164
사양	1 vCPU, 512MB RAM, 5GB
설치 경로	`/opt/anomaly-detect/{venv,analyzer.py}`, `/etc/anomaly-detect/lapi.yaml`, `/etc/anomaly-detect/openrouter.env`, `/var/lib/anomaly-detect/dedup.json`
systemd	`anomaly-detect.service` (oneshot) + `anomaly-detect.timer` (`OnCalendar=*:0/5`, `Persistent=true`, `RandomizedDelaySec=20`)

데이터 흐름

[5분 주기 systemd timer]
  ↓
analyzer.py
  ├─ 1) https://vl.inouter.com — LogsQL: program:apisix log_type:access 지난 5분
  ├─ 2) per-IP 통계 게이트 (count/4xx/5xx/499/distinct paths)
  ├─ 3) 후보 N개 (default max 5)
  ├─ 4) 각 후보 → http://100.87.221.126:11434/api/generate (kaffa-macmini ollama)
  │      모델: gemma4:e4b (Q4_K_M, 8.0B), format=json
  ├─ 5) verdict=yes → CrowdSec LAPI alert POST
  │      http://10.253.100.240:8080/v1/alerts
  │      profiles.yaml의 default_ip_remediation이 자동 ban 생성
  └─ 6) dedup.json에 처리 IP + 타임스탬프 기록 (24h 내 재처리 안 함)

CrowdSec LAPI 등록

anomaly-detect라는 watcher machine을 jp1 crowdsec에 등록하고, credentials를 컨테이너 안 /etc/anomaly-detect/lapi.yaml에 저장:

url: http://10.253.100.240:8080
login: anomaly-detect
password: <vault: secret/apps/anomaly-detect>

[!warning] cscli machines add 함정 cscli machines add NAME --auto는 default로 /etc/crowdsec/local_api_credentials.yaml을 덮어씀 — 이건 jp1 crowdsec daemon 자체의 LAPI 클라이언트 설정이라 덮어쓰면 daemon이 새 password로 LAPI 인증을 시도하면서 동기화가 깨짐. 반드시 --file <별도 경로> 옵션을 줘야 한다. 만약 실수로 덮어썼다면 cscli machines add <default-machine-name> --auto --force --file /etc/crowdsec/local_api_credentials.yaml로 default machine 새 credentials 발급 후 systemctl reload crowdsec로 복구.

운영 명령

# 컨테이너 진입
ssh incus-hp2 'incus exec anomaly-detect -- bash'

# 수동 1회 실행
incus exec anomaly-detect -- /opt/anomaly-detect/venv/bin/python /opt/anomaly-detect/analyzer.py

# 상태
incus exec anomaly-detect -- systemctl status anomaly-detect.timer
incus exec anomaly-detect -- journalctl -u anomaly-detect.service --since "30 minutes ago"

# dedup 초기화 (모든 IP 재분석 허용)
incus exec anomaly-detect -- sh -c 'echo "{}" > /var/lib/anomaly-detect/dedup.json'

# 게이트/모델/주기 변경 → /etc/systemd/system/anomaly-detect.service의 Environment=

검증 (최초 배포)

cscli machines list → anomaly-detect 등록 확인
curl https://vl.inouter.com/select/logsql/query?query=program:apisix\&limit=1 200 OK (컨테이너 내부)
curl http://100.87.221.126:11434/api/tags → gemma4:e4b 노출
curl http://10.253.100.240:8080/v1/decisions → 403 (인증 필요, 네트워크 OK)
더미 IP 198.51.100.99로 alert POST → 201 + decision 등록 → cleanup 확인 (smoke test)

향후 작업

[Medium] Discord webhook 알림 추가 (secret/apps/discord Vault에서 가져오기) + systemd OnFailure= drop-in
[Low] CrowdSec alert origin을 "crowdsec" → "anomaly-detect"로 태깅

전임자 (ddos-detect, 1/2차 구현) 폐기 이력: 2026-04-08-anomaly-detect-iterations

7.8 KiB Raw Blame History Unescape Escape