LxS v2c 검증 — DSR + PBO + Purged CV + OOS Holdout¶
Date: 2026-05-24 (Sun)
Topic: L
Predecessor: 2026-05-24_S308_lxs_v2b_backtest.md
검증 4종 결과 종합¶
| 검증 | 결과 | 평가 |
|---|---|---|
| DSR (64 hypothesis 보정) | 0 cells significant @ 5% | ❌ 개별 sharpe 우위 입증 못함 |
| PBO (Combinatorial Symmetric CV) | 0.0381 (3.81%) | ✅ 매우 안전 (cell selection robust) |
| Purged CV (5-fold, 20d embargo) | 극단 cell 100% sign consistency | ✅ 부호 일관 |
| OOS holdout (2025-10-01 cutoff) | 80% sign match (8/10) + 극단 alpha 증폭 | ✅ 신호 견고 |
결론: DSR은 통과 못했지만 PBO + Purged + OOS는 강한 검증. DSR 실패는 개별 cell 단위 sharpe가 약해서 (alpha는 있지만 분산 큼) — sharpe 우위 입증은 X, mean alpha 자체는 OOS에서 더 강화.
상세 결과¶
1) DSR (Deflated Sharpe Ratio)¶
- 16 cell × 4 Δ + 16 cell×Δ = 64 hypothesis
- López de Prado·Bailey 2014 표준 적용 (Bonferroni-style E[max SR] 계산)
- 5% 유의 cell = 0개 / 1% 유의 cell = 0개
해석: 다중검정 보정 후 어떤 cell도 sharpe 통계적 우위 미달성. cell selection 시 64 hypothesis 시험으로 우연 발견 가능성 배제 못함. sharpe 기반 운영 룰 보장은 X.
2) PBO (Probability of Backtest Overfitting)¶
- Bailey·Borwein·LdP·Zhu 2014 CSCV
- 12 strategies(cells) × 210 IS/OOS partition combinations
- PBO = 0.0381 (3.81%) → "stable (low overfitting)"
해석: IS best cell이 OOS에서 median 아래로 떨어지는 비율 3.81%. cell selection 자체는 매우 안정 — 상위 cell이 우연으로 뽑힌 게 아님.
3) Combinatorial Purged CV (5-fold, 20d embargo)¶
| Cell | mean α OOS | std α | folds | sign consistency |
|---|---|---|---|---|
| VERY_LOW/LOW ★ | -9.69pp | 4.50 | 4 | 1.00 |
| VERY_HIGH/VERY_HIGH ★ | +6.83pp | 5.32 | 2 | 1.00 |
| LOW/VERY_HIGH | -2.93pp | 2.81 | 5 | 0.80 |
| LOW/LOW | +1.17pp | 1.25 | 5 | 0.80 |
| HIGH/LOW | +2.12pp | 4.77 | 4 | 0.75 |
| HIGH/VERY_HIGH | -2.17pp | 5.22 | 4 | 0.75 |
| VERY_LOW/HIGH | -1.19pp | 1.96 | 3 | 0.67 |
| VERY_LOW/VERY_HIGH | -3.37pp | 3.69 | 3 | 0.67 |
| HIGH/HIGH | +0.24pp | 2.46 | 5 | 0.40 |
| LOW/HIGH | -1.20pp | 4.03 | 5 | 0.40 |
- 극단 cell 부호 일관성 100% — VERY_LOW/LOW(회피)와 VERY_HIGH/VERY_HIGH(매수) 신뢰 가능
- VERY_HIGH/VERY_HIGH는 2 folds로만 검증 — 표본 부족 주의
- 중간 cell sign consistency 40~80% — regime 신호 불안정
4) OOS Holdout (cutoff 2025-10-01)¶
- IS n=24,180 baseline +3.16% | OOS n=6,266 baseline +10.57% (강세장)
| Cell | IS alpha | OOS alpha | sign match | OOS n |
|---|---|---|---|---|
| VERY_HIGH/VERY_HIGH | +0.67pp | +12.25pp ★ | ✅ | 976 |
| VERY_LOW/LOW | -8.20pp | -16.24pp ★ | ✅ | 245 |
| HIGH/VERY_HIGH | +0.37pp | +4.80pp | ✅ | 240 |
| HIGH/HIGH | +0.25pp | +4.76pp | ✅ | 730 |
| LOW/VERY_HIGH | -0.56pp | -4.51pp | ✅ | 476 |
| VERY_LOW/VERY_HIGH | -2.42pp | -7.89pp | ✅ | 451 |
| VERY_LOW/HIGH | -1.55pp | -2.87pp | ✅ | 737 |
| LOW/LOW | +0.32pp | +0.02pp | ✅ | 708 |
| LOW/HIGH | +0.59pp | -8.22pp | ❌ | 1,006 |
| HIGH/LOW | -3.53pp | +5.07pp | ❌ | 689 |
8/10 sign match = 80% ✅ (매핑표 §7 검증 기준 ≥70% 통과)
핵심: VERY_HIGH/VERY_HIGH (매수)와 VERY_LOW/LOW (회피) 두 극단 cell이 OOS에서 alpha 증폭 (12pp+ / -16pp). 운영 핵심 신호로 신뢰 가능.
Sign flip 2건: LOW/HIGH, HIGH/LOW — 모두 중간 영역, IS alpha 자체가 ±1pp 미만 약신호였음.
운영 룰 최종 (검증된 cell만)¶
Tier 1 ★ — 매수 강화 / 회피 (OOS alpha + Purged sign 1.0)¶
| Cell | 행동 | OOS alpha |
|---|---|---|
| L:VERY_HIGH / S:VERY_HIGH | pool ×2.0, momentum overweight | +12.25pp |
| L:VERY_LOW / S:LOW | pool ×0.2, 회피 + tail hedge ON | -16.24pp |
Tier 2 — 정상 운영 (OOS sign match)¶
| Cell | OOS alpha | 행동 |
|---|---|---|
| L:HIGH / S:VERY_HIGH | +4.80pp | pool ×1.2 |
| L:HIGH / S:HIGH | +4.76pp | pool ×1.2 |
| L:LOW / S:VERY_HIGH | -4.51pp | pool ×0.7 |
| L:VERY_LOW / S:VERY_HIGH | -7.89pp | pool ×0.5 |
| L:VERY_LOW / S:HIGH | -2.87pp | pool ×0.8 |
| L:LOW / S:LOW | +0.02pp | pool ×1.0 (중립) |
Tier 3 — 운영 보류 (sign flip)¶
- L:LOW / S:HIGH — OOS sign flip, 운영 보류
- L:HIGH / S:LOW — OOS sign flip, 운영 보류
Δ-Layer 활용 (v2b 산출, v2c 미검증)¶
PM 결정 사항: v2c에서 Δ-layer DSR/PBO 별도 미실행. 운영 시 보조 신호로만 사용: - Bear + L_IMPROVING_ONLY = 회복 진입 신호 (v2b alpha +3.84pp) - Bull + S_IMPROVING_ONLY = 꼭지권 함정 (-2.85pp) - → 운영 단계에서 LLM 입력으로 주입, 트레이드 자동 신호로는 사용 안 함
핵심 결론¶
- 신호 견고성 검증 — PBO 3.81%, OOS 80% sign match, 극단 cell 부호 100% 일관 (Purged CV)
- 단 sharpe 통계 우위는 입증 못함 (DSR) — 다중검정 보정 통과 X. 결과 alpha는 mean 기준만 신뢰.
- 극단 cell (VERY_HIGH/VERY_HIGH 매수 + VERY_LOW/LOW 회피) 운영 가능 — 이중 검증 + OOS 증폭
- 중간 cell은 alpha 자체가 작아 운영 효과 미미 — sign flip 가능
- v2b → v2c 검증 합격: 운영 룰 채택 가능 (단 sharpe 약속 X, mean alpha 기반만)
한계¶
- VKOSPI 미통합 — 후속 보강 (KRX MDCSTAT 백필)
- 종목 단위 미적용 — sample-pooled. stock-conditional alpha 미추정
- OOS 기간 6개월(2025-10~2026-04) — 강세장 편향 가능, bear regime OOS 필요
- Δ-layer는 DSR/PBO 미검증 — 보조 신호로만 사용
- DSR 실패 — 더 많은 sample 또는 더 narrow hypothesis로 재검증 필요
다음 (v3 또는 운영 진입)¶
(a) 운영 진입: 본 Tier 1/2 룰을 morning/signal-synthesizer에 LLM macro_context로 주입. 실시간 검증 시작.
(b) v2 추가 검증: VKOSPI 백필 + bear regime OOS 추가 + 종목 단위 alpha
(c) v3 확장: regime-conditioned base-rate matrix를 verdict × cell로 종목 진입에 직접 곱셈 — pool 크기뿐 아니라 종목별 우선순위에 적용
산출¶
scripts/backtest/lxs_v2c_validate.py(검증 4종)data/backtest/lxs_v2c/validation_report.json- 본 문서