예측 검증 스코어카드
목적: /rr 리포트의 예측을 다음 주 실제 결과와 비교해 적중률을 누적 추적. 시스템 편향 패턴을 조기 감지.
주차별 적중률
| 주차 |
리포트일 |
예측 수 |
HIT |
PARTIAL |
MISS |
적중률 |
일관성 |
실현 시나리오 |
UNPREDICTED |
주요 MISS |
편향 경고 |
| (다음 /rr 실행 시 첫 행 추가) |
|
|
|
|
|
|
|
|
|
|
|
분야별 누적 적중률
| 분야 |
예측 수 |
HIT |
PARTIAL |
MISS |
적중률 |
비고 |
| 반도체/소부장 |
|
|
|
|
|
|
| AI/데이터센터 |
|
|
|
|
|
|
| 에너지 공급/지정학 |
|
|
|
|
|
|
| 에너지(원전/신재생) |
|
|
|
|
|
|
| 전력설비/그리드 |
|
|
|
|
|
|
| 방산/안보 |
|
|
|
|
|
|
| 조선/해운 |
|
|
|
|
|
|
| 2차전지/ESS |
|
|
|
|
|
|
| 우주항공 |
|
|
|
|
|
|
| 로봇/자율주행 |
|
|
|
|
|
|
| 금융/디지털자산 |
|
|
|
|
|
|
| 바이오/헬스 |
|
|
|
|
|
|
| 자원/소재 |
|
|
|
|
|
|
| 매크로(금리/환율/지수) |
|
|
|
|
|
|
판정 기준
예측 적중
| 판정 |
기준 |
| HIT |
방향 맞음 + 크기 합리적 범위 (예: "상승" 예측 → 실제 +2% 이상) |
| PARTIAL |
방향 맞으나 크기/타이밍 다름 (예: "다음 주 상승" → 2주 후 상승) |
| MISS |
방향 틀림 (예: "상승" → 실제 하락) |
| UNPREDICTED |
리포트에 없었으나 시장에 큰 영향을 준 이벤트 |
일별 시각 일관성
| 판정 |
의미 |
문제인가? |
| CONSISTENT |
한 주간 시각 일관 + 실제와 부합 |
정상 |
| JUSTIFIED_SHIFT |
시각 전환 있으나 새 데이터에 의한 합리적 전환 |
정상 |
| WHIPSAW |
시각이 1~2일 만에 반전 반복 |
과잉 반응 — 노이즈에 끌려다님 |
| ANCHORED |
새 데이터가 나와도 기존 시각 고수 |
앵커링 편향 — 전환 지연 |
| LATE_SHIFT |
시장이 이미 움직인 뒤에야 시각 전환 |
후행 — 예측이 아니라 확인 |
편향 경고 규칙
- 동일 분야 3주 연속 MISS → [BIAS] 태그 + 해당 분야 수집/분석 방법 점검
- UNPREDICTED 3건/주 이상 → [BLIND SPOT] 태그 + 분야별 수집 에이전트 검색어 보강
- 전체 적중률 50% 미만 2주 연속 → [SYSTEM REVIEW] 태그 + 파이프라인 구조 점검
갱신 규칙
- /rr Stage 0(REVIEW) 실행 시 자동 갱신
- 주차별 테이블에 행 추가 + 분야별 누적 업데이트
- 편향 경고 발생 시 _index.md Today's Next Step에 반영