조건을 고정한 전략 연구
백테스트 과최적화와 잠근 holdout 검증
trial log, 시간순 split, gap, 고정 out-of-sample 구간과 사전 규칙으로 overfitting을 줄이세요.
빠른 답변
Overfitting은 많은 선택이 지속 가능한 행동이 아니라 과거 noise를 외울 때 생깁니다. research 구간과 뒤의 holdout을 분리하고 모든 trial을 세며 평가 기준을 먼저 작성하고 frozen candidate에 대해 holdout을 한 번만 엽니다.
holdout을 본 뒤 조정하면 그 구간은 research data가 됩니다. 작은 sample, regime 변화와 많은 후보 중 선택한 운은 여전히 남으므로 holdout은 수익 보증이 아닙니다.
연구 배경
Bailey 등의 연구는 multiple testing이 제한된 data에서 우연한 winner를 고르기 쉽게 만든다고 설명합니다. configuration 수를 performance와 함께 보고해야 합니다.
TimeSeriesSplit은 시간 순서와 gap을 유지합니다. trading에서는 indicator lookback, overlapping position, execution delay도 고려하세요. 올바른 split도 look-ahead나 비현실적인 fill을 고치지는 못합니다.
Backtest 앱 설정 예시
BTCUSDT 1h 18개월을 준비해 마지막 6개월을 holdout, 직전 7일을 gap, 나머지를 research로 둡니다. EMA fast 8/9/10, slow 20/21/22의 9 trials를 모두 기록합니다.
USD 10,000, size 2%, SL 2%, TP 4%, commission 0.10%, slippage 5 bps와 closed-candle을 고정합니다. minimum trades, net result, drawdown, outlier concentration, 이웃 parameter 안정성을 사전 scorecard로 평가하고 holdout 전에 fingerprint를 저장합니다.
결과를 읽는 방법
research와 holdout의 return이 똑같을 필요는 없습니다. cadence, direction, cost sensitivity, profit factor, drawdown, average R, failure cluster가 여전히 타당한지 봅니다. 부호 반전이나 단일 outlier 의존은 reject 이유가 됩니다.
시도한 configuration 수를 공개하세요. pass는 paper observation 진입 조건일 뿐 real capital 허용이 아닙니다. fail도 보관하고 trade 부족은 inconclusive로 처리해 새 data를 기다립니다.
흔한 실수
- time series를 random shuffle하기
- 선택 중 holdout chart 보기
- 실패 trial 숨기기
- 조정 후 같은 holdout 재사용
- 너무 작은 sample
- overlap, revision, costs, fills 무시
실전 체크리스트
- hypothesis, trial budget, reject rule 작성
- research, gap, holdout 사전 분리
- data, timeframe, costs, size, exits 고정
- 모든 configuration 기록
- 이웃 parameter와 cost stress 확인
- candidate fingerprint 저장
- 한 번 평가하고 재조정 금지
- 변경 없이 paper로 이동
위험 안내
Holdout은 한 종류의 bias를 줄일 뿐 수익이나 안전을 증명하지 않습니다. Backtest는 교육 연구이며 조언이나 execution이 아닙니다. market, spread, slippage, liquidity, gap, latency, outage, funding과 사람의 결정이 실제 결과를 크게 바꿀 수 있습니다.
관련 가이드
trial log, 시간순 split, gap, 고정 out-of-sample 구간과 사전 규칙으로 overfitting을 줄이세요.
연구 자료
iOS용 Backtest Trading
iPhone에서 연구 계속하기
동일한 설정을 다시 실행하고 모든 모의 거래와 전략 근거를 앱에 보관하세요.
App Store에서 다운로드