Backtest overfitting at naka-lock na holdout validation

Konteksto ng pananaliksik

Ipinapakita ng pag-aaral nina Bailey na pinatataas ng multiple testing ang tsansang pumili ng random winner sa limitadong data. Dapat ilahad ang trial count kasama ng performance.

Pinananatili ng TimeSeriesSplit ang oras at nagbibigay ng gap. Sa trading, isaalang-alang din ang indicator lookback, overlapping positions, at operational delay. Hindi naaayos ng split ang look-ahead o unrealistic fills.

Halimbawang setup sa Backtest

Gumamit ng 18 buwang BTCUSDT 1h. I-lock ang huling anim na buwan, maglagay ng pitong araw na gap, at mag-research sa naunang bahagi. Subukan ang EMA fast 8/9/10 at slow 20/21/22: siyam na recorded trials.

Panatilihin ang USD10,000, size 2%, SL 2%, TP 4%, commission 0.10%, slippage 5 bps, at closed-candle. Pumili gamit ang prewritten minimum trades, net result, drawdown, outlier concentration, at neighboring stability. I-save ang fingerprint bago ang isang holdout run.

Paano basahin ang resulta

Hindi kailangang magkapareho ang return. Suriin kung plausible pa ang cadence, direction, cost sensitivity, profit factor, drawdown, average R, at failure clusters. Ang sign reversal o iisang outlier dependence ay karaniwang reject.

Iulat ang dami ng configurations. Ang pass ay para sa paper observation, hindi real capital; itago ang fail; kung kulang ang trades, tawaging inconclusive at maghintay ng bagong data.

Karaniwang pagkakamali

• Random shuffle ng time series
• Pagtingin sa holdout habang pumipili
• Pagtatago ng trials
• Retune at reuse ng holdout
• Napakaliit na sample
• Pagbalewala sa overlap, revision, costs, o fills

Praktikal na checklist

1. Isulat ang hypothesis, budget, at rejection rule
2. Hatiin ang research, gap, at holdout bago tuning
3. I-lock ang data, timeframe, costs, size, at exits
4. I-log lahat ng configuration
5. Subukan ang parameter neighborhood at cost stress
6. I-snapshot ang candidate
7. Isang evaluation na walang retune
8. Dalhin nang hindi binabago sa paper

Kaugnay na gabay

Bawasan ang overfitting sa pamamagitan ng trial log, chronological split, gap, locked holdout, at pass rules na isinulat bago ang test.

• Paghahambing ng backtest sa magkaparehong kundisyon
• Ebidensiya ng trade: MFE, MAE, R-multiple, at holding time
• Mula backtest patungo sa paper monitoring ng closed candles
• Pamamaraan ng pagkalkula ng Backtest

Mga sanggunian

• Lawrence Berkeley Lab: The Probability of Backtest Overfitting
• scikit-learn TimeSeriesSplit documentation
• TradingView Pine Script strategy documentation
• QuantConnect Backtest API reference