Контрольоване дослідження стратегії
Перенавчання бектеста та заблокований holdout
Зменшуйте overfitting журналом trials, хронологічним поділом, gap, незмінною позавибірковою частиною та правилами до оцінки.
Коротка відповідь
Overfitting виникає, коли численні рішення запам’ятовують випадкові особливості історії. Відокремте research від пізнішого holdout, порахуйте всі спроби, запишіть критерій і відкрийте період один раз для frozen candidate.
Після коригування за побаченим holdout стає research data. Він не усуває удачу, коротку вибірку, зміну режиму чи ризик вибору серед надто багатьох кандидатів.
Контекст дослідження
Робота Bailey та співавторів показує, що multiple testing полегшує випадковий вибір переможця. Кількість конфігурацій треба звітувати разом із performance.
TimeSeriesSplit зберігає часовий порядок і gap; у trading важливі lookback, overlapping positions та delay. Split не виправляє look-ahead або unreal fills.
Приклад налаштування у Backtest
Візьміть 18 місяців BTCUSDT 1h. Заблокуйте останні шість, залиште сім днів gap і тестуйте EMA fast 8/9/10 та slow 20/21/22: дев’ять записаних trials.
Не змінюйте 10 000 USD, size 2%, SL 2%, TP 4%, commission 0,10%, slippage 5 bps і closed-candle. Виберіть за minimum trades, net result, drawdown, outlier concentration і стабільністю сусідніх параметрів. Збережіть fingerprint до одного holdout run.
Як читати результати
Не вимагайте однакових returns. Перевірте cadence, direction, cost sensitivity, profit factor, drawdown, average R і failure clusters. Зміна знака чи залежність від одного outlier часто означає reject.
Повідомте кількість configurations. Pass дозволяє лише paper observation; fail зберігається; мала вибірка вважається inconclusive.
Типові помилки
- Випадково перемішувати time series
- Дивитися holdout під час вибору
- Приховувати trials
- Retune і повторно використовувати holdout
- Брати замалу вибірку
- Ігнорувати overlap, revision, costs або fills
Практичний список перевірки
- Задати hypothesis, budget і rejection rule
- Розділити research, gap і holdout до tuning
- Зафіксувати data, timeframe, costs, size і exits
- Логувати всі configurations
- Перевірити neighbors і cost stress
- Зберегти candidate fingerprint
- Оцінити один раз без retune
- Передати незмінним у paper
Застереження про ризик
Holdout зменшує одну форму bias, але не підтверджує прибуток чи безпеку. Backtest — освітнє дослідження, не порада і не execution. Ринок, spread, slippage, liquidity, gaps, latency, outages, funding і рішення людини можуть суттєво змінитися.
Пов’язані посібники
Зменшуйте overfitting журналом trials, хронологічним поділом, gap, незмінною позавибірковою частиною та правилами до оцінки.
Джерела дослідження
Backtest Trading для iOS
Продовжуйте дослідження на iPhone
Повторіть налаштування, перегляньте кожну змодельовану угоду та збережіть докази стратегії.
Завантажити в App Store