Контролируемое исследование стратегии
Переобучение бэктеста и заблокированный holdout
Снижайте переобучение журналом испытаний, хронологией, gap, неизменяемой вневыборочной частью и критериями до проверки.
Краткий ответ
Переобучение возникает, когда множество решений запоминает случайные особенности истории. Отделите исследование от позднего holdout, посчитайте все попытки, запишите критерий и откройте период один раз для замороженного кандидата.
После корректировки по увиденному holdout становится исследовательскими данными. Он не отменяет удачу, короткую выборку, смену режима или риск выбора среди слишком многих вариантов.
Контекст исследования
Работа Bailey и соавторов показывает: multiple testing облегчает случайный выбор победителя на ограниченных данных. Число попыток следует публиковать рядом с результатом.
TimeSeriesSplit сохраняет порядок и gap; в торговле важны lookback, перекрывающиеся позиции и задержки. Разбиение не исправляет look-ahead или нереалистичные исполнения.
Пример настройки в Backtest
Возьмите 18 месяцев BTCUSDT 1h. Заблокируйте последние шесть, оставьте семь дней gap и исследуйте раннюю часть. Проверьте EMA fast 8/9/10 и slow 20/21/22: девять записанных попыток.
Не меняйте 10 000 USD, размер 2%, SL 2%, TP 4%, комиссию 0,10%, slippage 5 bps и закрытую свечу. Выберите по заранее заданным минимуму trades, net result, drawdown, концентрации и устойчивости соседних параметров. Сохраните fingerprint до единственного прогона holdout.
Как читать результаты
Не требуйте одинаковой доходности. Оцените правдоподобие частоты, направления, чувствительности к costs, profit factor, drawdown, среднего R и кластеров ошибок. Смена знака или зависимость от одного выброса часто означает отказ.
Сообщите число конфигураций. Pass разрешает только paper observation; fail сохраняется; недостаточная выборка считается inconclusive и ждёт новых данных.
Типичные ошибки
- Случайно перемешивать временной ряд
- Смотреть holdout при выборе параметров
- Скрывать попытки
- Подстраивать и повторно использовать holdout
- Брать слишком малую выборку
- Игнорировать overlap, revision, costs или fills
Практический список проверки
- Задать гипотезу, бюджет и правило отказа
- Разделить research, gap и holdout заранее
- Зафиксировать данные, timeframe, costs, size и exits
- Логировать все конфигурации
- Проверить соседние параметры и cost stress
- Сохранить fingerprint
- Оценить один раз без retune
- Передать неизменным в paper
Предупреждение о риске
Holdout уменьшает одну форму смещения, но не подтверждает прибыль или безопасность. Backtest — исследовательский инструмент, не совет и не исполнение. Рынок меняется; spread, slippage, liquidity, gaps, latency, outages, funding и решения человека могут существенно отличаться.
Связанные руководства
Снижайте переобучение журналом испытаний, хронологией, gap, неизменяемой вневыборочной частью и критериями до проверки.
Источники исследования
Backtest Trading для iOS
Продолжите исследование на iPhone
Повторите настройку, изучите каждую смоделированную сделку и сохраните доказательства стратегии.
Загрузить в App Store