← Central de aprendizado do Backtest

Pesquisa controlada de estratégias

Overfitting no backtest e validação com holdout bloqueado

Reduza sobreajuste com registro de testes, ordem cronológica, gap, holdout fora da amostra e critérios escritos antes da avaliação.

Resposta rápida

Overfitting ocorre quando muitas escolhas aprendem particularidades do histórico, não um comportamento durável. Separe pesquisa e holdout posterior, conte todas as tentativas, escreva o critério de aprovação e abra o período uma vez para o candidato congelado.

Ao ajustar após ver o holdout, ele vira dado de pesquisa. Mesmo bloqueado, não elimina sorte, amostra curta, mudança de regime ou risco de selecionar entre candidatos demais.

Contexto da pesquisa

Bailey e coautores mostram que multiple testing facilita encontrar um vencedor casual em dados limitados. O número de configurações testadas deve acompanhar o desempenho.

TimeSeriesSplit mantém a sequência e permite gap; no trading, lookback, posições sobrepostas e atrasos também importam. Uma divisão correta não corrige look-ahead ou fills irreais.

Exemplo de configuração no Backtest

Use 18 meses de BTCUSDT 1h. Reserve os seis últimos, deixe gap de sete dias e pesquise no período anterior. Teste EMA rápida 8/9/10 com lenta 20/21/22: nove tentativas registradas.

Mantenha US$10.000, tamanho 2%, SL 2%, TP 4%, comissão 0,10%, slippage 5 bps e fechamento de vela. Selecione por mínimo de trades, resultado líquido, drawdown, concentração e estabilidade vizinha. Salve o fingerprint antes de abrir o holdout.

Overfitting no backtest e validação com holdout bloqueado — Exemplo de configuração no Backtest: Reduza sobreajuste com registro de testes, ordem cronológica, gap, holdout fora da amostra e critérios escritos antes da avaliação.
Mantenha US$10.000, tamanho 2%, SL 2%, TP 4%, comissão 0,10%, slippage 5 bps e fechamento de vela. Selecione por mínimo de trades, resultado líquido, drawdown, concentração e estabilidade vizinha. Salve o fingerprint antes de abrir o holdout.

Como interpretar os resultados

Não exija retornos idênticos. Verifique se frequência, direção, sensibilidade a custos, profit factor, drawdown, R médio e falhas continuam plausíveis. Mudança de sinal ou dependência de outlier costuma reprovar.

Informe quantos candidatos existiram. Passar significa avançar para paper observation, não usar capital; falhar preserva evidência; amostra insuficiente é inconclusiva.

Erros comuns

Checklist prático

  1. Definir hipótese, orçamento e rejeição
  2. Separar pesquisa, gap e holdout antes do ajuste
  3. Fixar dados, timeframe, custos, tamanho e saídas
  4. Registrar cada configuração
  5. Testar vizinhança e estresse de custos
  6. Salvar fingerprint do candidato
  7. Avaliar uma vez sem reajuste
  8. Levar o mesmo candidato ao paper

Nota de risco

Holdout reduz uma forma de viés, mas não certifica lucro ou segurança. Backtest é pesquisa educacional, não consultoria ou execução. Mercado, spread, slippage, liquidez, gaps, latência, interrupções, funding e decisões humanas podem mudar materialmente.

Guias relacionados

Reduza sobreajuste com registro de testes, ordem cronológica, gap, holdout fora da amostra e critérios escritos antes da avaliação.

Fontes da pesquisa

Backtest Trading para iOS

Continue a pesquisa no iPhone

Repita a configuração, revise cada operação simulada e preserve as evidências da estratégia.

Baixar na App Store