← Centro de aprendizaje de Backtest

Investigación controlada de estrategias

Overfitting de backtest y validación con holdout bloqueado

Reduce el sobreajuste con registro de pruebas, orden cronológico, gap, datos fuera de muestra bloqueados y criterios definidos antes de evaluar.

Respuesta rápida

El overfitting aparece cuando muchas decisiones aprenden peculiaridades históricas en vez de un comportamiento estable. Separa la investigación de un holdout posterior, cuenta todos los intentos, escribe el criterio de aprobación y abre ese periodo una sola vez para el candidato congelado.

Si ajustas la regla después de verlo, ese periodo ya es investigación. Un holdout tampoco elimina la suerte: una muestra corta, otro régimen o demasiados candidatos aún pueden producir un resultado engañoso.

Contexto de investigación

Bailey y colaboradores muestran que el multiple testing facilita elegir un ganador casual en datos limitados. El número de configuraciones probadas debe acompañar al rendimiento.

TimeSeriesSplit conserva la secuencia y ofrece un gap; en trading también cuentan el lookback, posiciones solapadas y retrasos. Una división correcta no compensa look-ahead ni fills irreales.

Ejemplo de configuración en Backtest

Usa 18 meses de BTCUSDT 1h. Reserva los últimos seis como holdout y deja siete días de gap. En la parte anterior prueba EMA rápida 8/9/10 con lenta 20/21/22: nueve intentos registrados.

Mantén USD10.000, tamaño 2%, SL 2%, TP 4%, comisión 0,10%, slippage 5 bps y cierre de vela. Selecciona con una tabla previa de mínimo de trades, resultado neto, drawdown, concentración y estabilidad vecina. Guarda la huella antes de abrir el holdout.

Overfitting de backtest y validación con holdout bloqueado — Ejemplo de configuración en Backtest: Reduce el sobreajuste con registro de pruebas, orden cronológico, gap, datos fuera de muestra bloqueados y criterios definidos antes de evaluar.
Mantén USD10.000, tamaño 2%, SL 2%, TP 4%, comisión 0,10%, slippage 5 bps y cierre de vela. Selecciona con una tabla previa de mínimo de trades, resultado neto, drawdown, concentración y estabilidad vecina. Guarda la huella antes de abrir el holdout.

Cómo interpretar los resultados

No exijas retornos idénticos. Pregunta si frecuencia, dirección, sensibilidad a costos, profit factor, drawdown, R promedio y fallos siguen siendo plausibles. Un cambio de signo o dependencia de un outlier suele justificar rechazo.

Publica cuántos candidatos existieron. Aprobar significa avanzar a observación paper, no usar capital. Rechazar conserva evidencia; si faltan operaciones, declara inconcluso y espera datos nuevos.

Errores comunes

Lista práctica

  1. Definir hipótesis, presupuesto y rechazo
  2. Separar investigación, gap y holdout antes de ajustar
  3. Fijar datos, temporalidad, costos, tamaño y salidas
  4. Registrar cada configuración
  5. Probar vecindad y estrés de costos
  6. Guardar huella del candidato
  7. Evaluar una vez sin reajustar
  8. Pasar sin cambios a paper monitoring

Nota de riesgo

Un holdout reduce una forma de sesgo, pero no certifica rentabilidad ni seguridad. Backtest es investigación educativa, no asesoría ni ejecución. El mercado cambia y spread, slippage, liquidez, gaps, latencia, caídas del servicio, funding y decisiones humanas pueden diferir materialmente.

Guías relacionadas

Reduce el sobreajuste con registro de pruebas, orden cronológico, gap, datos fuera de muestra bloqueados y criterios definidos antes de evaluar.

Fuentes de investigación

Backtest Trading para iOS

Continúa la investigación en iPhone

Repite la configuración, revisa cada operación simulada y conserva la evidencia de la estrategia.

Descargar en App Store