In-sample vs out-of-sample es la diferencia entre preguntar “¿esta estrategia se ajustó al pasado?” y “¿aprendió algo real?”. In-sample son los datos históricos con los que la estrategia se construyó u optimizó; rendir bien ahí no demuestra nada, porque ajustarse a datos conocidos es exactamente lo que hace la optimización. Out-of-sample son datos que la estrategia nunca vio, y sobrevivirlos es la primera evidencia honesta de una ventaja. El walk-forward industrializa esa pregunta repitiéndola sobre ventanas de tiempo que van rodando. Junto con los tests de estabilidad, estas son las pruebas que matan a la mayoría de estrategias en mi pipeline, y este post explica cada una en cristiano.
Por qué “matar” es el verbo correcto: en mi operación, el testing de robustez es la fase dos de un embudo donde las estrategias se generan en volumen precisamente para poder descartar la mayoría sin piedad. Las que sobreviven operan en público en mi track record. Lo que sigue no es académico; es el control de calidad real entre “el backtest pinta genial” y “esto toca dinero”.
Y si alguna vez desplegaste una estrategia por la fuerza de un backtest precioso y la viste deshacerse en vivo: hiciste lo que toda la industria te dijo que hicieras. El backtest es el escaparate universal de venta: cada listing de marketplace, cada vídeo de “EA rentable”, cada curso abre con uno. Nadie que te vende la curva menciona que el backtest es el documento más fácil de fabricar de todo el trading. Los tests de este post existen porque la prueba favorita de la industria no es una prueba.
In-sample vs out-of-sample: los cimientos
La mecánica es casi vergonzosamente simple. Coges tu histórico y lo partes. Construyes y optimizas la estrategia sobre una parte (in-sample). Después, con todas las decisiones congeladas, la ejecutas una vez sobre la parte que nunca vio (out-of-sample). El resultado in-sample te dice qué memorizó la estrategia. El out-of-sample te dice qué aprendió. Son cosas distintas, y toda la disciplina del testing cuantitativo existe por el hueco entre las dos.
Las reglas que lo hacen honesto son de comportamiento, no de matemáticas. Los datos out-of-sample se usan una vez. Si espías el resultado, retocas la estrategia y vuelves a ejecutar, esos datos ya no son out-of-sample; se han convertido en parte de la optimización, y su veredicto está contaminado. Así es como los traders hacen trampas sin darse cuenta: no falsificando números, sino iterando hasta que los datos “no vistos” han sido vistos hasta la muerte. Si leíste por qué los backtests perfectos pierden dinero, este es el mecanismo de fondo.
Aprobar tiene esta pinta: rendimiento out-of-sample de la misma familia que el in-sample. Algo de degradación es normal y esperable. Suspender tiene esta otra: una estrategia que imprimía dinero sobre los datos con los que se construyó y tropieza en cuanto la historia deja de cooperar. Esa estrategia no ha tenido una mala semana. Nunca tuvo ventaja; solo que te has enterado barato.
Walk-forward: la misma pregunta, hecha sin descanso
Una sola partición da un solo veredicto, y un veredicto puede ser suerte. El walk-forward repite el experimento in-sample/out-of-sample sobre ventanas rodantes: optimizas sobre un tramo de historia, pruebas sobre el periodo justo después, deslizas la ventana, repites. Al final, a la estrategia se le ha preguntado “¿puedes con datos que no has visto?” no una vez sino muchas, atravesando regímenes distintos: tendencias, rangos, pánicos, calma chicha.
Lo que aprendes de la secuencia de tramos out-of-sample es la personalidad honesta de la estrategia. Rendimiento consistente y modesto en la mayoría de ventanas es la firma de algo real. Una ventana espectacular cargando con una secuencia muerta es la firma de una estrategia que tuvo suerte una vez, y el despliegue en vivo es exactamente donde esa suerte se acaba. La walk-forward optimization va un paso más allá re-optimizando en cada ventana, lo que responde una pregunta más fina: ¿la lógica sigue funcionando cuando refrescas los parámetros como los refrescarías en la vida real?
El coste es real: el walk-forward es lento, pejiguero, y te arruina con fiabilidad estrategias que te empezaban a gustar. Esa es la feature. Cada estrategia que mata en el banco de pruebas es un drawdown que nunca llega a tu cuenta.
Estabilidad de parámetros: el test de la meseta
El tercer test es el menos conocido y, en mi experiencia, el más diagnóstico. Coge los parámetros elegidos de tu estrategia y zarandéalos: si el stop es de 40 pips, ¿qué pasa con 35 y 45? Si una media es de 20 barras, ¿qué pasa con 17 y 23? Una ventaja real es una meseta: el rendimiento se queda en el mismo barrio en toda una región de settings vecinos, porque la estrategia cosecha un comportamiento real del mercado al que le dan igual los decimales. Una estrategia sobreajustada es una aguja: brilla una combinación mágica y todos los vecinos se hunden, porque la “ventaja” es una coincidencia con dirección postal.
Cuando alguien te enseña un backtest con parámetros sospechosamente exactos y sin evidencia de estabilidad, casi siempre estás mirando la punta de una aguja. Es además el test que mejor viaja para evaluar productos ajenos: pregúntale a un vendedor qué pasa con sus resultados si mueves los settings un cinco por ciento. La calidad de la respuesta te dice casi todo. Mi auditoría de track record en 10 minutos combina bien con esa pregunta.
Más allá de estos tres, el embudo sigue (tests de estrés aleatorizados sobre la secuencia de trades, correlación contra el portfolio existente, meses de incubación en vivo a tamaño pequeño), pero in-sample/out-of-sample, walk-forward y estabilidad son los muros de carga. Domina esos y ya rechazarás más estrategias malas de las que el 95% del mercado llega a testear.
Qué herramienta para qué trabajo
El instrumento correcto depende de qué estés testeando, así que aquí va el mapa honesto de lo que uso y vendo, todo en un sitio.
Testearte a ti (trading manual): el testing de robustez también aplica a métodos discrecionales, y la herramienta es la repetición honesta sobre gráficos históricos. Mi Backtesting Simulator existe para esto exactamente: reproducir el mercado vela a vela dentro de MetaTrader para que un método manual reciba su veredicto out-of-sample antes de que se lo dé tu dinero.
Testear estrategias algorítmicas: el pipeline de este post. Si prefieres operar su producción antes que operar el embudo, los sistemas que vendo son sus supervivientes, y se juzgan en público: MultiStrategy Pro y Alpha Pulse AI corren en vivo en el track record, con los drawdowns a la vista, precisamente para que apliques a mis productos el estándar de este post.
Testear a escala con capital de verdad en juego: la estructura importa tanto como el testing. Una estrategia robusta sobre una cuenta frágil muere igual. Para capital, mi núcleo es Axi Select (sin challenge fee, escalado por continuidad); soy afiliado, y si entras por mi enlace y algo se atasca, lo escalo directo con mi contacto de manager allí.
El cierre honesto
El testing de robustez tiene un problema de imagen: no produce ganadores, solo supervivientes, y los supervivientes dan contenido aburrido. Pero es toda la diferencia entre desarrollo de estrategias y ficción de estrategias. El resumen incómodo: si tu proceso de testing nunca te ha obligado a tirar una estrategia que amabas, no tienes un proceso de testing; tienes un ritual que aprueba lo que ya habías decidido. El mío mata a la mayoría de lo que entra, sin público, para que lo que sale pueda sobrevivir con todo el público mirando.
La fase de robustez es una pieza de la metodología completa (generación, correlación, construcción de portfolio, asignación por cuenta) que estoy publicando estas semanas. Cada pieza aterriza primero en la newsletter: si quieres el embudo entero y no fragmentos, ahí es.
FAQ
¿Cuál es la diferencia entre in-sample y out-of-sample?
In-sample son los datos con los que la estrategia se construyó y optimizó; out-of-sample son datos que nunca vio, reservados para un único test honesto. El rendimiento in-sample mide lo bien que se ajustó al pasado, cosa que la optimización garantiza. El out-of-sample es la primera evidencia real de ventaja. La regla crítica: el out-of-sample solo puede dar su veredicto una vez, porque iterar contra él lo convierte de nuevo en in-sample.
¿Qué es el walk-forward analysis en trading?
El walk-forward repite la partición in-sample/out-of-sample sobre ventanas rodantes de historia: optimizas en un tramo, pruebas en el periodo inmediatamente posterior, deslizas hacia delante y repites. En vez de un veredicto tienes una secuencia de veredictos sobre datos no vistos, atravesando regímenes de mercado distintos. Resultados consistentes en la mayoría de ventanas sugieren ventaja real; una ventana con suerte cargando una secuencia muerta es la firma clásica del sobreajuste.
¿Cuánto peor debería ser el out-of-sample que el in-sample?
Algo de degradación es normal; la optimización sin fricción siempre adula. Lo que importa es el aire de familia: una ventaja real produce resultados out-of-sample del mismo carácter (perfil de trades, comportamiento del drawdown, patrón de aciertos parecidos) aunque el retorno sea menor. La señal de suspenso es el colapso del carácter, no solo de la magnitud. Una estrategia cuya rentabilidad depende por entero de su periodo optimizado se descarta sin negociar.
¿Qué es la estabilidad de parámetros y por qué importa?
Es comprobar si el rendimiento sobrevive a cambios pequeños en los settings. Una ventaja genuina se comporta como una meseta: los valores vecinos producen resultados similares, porque la estrategia explota un comportamiento real del mercado. Una estrategia sobreajustada se comporta como una aguja: funciona una combinación exacta y fallan todos los vecinos. Los parámetros inestables son una de las señales de overfitting más fiables, y comprobarlos cuesta minutos.
¿Puede un trader manual hacer testing de robustez?
Sí, y casi ninguno lo hace, por eso la mayoría de métodos manuales se examinan con dinero en vivo en lugar de con historia. El equivalente manual del out-of-sample es reproducir tu método vela a vela sobre periodos históricos que no hayas estudiado, apuntando cada decisión con honestidad. Unos cientos de trades reproducidos revelan la distribución real de resultados de un método a coste financiero cero. Las herramientas de simulación dentro de MetaTrader lo hacen práctico.
Recursos
- Mi track record (lo que sobrevive a estos tests, en vivo): doittrading.com/es/track-record
- Backtesting Simulator para trading manual: replay vela a vela en MetaTrader
- El problema del overfitting: por qué los backtests perfectos pierden
- Axi Select (capital con incentivos alineados): cómo funciona
- Newsletter: doittrading.com/es/newsletter
