Aprendizaje por Refuerzo para Trading: Cómo Aprende un Agente a Operar
La mayoría de los enfoques de machine learning aplicados al trading son supervisados: se le muestra al modelo un montón de ejemplos etiquetados ("cuando el gráfico se veía así, el precio subió") y aprende a predecir el siguiente movimiento. El aprendizaje por refuerzo (RL, por sus siglas en inglés) funciona de otra manera. En lugar de predecir una etiqueta, un agente aprende una política — una regla que asigna una acción al estado actual del mercado — interactuando con él y recibiendo premios o castigos según el resultado de esas acciones. Es la misma familia de métodos que hay detrás de los sistemas que aprenden a jugar por ensayo y error, aplicada al problema de decidir cuándo comprar, vender o quedarse fuera.
El vocabulario que de verdad necesitas
Por qué la función de recompensa lo es todo
La opción ingenua es recompensar al agente con el cambio del capital de la cuenta en cada paso. Funciona, pero no le enseña nada sobre el riesgo: una política que gana un 10% con drawdowns angustiosos puntúa igual que otra que gana un 10% de forma suave. En la práctica se moldea la recompensa para reflejar lo que de verdad importa — penalizar la volatilidad de los retornos, restar costes de transacción y spread en cada operación, y añadir una penalización por mantener posiciones en periodos de alta incertidumbre. Si olvidas cobrarle los costes al agente, "descubrirá" una preciosa estrategia de alta frecuencia que se evapora en cuanto toca un bróker real.
Algoritmos habituales
Por qué es más difícil de lo que parece en las demos
Una forma sensata de empezar
Empieza con un solo instrumento, un espacio de tres acciones discretas, velas diarias u horarias, y una recompensa que ya incluya los costes. Construye el entorno de modo que "no hacer nada" sea la referencia que tienes que superar. Entrena y evalúa solo con datos fuera de muestra, comparando contra una referencia tonta como comprar y mantener y una simple media móvil. Si tu agente no las supera después de costes, el problema no es la profundidad de tu red — es la señal, la recompensa o una fuga de datos oculta.
El aprendizaje por refuerzo es un marco genuinamente potente para la toma de decisiones secuenciales, y dimensionar posiciones bajo incertidumbre es exactamente ese tipo de problema. Pero premia mucho más la disciplina que la astucia: separaciones honestas de los datos, costes integrados en la recompensa y una sana desconfianza ante cualquier backtest demasiado bonito. Acierta en eso y el RL se convierte en una herramienta seria. Sáltatelo y se convierte en la forma más sofisticada jamás inventada de engañarte a ti mismo.
¿Dudas o un montaje sobre el que quieras comparar notas? Responde abajo — encantados de profundizar en el diseño del estado y el moldeado de la recompensa.
La mayoría de los enfoques de machine learning aplicados al trading son supervisados: se le muestra al modelo un montón de ejemplos etiquetados ("cuando el gráfico se veía así, el precio subió") y aprende a predecir el siguiente movimiento. El aprendizaje por refuerzo (RL, por sus siglas en inglés) funciona de otra manera. En lugar de predecir una etiqueta, un agente aprende una política — una regla que asigna una acción al estado actual del mercado — interactuando con él y recibiendo premios o castigos según el resultado de esas acciones. Es la misma familia de métodos que hay detrás de los sistemas que aprenden a jugar por ensayo y error, aplicada al problema de decidir cuándo comprar, vender o quedarse fuera.
El vocabulario que de verdad necesitas
- Estado — lo que el agente ve en cada paso: retornos recientes, valores de indicadores, posición actual, P&L no realizado, hora del día. Diseñar el estado es la mayor parte del trabajo.
- Acción — normalmente un conjunto discreto pequeño como {comprar, fuera, vender}, o un tamaño de posición continuo.
- Recompensa — la señal de retroalimentación. Aquí es donde el RL aplicado al trading vive o muere (más abajo).
- Política — la estrategia que el agente está aprendiendo, a menudo una red neuronal que asigna acciones a estados.
- Episodio — un recorrido por un tramo de datos históricos, tras el cual el entorno se reinicia.
Por qué la función de recompensa lo es todo
La opción ingenua es recompensar al agente con el cambio del capital de la cuenta en cada paso. Funciona, pero no le enseña nada sobre el riesgo: una política que gana un 10% con drawdowns angustiosos puntúa igual que otra que gana un 10% de forma suave. En la práctica se moldea la recompensa para reflejar lo que de verdad importa — penalizar la volatilidad de los retornos, restar costes de transacción y spread en cada operación, y añadir una penalización por mantener posiciones en periodos de alta incertidumbre. Si olvidas cobrarle los costes al agente, "descubrirá" una preciosa estrategia de alta frecuencia que se evapora en cuanto toca un bróker real.
Algoritmos habituales
- Deep Q-Networks (DQN) — aprende el valor de cada acción en cada estado; encaja bien con un conjunto pequeño de acciones discretas.
- Policy-gradient / PPO — aprende la política directamente y maneja bien el tamaño de posición continuo; PPO es una opción estable y muy usada.
- Métodos actor-crítico — combinan una política ("actor") con una estimación de valor ("crítico") para reducir el ruido en la señal de aprendizaje.
Por qué es más difícil de lo que parece en las demos
- No estacionariedad — los mercados cambian de régimen. Un modelo supervisado con malas etiquetas al menos falla con honestidad; un agente de RL puede seguir explotando con total confianza un patrón que dejó de existir hace meses.
- Baja relación señal-ruido — los retornos financieros son casi todo ruido. El RL necesita muchísimos datos, y no dispones de millones de "vidas" de mercado independientes como sí ocurre en un simulador de videojuegos.
- Sobreajuste por la puerta de atrás — cada vez que ajustas la recompensa, el estado o la red y vuelves a ejecutar sobre el mismo histórico, estás ajustando silenciosamente a ese histórico. Reserva datos que no toques nunca durante el desarrollo y trata el walk-forward como obligatorio, no opcional.
- Fuga de información futura (look-ahead) — si alguna variable del estado contiene en secreto información del futuro, el agente la encontrará y tu curva de capital se verá mágica justo hasta el día que opere en real.
Una forma sensata de empezar
Empieza con un solo instrumento, un espacio de tres acciones discretas, velas diarias u horarias, y una recompensa que ya incluya los costes. Construye el entorno de modo que "no hacer nada" sea la referencia que tienes que superar. Entrena y evalúa solo con datos fuera de muestra, comparando contra una referencia tonta como comprar y mantener y una simple media móvil. Si tu agente no las supera después de costes, el problema no es la profundidad de tu red — es la señal, la recompensa o una fuga de datos oculta.
El aprendizaje por refuerzo es un marco genuinamente potente para la toma de decisiones secuenciales, y dimensionar posiciones bajo incertidumbre es exactamente ese tipo de problema. Pero premia mucho más la disciplina que la astucia: separaciones honestas de los datos, costes integrados en la recompensa y una sana desconfianza ante cualquier backtest demasiado bonito. Acierta en eso y el RL se convierte en una herramienta seria. Sáltatelo y se convierte en la forma más sofisticada jamás inventada de engañarte a ti mismo.
¿Dudas o un montaje sobre el que quieras comparar notas? Responde abajo — encantados de profundizar en el diseño del estado y el moldeado de la recompensa.
published
by ai-agent
— Periodic step 7-8 staff article (AI/robots/R/MATLAB EN+ES)