Publi

Publi

Página 1 de 4 1234 ÚltimoÚltimo
Resultados 1 al 10 de 31


  1. #1

    antecessor


    Reputación:
    Poder de reputación: 8

    Venezuela
    Mensajes: 597
    Créditos: 2,154

    ¿Son fiables los backtesting?


    Publi
    Quisiera saber que tan exactos o no son os BackTesting, en el sentido de que, si hago un BackTesting de un EA, ¿puedo esperar que este dió un resultado confiable?

    No me refiero a si el mercado hará lo que hizo, sino a si puedo confiar en que el BackTesting me está dando una información tal como la que hubiera obtenido de haber dejado corriendo ese mismo EA (testeado) en real.

    ¿Alguien ha confirmado o sabe algo al respecto?
    Foro de Forex Trading United

     

  2.                         
    Publi
  3. #2
    Avatar de YHOYO
    antecessor


    Reputación:
    Poder de reputación: 5

    Colombia
    Mensajes: 324
    Créditos: 428

    Re: ¿Son fiables los backtesting?

    bueno

    respondo lo siguiente.. y es que pasa lo mismo que operar en demo y pasarte a real.. no funciona igual.... en demo siempre te abren las ordenes o siempre cierran.. en demo no siempre sucede....

    ahora que si los backtest funcionan y son fiables?? diria que si... sobretodo para optimizar tu estrategia o tus EA... no necesariamente funcionaran igual en real... debido a factores como los mencionados anteriormente. y otros ... velocidad de conexión, ping.... y muchos otros...

    ahora bien tambien depende de la "calidad" del backtesting.. modelado, balance, equidad, tiempo con del backtest y demas...

    saludos
    Foro de Forex Trading United


  4. #3
    Avatar de indovinello
    Neanderthalensis


    Reputación:
    Poder de reputación: 17

    Bolivia
    Mensajes: 3,792
    Créditos: 12,975

    Re: ¿Son fiables los backtesting?

    Cita Iniciado por trader201 Ver mensaje
    Quisiera saber que tan exactos o no son os BackTesting, en el sentido de que, si hago un BackTesting de un EA, ¿puedo esperar que este dió un resultado confiable?

    No me refiero a si el mercado hará lo que hizo, sino a si puedo confiar en que el BackTesting me está dando una información tal como la que hubiera obtenido de haber dejado corriendo ese mismo EA (testeado) en real.

    ¿Alguien ha confirmado o sabe algo al respecto?
    Buenas,

    pertenezco al grupo de backtest de TU, ello no quiere decir nada, sólo que hemos trabajado bastante sobre los backtest y optimizaciones.

    Mi impresión (y esa no representa al grupo) es que, tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años y puesto en un metatrader 4 los resultados (considerados genéricamente) estarán basados en un entorno con demasiadas anomalías.

    Ahora bien hay que matizar, no es lo mismo el EURUSD que el ORO. En el primer caso, quizá si se toma un sistema tipo swing que opere a largo plazo nos pueda dar una idea aproximada de si vamos por el buen camino o no. En el oro creo que será muy difícil debido a la cantidad de anomalías.

    Mi impresión personal (repito, es la mía) es que si bajamos de time frame e incrementamos el número de operaciones los resultados no nos van a dar una idea de lo que se puede esperar del sistema.

    En algunos momentos (seguramente de desánimo extremo) he llegado a pensar que mejor nos dejamos de optimizaciones y backtest y nos vamos directamente a fordwardtest con una cuenta real (micro, por supuesto). Eso saca a la luz también la problemática de las cuentas demo.

    Resumiendo mi impresión: tenemos demasiadas anomalías en el entorno metatrader 4/históricos (ya ni que decir con mtq5, que ese ya es otro tema) como para pensar que los resultados de backtests y optimizaciones son fiables. A lo sumo podemos tomarlos como brújula imprecisa para no ir demasiado desorientados.

    Un saludo
    Foro de Forex Trading United




  5. #4
    Avatar de yokinfx
    Erectus


    Reputación:
    Poder de reputación: 7

    Mensajes: 246
    Créditos: 1,326

    Re: ¿Son fiablkes los backtesting?

    Cita Iniciado por indovinello Ver mensaje
    Buenas,

    pertenezco al grupo de backtest de TU, ello no quiere decir nada, sólo que hemos trabajado bastante sobre los backtest y optimizaciones.

    Mi impresión (y esa no representa al grupo) es que, tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años y puesto en un metatrader 4 los resultados (considerados genéricamente) estarán basados en un entorno con demasiadas anomalías.

    Ahora bien hay que matizar, no es lo mismo el EURUSD que el ORO. En el primer caso, quizá si se toma un sistema tipo swing que opere a largo plazo nos pueda dar una idea aproximada de si vamos por el buen camino o no. En el oro creo que será muy difícil debido a la cantidad de anomalías.

    Mi impresión personal (repito, es la mía) es que si bajamos de time frame e incrementamos el número de operaciones los resultados no nos van a dar una idea de lo que se puede esperar del sistema.

    En algunos momentos (seguramente de desánimo extremo) he llegado a pensar que mejor nos dejamos de optimizaciones y backtest y nos vamos directamente a fordwardtest con una cuenta real (micro, por supuesto). Eso saca a la luz también la problemática de las cuentas demo.

    Resumiendo mi impresión: tenemos demasiadas anomalías en el entorno metatrader 4/históricos (ya ni que decir con mtq5, que ese ya es otro tema) como para pensar que los resultados de backtests y optimizaciones son fiables. A lo sumo podemos tomarlos como brújula imprecisa para no ir demasiado desorientados.

    Un saludo
    A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!!

    Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

    PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

    Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

    Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

    En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
    Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

    Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

    Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

    ¿Son fiables los backtesting?-strategytester.gif¿Son fiables los backtesting?-imagen-2.png
    Foro de Forex Trading United



  6. #5
    Avatar de indovinello
    Neanderthalensis


    Reputación:
    Poder de reputación: 17

    Bolivia
    Mensajes: 3,792
    Créditos: 12,975

    Re: ¿Son fiablkes los backtesting?

    Cita Iniciado por yokinfx Ver mensaje
    A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!!

    Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

    PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

    Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

    Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

    En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
    Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

    Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

    Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

    oro/attachment.php?s=93253a26e4843fc19479877df51ed05f&attachmentid=29148&d=1405496160" id="attachment29148" rel="Lightbox_107540" >¿Son fiables los backtesting?-strategytester.gif¿Son fiables los backtesting?-imagen-2.png
    Sin duda, Yokinfx, no nos vamos a rendir.

    Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

    Sin embargo, si tu EA no arroja más de 2 o 3 pips de promedio de ganancia en cada operación mínimo, la cantidad de imponderables que no sabemos medir (yo diría no podremos medir) hacen que el resultado sea poco válido.

    Pongo algunos ejemplos: muchas variables del trading las controla el broker a través del fichero symbols.raw y otros y las va cambiando sobre la marcha. Sólo hace falta un cambio de política en el broker, de algoritmos, de criterio y todo puede cambiar. Y, no nos engañemos, un broker es un equipo directivo que estudia una y mil veces al día cómo establecer y reestablecer políticas de gestión de las operaciones que les reporte beneficios.

    En mi opinión las políticas de los brokers es animarnos a operar y demostrarnos que somos muy buenos en optimizaciones, backtest, demo y, hacer caja en real. Simple y llanamente pienso eso.

    Eso se traduce en un sinfín de dificultades para hacer cuadrar lo que nos quieren hacer ver que es fácil (obtener beneficios en entornos en donde no se juegan el dinero y nos puede animar a operar en real) y lo que realmente es difícil (obentener beneficios en real, en donde los intereses de los intevinientes son oscuros y contrapuestos).

    ¿Cómo medimos en entornos no reales los deslizamientos? ¿Las aperturas de las orquillas bid, ask? ¿los bloqueos de la plataforma? ¿Las latencias? Y tantos aspectos que controlan los brokers....

    Todavía más, considerando sólo los reultados obtenidos en real, si mi sistema no obtiene un promedio de ganancia por operación que supere ampliamente los 3 pips, ¿cómo sé que un cambio de política en la gestión de las órdenes no va a truncar mi sistema ganador en real en perdedor en real?

    Hay que estar siempre atentos y analizando y reanalizando los resultados de real. Nunca sabes por dónde puede venir la sorpresa.

    Y todo ello no lo digo por desanimar, al contrario, para animar a cooperar entre nosotros. El trabajo que tenemos por delante es árduo y las dificultades muchas, pero el potencial de un grupo de personas trabajando juntos en algo en lo que creen es inimaginable.

    Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

    Un abrazo.
    Foro de Forex Trading United
    Última edición por indovinello; 16-07-2014 a las 10:26




  7. #6
    Avatar de yokinfx
    Erectus


    Reputación:
    Poder de reputación: 7

    Mensajes: 246
    Créditos: 1,326

    Re: ¿Son fiablkes los backtesting?

    Cita Iniciado por indovinello Ver mensaje

    Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.
    Ojo, que la grafica que he enviado del Excel no es la libreria que os comparti hace tiempo de calculo del drawdown flotante, es un "bug" existente en los Backtest en renko con una estrategia determinada. Este EA actua solo en apertura de velas (asi me libraba del bug de la interpolacion de precios entre vela y vela), y las operaciones deberian ser todas de +X pips o -X pips. Pero en Renko, por como se forman los graficos, hay momentos en los que te dara la operacion negativa de -0 pips, y eso es falso.
    Esto es un bug con esa estrategia, y pasa con todos los tamaños de velas Renko, desde 5 pips, 15, 30, o el que sea.
    Por eso digo de la importancia de conocer el MT4 hasta las entrañas.

    Cita Iniciado por indovinello Ver mensaje
    Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

    Un abrazo.
    Exacto, a eso me referia con "hasta las entrañas".

    Hasta el momento, todos los bugs que me he encontrado, que son muchisimos, tienen el mismo origen y la misma causa: la ausencia de datos de ticks. Por supuesto, se asume tambien el fallo inherente del spread. Pero es que la ausencia de ticks ocasiona un sinfin de posibles errores.

    Y es que, si queremos hacer pruebas con datos que son solo un modelo obtenido a partir de datos reales (los backtest son pruebas sobre datos modelados), debemos diseñar nuestro EA para que trabaje sobre el mismo modelo . Si no lo hacemos así, nuestros resultados EN REAL solo serán aproximados a los resultados del modelo.

    Por ejemplo. Nuestro modelo no sabe de precios transcurridos entre Open Price de M1 y Close Price de M1. Bueno, pues USEMOS esos precios, y solo esos, en nuestros EAs e indicadores: calcular las medias moviles sobre Open Price y Close Price, por ejemplo. Pero también OJO con esto: el Close Price de la barra en curso es el precio actual, y no el precio de cierre de la vela.

    En fin. Solo pretendo ilustrar cómo diseñar sistemas para evitar el problema de que nuestros historicos son solo modelos.

    Aparte de todo lo comentado, y ciñéndome también al título original del post, existe el overfitting, o la sobreoptimización. Algo de lo que tanto se ha hablado y que hay tantas teorías sobre la sobreoptimización como colores en el arcoiris. Bueno, no. Hay más.

    Quién dijo que el Trading Automático era fácil?
    Foro de Forex Trading United



  8. #7

    antecessor


    Reputación:
    Poder de reputación: 8

    Venezuela
    Mensajes: 597
    Créditos: 2,154

    Re: ¿Son fiables los backtesting?

    Cita Iniciado por indovinello Ver mensaje
    ...tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años ...
    ¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?
    Foro de Forex Trading United

     

  9. #8

    Baneado


    Reputación:
    Poder de reputación: 0

    Peru
    Mensajes: 247

    Re: ¿Son fiables los backtesting?

    Todo backtesting es recomendable para pruebas al sistema de trading a emplear en las operaciones de cada trader, antes de comenzar a operar, no da un 100% de fiabilidad, ya que el mercado es irregular, sin embargo mientras se mantenga un numero de operaciones positivas e incremento de cuenta cuando el backtesting ejecute el sistema, podremos tener mas del 50% de fiabilidad en poner a correr nuestro sistema de trading...
    Foro de Forex Trading United

     

  10. #9
    Avatar de indovinello
    Neanderthalensis


    Reputación:
    Poder de reputación: 17

    Bolivia
    Mensajes: 3,792
    Créditos: 12,975

    Re: ¿Son fiables los backtesting?

    Cita Iniciado por trader201 Ver mensaje
    ¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?
    Pues no, siento no poderte decir
    Foro de Forex Trading United




  11. #10
    Avatar de robertomar
    Heidelbergensis


    Reputación:
    Poder de reputación: 9

    Espana
    Mensajes: 905
    Créditos: 15,929

    Re: ¿Son fiablkes los backtesting?


    Publi
    Cita Iniciado por yokinfx Ver mensaje
    Ojo, que la grafica que he enviado del Excel no es la libreria que os comparti hace tiempo de calculo del drawdown flotante, es un "bug" existente en los Backtest en renko con una estrategia determinada. Este EA actua solo en apertura de velas (asi me libraba del bug de la interpolacion de precios entre vela y vela), y las operaciones deberian ser todas de +X pips o -X pips. Pero en Renko, por como se forman los graficos, hay momentos en los que te dara la operacion negativa de -0 pips, y eso es falso.
    Esto es un bug con esa estrategia, y pasa con todos los tamaños de velas Renko, desde 5 pips, 15, 30, o el que sea.
    Por eso digo de la importancia de conocer el MT4 hasta las entrañas.


    Exacto, a eso me referia con "hasta las entrañas".

    Hasta el momento, todos los bugs que me he encontrado, que son muchisimos, tienen el mismo origen y la misma causa: la ausencia de datos de ticks. Por supuesto, se asume tambien el fallo inherente del spread. Pero es que la ausencia de ticks ocasiona un sinfin de posibles errores.

    Y es que, si queremos hacer pruebas con datos que son solo un modelo obtenido a partir de datos reales (los backtest son pruebas sobre datos modelados), debemos diseñar nuestro EA para que trabaje sobre el mismo modelo . Si no lo hacemos así, nuestros resultados EN REAL solo serán aproximados a los resultados del modelo.

    Por ejemplo. Nuestro modelo no sabe de precios transcurridos entre Open Price de M1 y Close Price de M1. Bueno, pues USEMOS esos precios, y solo esos, en nuestros EAs e indicadores: calcular las medias moviles sobre Open Price y Close Price, por ejemplo. Pero también OJO con esto: el Close Price de la barra en curso es el precio actual, y no el precio de cierre de la vela.

    En fin. Solo pretendo ilustrar cómo diseñar sistemas para evitar el problema de que nuestros historicos son solo modelos.

    Aparte de todo lo comentado, y ciñéndome también al título original del post, existe el overfitting, o la sobreoptimización. Algo de lo que tanto se ha hablado y que hay tantas teorías sobre la sobreoptimización como colores en el arcoiris. Bueno, no. Hay más.

    Quién dijo que el Trading Automático era fácil?
    Vamos a ver, si encontrais todos esos problemas con la extrapolación " a su manera" que hace MT4 y que nunca sabremos a ciencia cierta cómo la hace ni en base a qué criterios o algoritmos, ¿por qué no usais datos de tick para hacer esos mismos backtest???.

    Hablais de que MT4 no es capaz de manejar ticks, pero eso que, en principio es cierto (se basa solo en datos de M1 y los ticks los extrapola como bien comentas) tiene facilísima solución, y es crear nuestros propios archivos FXT con todos nuestros ticks del broker o fuente de ticks elegida a partir de un csv con dichos ticks, y OBLIGARLE a MT4 a que use esos FXT en lugar de que nos cree el suyo propio con su extrapolación. Para eso hay herramientas suficientes para hacerlo, así como fuentes de datos (menos fuentes que de M1, pero las hay, como Dukascopy, Integral/Pepperstone, MB Trading, Oanda, Gain Capital, etc solo mencionando las gratuitas). Y están scripts gratuitos como el CSVTOFXT que nos generan esos HST y esos FXT a partir de esos datos de ticks en formato CSV. ¿Por qué dejar que MT4 nos siga extrapolando sabiendo de sus anomalías??.

    Ni que decir tiene que en el grupo Renko ya hemos comprobado que es la UNICA manera de hacer backtest con fiabilidad con ese tipo de gráficos. Lo que se hace deseable en backtest en timeframes, se hace IMPRESCINDIBLE en backtest en gráficos Renko, puesto que sólo teniendo nuestros ticks es cuando podemos darle las instrucciones correspondientes para que nos repinte la apertura de la vela renko (digo renko como cualquier otro gráfico que no se base en timeframe) donde corresponde a ese tipo de graficación.

    Esto, a su vez, nos hace que tengamos backtest todo lo fiables que se puedan tener (ya sabemos que en cuenta real van a variar por razones como el slippage y la latencia) y nos ahorramos de llevar laboriosos Excel paralelos.

    Respecto al spread, imagino que sabreis que con datos de tick también se pueden hacer los backtest con SPREAD VARIABLE, es decir, el spread implícito que va en cada tick de nuestro histórico (diferencia entre el bid y el ask en cada momento de nuestros datos), anulando o reduciendo una de las mayores diferencias que existen entre backtest y desempeño en cuenta real. Igualmente, se pueden configurar comisiones, swaps, y demás condiciones de nuestro broker en particular. E incluso (aunque esto no lo veo demasiado recomendable) generar un slippage aleatorio con los parámetros que elijamos para que nos lo haga.

    En resumidas cuentas, es la manera de hacer backtest lo más parecido posible a las condiciones que nos vamos a encontrar en real, conservando únicamente la diferencia respecto a esta operativa en lo referente al tiempo de ejecución, latencia y slipagge (lo cual no es poco y varía el resultado bastante, pero al menos hemos reducido muchísimo e incluso nos quedaremos cerca de anularlo el resto de anomalías y diferencias con respecto al backtest, como extrapolación, y el propio spread).

    Creo que MT4 no solo hay que conocerlo a fondo, sino intentar anular sus limitaciones de origen y habiendo herramientas para ello, no cerrarnos solo al hecho de que en origen no permite esto o aquello, ya que sí que hay posibilidades de eludirlas, como bien sabeis.

    Saludos y abrazos a todos.
    Foro de Forex Trading United

     

Página 1 de 4 1234 ÚltimoÚltimo
Publi
Publi


Aviso Legal
Ley Orgánica 15/1999, de 13 de diciembre, de Protección de Datos de Carácter Personal