Backtest en mql4

[robertomar]

Publi

Sr. Burns, Una de las fases de analisis de Eas, es verificar que el expert realice operaciones similares en forward y en backtest.

En lo que llevo aprendiendo sobre Eas, quiza esta es de las etapas mas importantes, ya que si las difernecias son extremas y negativas es donde podemos descartar el expert; o en su defecto volver a iniciar el proceso.

Porque se da esta situación, desde mi punto de vista existen diferentes situaciones pero lo mas importante si el Expert trabaja con el tick, es que MT4 tiene una gran debilidad, que el tick no existe en el Strategy Tester, por tanto Mt4, lo inventa o mejor dicho lo calcula y lo extrapola matematicamente, por lo que como se formo la vela en el backtest no es igual a como se creo en la realidad.

De ahi otros factores pueden ser Spread si el backtest se realiza con spread mas pequeños que los de la demo abrira menos operaciones, Latencia, Etc.

Saludos.

Totalmente de acuerdo en todo lo expuesto, excepto en una cosa, es cierto que Metatrader solo baja datos de 1 minuto y luego los ticks los extrapola o inventa con un algoritmo o como se le quiera llamar, pero el autor del post, Sr. Burns, comenta que los backtest los ha hecho con los datos descargados por Tickstory, en cuyo caso, este programa descarga los datos de tick desde Dukascopy y los exporta a MT4, con lo cual, en este caso concreto, el problema pueden ser todos los demás factores que argumentas tanto tú como los demás compañeros, pero no ese, puesto que aquí ya Metatrader no extrapola nada, puesto que recibe los datos de tick exportados desde Tickstory, de ahí que salga una calidad de modelado del 99,90% con este método y no el 90% habitual que da Metatrader con sus propios datos y su extrapolación.

Saludos

Foro de Forex Trading United

[robertomar]

Roberto no es que ponga en duda el tickstory, comparto tu opinion en que es la mejor opcion viable para hacer backtest de nuestros robots, facil de usar y gratuito.

Mi opinion iva enfocada a la inquietud de poque tenemos resultados tan diferentes en backtest con una cuenta en forward test.

Una de las causas desde mi opinion es la volatilidad, con que se forma la vela que si bien es cierto tickstory reduce bastante, aun tenemos desviacion. Esa es mi conclusion.

Luego factores como Latencia, Spread, Broker.

saludos.

Ok, comprendido, si no tú, sí que he leído otra gente que sí que no es muy partidaria de lo del 99%, gente además muy buena en los backtest como el compañero deckardbcn, que además se le nota bastante conocimiento, dedicación, rigor, y buen hacer.

Yo creo que las diferencias, en mi escasa experiencia, sobre todo se basan en que los backtest tanto si los haces con Tickstory como con Birt, como con MT4 a pelo, te los hace con spread fijo, y creo que sin slippage, y eso como bien tú dices, dista bastante de la realidad en cuenta live e incluso en cuenta demo, por no hablar de los famosos spikes de ciertos brokers, jugarretas, robo de stops, etc.

Un saludo compañero, en el fondo estamos bastante de acuerdo, un honor charlar con alguien tan experimentado.

Foro de Forex Trading United

[dream3r]

Los secretos de un buen backtest son muchos y es largo explicarlo todo en un foro, pero por otra parte los backtest tick a tick es la forma de confirmar la viabilidad de un proyecto. Por ejemplo: la única forma de saber si un backtest de MT4 "normal" digamos a 5M, es más o menos "fiable", es contrastarlo con el backtest tick a tick.

Al final los resultados obtenidos en backtest van a diferir en mayor o menor grado respecto a la realidad del mercado en función de muchos factores: deslizamientos, ampliación del spread, singularidades de los brokers, etc. Recordad que no todos los brokers tienen los mismos proveedores de liquidez y solo por este factor los resultados de una cuenta real pueden variar respecto al backtest tick a tick.

Esto pasa sobretodo en forex ya que hay diferentes "data feeds" que en este caso son los proveedores de liquidez de cada bróker. En su mayoría son "pools" que contienen un grupo de bancos con lo que la cotización puede ser distinta en brokers (cada vez hay menos diferencia, pero las hay). En un activo regulado por ejemplo: los Futuros, las cotizaciones son mucho más estables pues los "data feeds", proceden de la misma fuente a través del organismo regulador (CME), por lo tanto este factor desaparece, siendo el backtest más acorde con la realidad.

Al final es mejor aplicar métodos comparativos y estadísticos: coef. Alvort, coef volatilidad, ratio de Sharpe, exposición al mercado y un sinfín de datos más que nos dicen si vamos por el buen camino.

Los datos que nos da el backtest de MT4 son muy limitados y en algún caso engañosos y es necesario extraer el statment y procesarlo para obtener los valores y ratios necesarios para evaluar la viabilidad del sistema.

Para haceros una idea: Si nuestra muestra de datos obtiene un coef. Alvort próximo a 1, con poca exposición al mercado y un factor de beneficio superior a 2, estaremos en el buen camino. Luego será el momento de profundizar más en otros ratios como: sharpe y % de Volatilidad del producto. en todo caso, eso no nos lo da el MT4, hay que romper las fronteras y aplicar la estadística.

Al final el trading es estadística.

carlessan, muy interesante lo que dices.
Un par de preguntas sobre lo que dices: Cuando pones el ejemplo "la única forma de saber si un backtest de MT4 "normal" digamos a 5M, es más o menos "fiable", es contrastarlo con el backtest tick a tick", a qué te refieres? Es decir...hasta lo que sé, puedes hacer un backtest en 5M tick a tick. No te acabo de entender con esto..
Respecto los datafeeds y los futuros, estoy totalmente de acuerdo, pero una puntilla solo: en futuros los backtests también dan muchos problemas. Comprar datos buenos y fiables son muy caros (hablo de 60.000 € hacia arriba) cuando hablamos de obtener varios indices en varios años. En forex, nos podemos aproximar al menos con datos de ECNs ponderados, como los de Dukascopy (no sé si sabes como funcionan los datos de Dukascopy..). Añadiendo más a lo de futuros, en los que me he peleado bastante también, en futuros el backtest es más dificil de acordar con la realidad cuando se ejecutan ordenes hacia el broker, ya que estos tienen una cola de prioridad mucho más lenta que en el forex. En aplicaciones como Ninjatrader o Multicharts la volatilidad, la latencia y el broker en una cuenta real son factores que cambian muchisimo y eso hace poco fiable los backtests. Por las pruebas que he realizado, en Forex, con un buen broker ECN, los problemas y las diferencias son menores.

En otra cosa que estoy muy muy de acuerdo contigo: todo es pura estadística! Pero las pruebas se han de hacer lo más precisas posibles para poder hacer las propias estadísticas!

Saludos y de nuevo, gracias!
Dream3r

Foro de Forex Trading United

[dream3r]

Roberto no es que ponga en duda el tickstory, comparto tu opinion en que es la mejor opcion viable para hacer backtest de nuestros robots, facil de usar y gratuito.

Mi opinion iva enfocada a la inquietud de poque tenemos resultados tan diferentes en backtest con una cuenta en forward test.

Una de las causas desde mi opinion es la volatilidad, con que se forma la vela que si bien es cierto tickstory reduce bastante, aun tenemos desviacion. Esa es mi conclusion.

Luego factores como Latencia, Spread, Broker.

saludos.

Wolfman,
primero de todo, me arrodillo ante ti. Me pareces un muy buen aporte a este foro.
Respecto el tickstory, me parece una aplicación pobre en muchos sentidos: hay gaps, datos repetidos y además produce errores en el FXT. Esto produce que los bakctests sean lentos y pesados.
En cuanto a la volatilidad, tienes toda la razón en tu deducción, aunque el spread se puede controlar (con otro programa, claro está..con el tickstory no puedes aunque te da la opción). La latencia no la puedes controlar NUNCA y el broker, no afecta para nada excepto para el número de dígitos (4 o 5).
En el caso de tener un broker u otro, excepto para los dígitos y para construir los datos en FXT, no afecta para nada en el backtest.

Saludos y espero haber resuelto tus dudas!
Dream3r

Foro de Forex Trading United

[Wolfman]

Muchísimas gracias por tus esfuerzos para ayudar. Yo en mi caso ya hago los backtests con el Tickstory y me salen al 99,9 %, el tema es que el compañero Wolfman por lo que parece pone en duda que esos modelados de verdad sean tan verídicos, y yo también he leído por ahí en otros hilos bastante controversia y discusión en relación a ello, parece que hay gente que no le da mucha relevancia a ello e incluso quien piensa que es un truco pero no es muy fiable y tal.

Yo prefiero el Tickstory porque lo veo mucho más sencillo, te descargas los datos de Dukascopy con el mismo programa, una vez descargados los exportas a MT4 sin parches ni scripts ni rollos, es gratuito, en la conversión puedes elegir todos los parámetroso de tu broker incluso te los busca y capta el mismo programa en un archivo a través de un EA, y en la última versión ya funciona con la versión actual de MT4 (la build 509), no tienes que estar instalando versiones anteriores y demás. Adicionalmente, le han metido otra característica para, una vez exportados los archivos FXT, luego puedes editarlos y cambiarles los parámetros (apalancamiento, swaps, valor del tick, spread, moneda base, etc), para poder usarlo en otros MT4, o para ir probando a ver como se comporta el EA con diferentes spreads, etc, y ello simplemente editando los archivos FXT, sin tener que volver a exportarlos (que ya sabemos que eso tarda un buen rato y es un rollo). A mí la verdad que me funciona bien.

Saludos y gracias

Roberto no es que ponga en duda el tickstory, comparto tu opinion en que es la mejor opcion viable para hacer backtest de nuestros robots, facil de usar y gratuito.

Mi opinion iva enfocada a la inquietud de poque tenemos resultados tan diferentes en backtest con una cuenta en forward test.

Una de las causas desde mi opinion es la volatilidad, con que se forma la vela que si bien es cierto tickstory reduce bastante, aun tenemos desviacion. Esa es mi conclusion.

Luego factores como Latencia, Spread, Broker.

saludos.

Foro de Forex Trading United

[Wolfman]

me decantado por esta forma....pero...la verdad que no doy con el chiste...
.una cosa...queria preguntar..sobre el rango..
hazta que año son los datos de dukascopy ??....le doy los ultimos..y me marca..desde finales de 2008
igual para el AUDUSD. me descargue un archivo de mas de 5GB.....y al probarlo en el tester..me dice q no hay data....probe con el EURUSD..y me da...n/a modelado.. no se q estoy haciendo mal.

De que manera as accesado a tu MT4?

con el tickstory recuerdo que con la version anterior a la 500, teniamos el problema que no puedes accesar al mt4 de forma independiente, debes hacerlo desde el tickstory.

En ocasiones falla, yo normalmente cierro y vuelvo a entrar.

Una de los limitantes con los archivos con historicos grandes es que el tester de mt4 no tiene capacidad de soportarlo, recuerdo que son 2 g maximo, por lo que si tu le pones al euro dolar desde 5 años solo te dara unos 18 meses, en otros pares 2 años o un poco mas.

Saludos.

Foro de Forex Trading United

[dream3r]

Hola dream3r, tienes razón con lo de los futuros, yo me refería solo al hecho de la regulación en los datos de los data-feeds respecto a las anomalías detectadas en coticaciones de distintos brokers de forex (velas fantasma, spikes que existen en unos y otros no, etc.). Por lo demás programé mucho tiempo en NinjaTrader y utilizaba análisis Delta, VSA y Market Profile, y el histórico tick a tick era capturado a través de varios compañeros que teníamos VPS. El máximo histórico que teníamos era de unos 4 años sin vacíos en los activos que nos interesaban que eran los pares de divisas que cotizan en futuros, el SP y el oro. (no nos podiamos pagar los abusivos precios del historico de cada contrato). Gracias a esto podíamos hacer backtest de estrategias de análisis delta al tener cada tick el volumen con los contratos diferenciados entre compra y venta, etc. (Pero eso eran otros tiempos, ahora no me complico tanto)

Respecto a lo que puse del backtest, claro que puedes hacer backtest de 5M en tick a tick, pero si tu estrategia corre en 5M si haces el backtest tick a tick, descartas que la extrapolación de datos de las velas de minuto de la metatrader, puedan darte resultados engañosos que normalmente son mejores que los resultados tick a tick. Es una forma también de destapar scams y expertos que trabajan intra-barra (tick a tick) que dan resultados erróneos al correrlos en 1M, 5M, etc. con metatrader normal.

Los datos de Dukas, los conozco bien, he desarrollado proyectos con JForex y he tenido que batallar con ellos y con algunas anomalías que tienen y que pueden desvirtuar los backtest de estrategias tipo grid, promediadores, escaleras, etc. Por ejemplo en los pares EU y GU, en el transcurso desde el 2000 hasta ahora existen algunas velas aisladas de muchísimos pips que en realidad no sucedieron. Dichas velas hay que filtrarlas y modificar sus datos para que no desvirtúen los resultados del backtest. (no es oro todo lo que reluce en los históricos, jajaja).
Ah, por cierto, dukascopy tiene el ismo problema que metatrader con la extrapolación de datos de las velas de minuto, por lo que cualquier estrategia hay que correrla tick a tick a no ser que su operativa se base a vela cerrada.

Salu2 y gracias por tus opiniones

Tiene muy buena pinta lo que comentas! Podríamos hablar en privado? No me deja enviarte un mail privado...como puedo contactar contigo?

Dream3r

Foro de Forex Trading United

[robertomar]

me decantado por esta forma....pero...la verdad que no doy con el chiste...
.una cosa...queria preguntar..sobre el rango..
hazta que año son los datos de dukascopy ??....le doy los ultimos..y me marca..desde finales de 2008
igual para el AUDUSD. me descargue un archivo de mas de 5GB.....y al probarlo en el tester..me dice q no hay data....probe con el EURUSD..y me da...n/a modelado.. no se q estoy haciendo mal.

Lo primero, has exportado los datos para MT4?
Y lo segundo, lo que dice Wolfman, con la última versión igual, tienes que acceder al MT4 desde una opción que hay en el Tickstory que se llama lanzamiento de MT4, ya que si abres el MT4 directamente no te va a funcionar.

Saludos

Foro de Forex Trading United

[NovatovinFx]

te tocaria revisar el codigo,.. o escribirlo para mt5...o para otros programas

pero lo de siempre....saber de programacion......es justamente mi limitante..y por eso casi ..no toco los EAs...

Foro de Forex Trading United

[alfreo]

Publi

Paso a este foro un mensaje que colgué de un hilo de backtesting en el foro de brokers, pero que no debí hacerlo porque ese foro pone explícitamente que no es para EA’s.
El caso es que pregunté por el hecho de un backtest de un ea realizado en mql4, backtest realizado sobre metatrader lanzado a través de tickstory, o sea, en teoría fiable. El test me daba operaciones sensiblemente distintas que las que da el ea ejecutado en forward testing. Operaciones que el test no abría, o que lo hacia a destiempo, o sea, resultados notablemente diferentes.
Es esto normal? Se debe a los datos de tickstory? o al strategy tester de metatrader?
Hay diversos programas de test de ea’s, pero no conozco ninguno para ea’s programados en mql4, alguien conoce alguno además de metatrader?

Saludos y Gracias

aparte de todo lo que dijo wolfman, algunos EA´s tienen un codigo para detectar bt y simular mejores resultados de los que te va a dar en forward.

Foro de Forex Trading United