¿Son fiables los backtesting?

Cita:

---

Iniciado por YHOYO

...que si los backtest funcionan y son fiables?? ...no necesariamente funcionaran igual en real... debido a factores como los mencionados anteriormente. y otros ... velocidad de conexión, ping.... y muchos otros...

...ahora bien tambien depende de la "calidad" del backtesting.. modelado, balance, equidad, tiempo con del backtest y demas...

---

Cita:

---

Iniciado por indovinello

...los resultados...estarán basados en un entorno con demasiadas anomalías...

---

Cita:

---

Iniciado por yokinfx

...En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest...

---

Cita:

---

Iniciado por indovinello

...la cantidad de imponderables que no sabemos medir (yo diría no podremos medir) hacen que el resultado sea poco válido...

---

Cita:

---

Iniciado por jimfxtrader

... podremos tener mas del 50% de fiabilidad en poner a correr nuestro sistema de trading...

---

Cita:

---

Iniciado por robertomar

...tiene facilísima solución, y es crear nuestros propios archivos FXT con todos nuestros ticks del broker o fuente de ticks elegida a partir de un csv con dichos ticks, y OBLIGARLE a MT4 a que use esos FXT en lugar de que nos cree el suyo propio con su extrapolación...

---

Gracias compañeros. A lo mejor pudieran tener respuesta a lo siguiente:

Digamos que no utilice un FXT con los ticks, ¿con qué diferencia en cuanto a pérdidas consecutivas pudiera encontrarme? No me refiero a que el mercado haga algo diferente al pasado sino a hasta dónde pudiera llegar la diferencia en cuanto a número de pérdidas consecutivas si hubiera usado una cuenta real respecto a lo que arrojó el BT. Digamos que el BT arrojó 10, ¿es común tener en la real 30, por ejemplo(contra los 10 del BT)?

En caso de crear mi propio archivo FXT con todos los ticks del broker, ¿qué rango de variabilidad pudiera encontrarme en cuanto a máximo número de pérdidas consecutivas?

Muchas gracias de antemano
Reciban un saludo

Gracias a todos por sus respuestas.


Si el problema no es solo de datos sino también debido a otros factores (en el BT siempre se abren operaciones y en real no, la velocidad de conexión, etc..), y bajar datos ticks solo servirá para disminuir cantidad de anomalias debidas a precio, y quedan entonces las otras por corregir.

Pero a mayor TF mayor confianza en que los resultados del BT se acerca mas al resultado que se puede obtener en real (disminuiria cantidad de causas que estén generando estas anomalías); por lo tanto, ¿se puede decir que BT solo tiene utilidad real (una idea aproximada) si se hacen en TF de 4H o mas (y no la tendría entonces en los TF menores, a menos claro, se resuelvan las anomalias)?

Cita:

---

Iniciado por zalxipio

Hola.

Primero que nada el backtest debería ayudarte para decir si tu estrategia u operativa es positiva para obtener ganancias o si el enfoque esta equivocado, yo te recomiendo que utilices lo gráficos de tu propio broker, pues de alguna forma dependiendo de como trabajen, la cantidad de capital que utilicen y otros factores mas podría influir un poco en la gráfica y sería mas sensible en la de corto plazo o tf menores, en realidad ningún broker posee un historial de gráficos que te digan lo que realmente sucede en el mercado tic por tic es solo una muestra de lo que ellos operan que va en proporción con lo que se pasa en el mercado un saludo y suerte.

---

Gracias zalxipio.

Me he descargado los datos de mi broker, es más de cuentas reales que tengo que son varias y no me dan la calidad de modelado que me da tickstory, aunque tal vez solo sea un numero que aparece como 99.90% y sea otro engaño mas. No se mucho de eso, yo soy operador manual y acabo de empezar no hace mucho con los expert advisors y no tengo mucho dominio de ese tema en concreto.

Esta semana lanzo nuevos expert en las cuentas demo haber qtl se comportan.

Un saludo

Cita:

---

Iniciado por Maxh

Muchisimas gracias Robertoman!!, me ha servido de mucha ayuda :contento2:

Actualmente todos los Eas que estoy optimizando los estoy optimizando de M30 para arriba, aparte de por el ruido por la fiabilidad de datos.

Otra pregunta es si dukascopy europe es igual a dukascopy swiss, porque me voy a hacer una cuenta pequeña, me refiero a dukascopy europe porque el minimo para abrir cuenta son 100 y dukascopy swiss el minimo son 5000. Aunque conozco poco su plataforma java y el puente de metatrader con esa plataforma. Tengo que ver que tal van las ordenes de los eas con ese sistema.

Un abrazo

---

Hola Maxh.

Antes de abrir cuenta con Dukascopy verifica que el puente hacia la plataforma MT4 sigue operativa.

Si no ando equivocado aunque en la pagina de Dukascopy todavía figure , en realidad dicho software ya no está disponible.

Igual estoy equivocado pero mejor que preguntes antes de abrir cuenta con ellos.

Además ese software no rulaba muy bién que digamos.


Saludos.

Todo backtesting es recomendable para pruebas al sistema de trading a emplear en las operaciones de cada trader, antes de comenzar a operar, no da un 100% de fiabilidad, ya que el mercado es irregular, sin embargo mientras se mantenga un numero de operaciones positivas e incremento de cuenta cuando el backtesting ejecute el sistema, podremos tener mas del 50% de fiabilidad en poner a correr nuestro sistema de trading...

Quisiera saber que tan exactos o no son os BackTesting, en el sentido de que, si hago un BackTesting de un EA, ¿puedo esperar que este dió un resultado confiable?

No me refiero a si el mercado hará lo que hizo, sino a si puedo confiar en que el BackTesting me está dando una información tal como la que hubiera obtenido de haber dejado corriendo ese mismo EA (testeado) en real.

¿Alguien ha confirmado o sabe algo al respecto?

Cita:

---

Iniciado por ealabspain

La calidad / fiabilidad de un backtest depende de lo siguiente:

-Calidad del historico...

---

Hola ealabspain.

Puesto que el FOREX es un mercado OTC y cada Broker tiene su propia cotización, en principio deberían bajarse los datos del precio del Broker que se esté utilizando. Por supuesto, además de que los datos históricos descargados reflejen los de su cuenta real, mas me gustaría confirmar: ¿Con "calidad del histórico" te refieres a que no falten datos ?

Gracias de antemano
Recibe un saludo

Cita:

---

Iniciado por trader201

Quisiera saber que tan exactos o no son os BackTesting, en el sentido de que, si hago un BackTesting de un EA, ¿puedo esperar que este dió un resultado confiable?

No me refiero a si el mercado hará lo que hizo, sino a si puedo confiar en que el BackTesting me está dando una información tal como la que hubiera obtenido de haber dejado corriendo ese mismo EA (testeado) en real.

¿Alguien ha confirmado o sabe algo al respecto?

---

Buenas,

pertenezco al grupo de backtest de TU, ello no quiere decir nada, sólo que hemos trabajado bastante sobre los backtest y optimizaciones.

Mi impresión (y esa no representa al grupo) es que, tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años y puesto en un metatrader 4 los resultados (considerados genéricamente) estarán basados en un entorno con demasiadas anomalías.

Ahora bien hay que matizar, no es lo mismo el EURUSD que el ORO. En el primer caso, quizá si se toma un sistema tipo swing que opere a largo plazo nos pueda dar una idea aproximada de si vamos por el buen camino o no. En el oro creo que será muy difícil debido a la cantidad de anomalías.

Mi impresión personal (repito, es la mía) es que si bajamos de time frame e incrementamos el número de operaciones los resultados no nos van a dar una idea de lo que se puede esperar del sistema.

En algunos momentos (seguramente de desánimo extremo) he llegado a pensar que mejor nos dejamos de optimizaciones y backtest y nos vamos directamente a fordwardtest con una cuenta real (micro, por supuesto). Eso saca a la luz también la problemática de las cuentas demo.

Resumiendo mi impresión: tenemos demasiadas anomalías en el entorno metatrader 4/históricos (ya ni que decir con mtq5, que ese ya es otro tema) como para pensar que los resultados de backtests y optimizaciones son fiables. A lo sumo podemos tomarlos como brújula imprecisa para no ir demasiado desorientados.

Un saludo

Tengo otra consula :?

Me he dado cuenta haciendo pruebas que metatrader me hace las operaciones de expert advisors en base a los graficos del precio, de charts que se visualizan en la plataforma.

Hay brokers que ofrecen unos graficos llenos de huecos y con spiders que ni siquiera existen. A lo que voy

Pruebas a hacer un backtest en un chart y te da un resultado; despues pinchas en ese chart con el boton derecho del raton y le das a actualizar( al hacer esto hay pequeños gaps inventados que se rellenan) y seguidamente haces otro backtest y el resultados es bastante distinto...

Con un mismo set en forward y con distintos broker, las operaciones son distintas. ¿Puede deberse a que en mercado ese broker abre sus operaciones con respecto a lo que nuestro gráfico represente?

¿ Metatrader hace los backtest en base a los graficos que se pueden ver en un chart , o en base a los graficos que tenemos en histort (.hst) o en tester/history(.fxt)?.

Yo pensaba que se hacian en base a los archivos .hst y .fxt, pero realmente influyen los graficos?

Saludos

Hola Gente, estoy comenzando con este mundo de los backtesting y digo "mundo" porque veo que hay mucas cosas para aprender.
Consulta, yo obtengo excelentes resultados en modo "puntos de control" y mucho peores en "tick a tick"
-alguien sabe como funciona puntos de control como para adaptar el codigo a que simule ese modo en la vida real?

gracias

Cita:

---

Iniciado por indovinello

Buenas,

pertenezco al grupo de backtest de TU, ello no quiere decir nada, sólo que hemos trabajado bastante sobre los backtest y optimizaciones.

Mi impresión (y esa no representa al grupo) es que, tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años y puesto en un metatrader 4 los resultados (considerados genéricamente) estarán basados en un entorno con demasiadas anomalías.

Ahora bien hay que matizar, no es lo mismo el EURUSD que el ORO. En el primer caso, quizá si se toma un sistema tipo swing que opere a largo plazo nos pueda dar una idea aproximada de si vamos por el buen camino o no. En el oro creo que será muy difícil debido a la cantidad de anomalías.

Mi impresión personal (repito, es la mía) es que si bajamos de time frame e incrementamos el número de operaciones los resultados no nos van a dar una idea de lo que se puede esperar del sistema.

En algunos momentos (seguramente de desánimo extremo) he llegado a pensar que mejor nos dejamos de optimizaciones y backtest y nos vamos directamente a fordwardtest con una cuenta real (micro, por supuesto). Eso saca a la luz también la problemática de las cuentas demo.

Resumiendo mi impresión: tenemos demasiadas anomalías en el entorno metatrader 4/históricos (ya ni que decir con mtq5, que ese ya es otro tema) como para pensar que los resultados de backtests y optimizaciones son fiables. A lo sumo podemos tomarlos como brújula imprecisa para no ir demasiado desorientados.

Un saludo

---

A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!! :@

Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

Archivo adjunto 29148Archivo adjunto 29149

Hola chicos, con respecto a la fiabilidad de los backtest.

Yo los datos me los estoy descargando a traves de tickstory, y lo que hago es lanzar metatrader a traves de tickstory con la plataforma desconectada para que los datos no se sobreescriban. Estos datos se descargan en csv y se transportan a fxt.

Los resultados de los backtest que yo estoy obteniendo es muy similar a los que tengo lanzados en demo, las operaciones son parecidas, por lo menos en el corto plazo.

No se si lo estaré haciendo bien, que opinais vosotros respecto a la fiabilidad de los datos que pueda obtener de tickstory?

Cita:

---

Iniciado por indovinello

Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

---

Ojo, que la grafica que he enviado del Excel no es la libreria que os comparti hace tiempo de calculo del drawdown flotante, es un "bug" existente en los Backtest en renko con una estrategia determinada. Este EA actua solo en apertura de velas (asi me libraba del bug de la interpolacion de precios entre vela y vela), y las operaciones deberian ser todas de +X pips o -X pips. Pero en Renko, por como se forman los graficos, hay momentos en los que te dara la operacion negativa de -0 pips, y eso es falso.
Esto es un bug con esa estrategia, y pasa con todos los tamaños de velas Renko, desde 5 pips, 15, 30, o el que sea.
Por eso digo de la importancia de conocer el MT4 hasta las entrañas.

Cita:

---

Iniciado por indovinello

Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

Un abrazo.

---

Exacto, a eso me referia con "hasta las entrañas".

Hasta el momento, todos los bugs que me he encontrado, que son muchisimos, tienen el mismo origen y la misma causa: la ausencia de datos de ticks. Por supuesto, se asume tambien el fallo inherente del spread. Pero es que la ausencia de ticks ocasiona un sinfin de posibles errores.

Y es que, si queremos hacer pruebas con datos que son solo un modelo obtenido a partir de datos reales (los backtest son pruebas sobre datos modelados), debemos diseñar nuestro EA para que trabaje sobre el mismo modelo . Si no lo hacemos así, nuestros resultados EN REAL solo serán aproximados a los resultados del modelo.

Por ejemplo. Nuestro modelo no sabe de precios transcurridos entre Open Price de M1 y Close Price de M1. Bueno, pues USEMOS esos precios, y solo esos, en nuestros EAs e indicadores: calcular las medias moviles sobre Open Price y Close Price, por ejemplo. Pero también OJO con esto: el Close Price de la barra en curso es el precio actual, y no el precio de cierre de la vela.

En fin. Solo pretendo ilustrar cómo diseñar sistemas para evitar el problema de que nuestros historicos son solo modelos.

Aparte de todo lo comentado, y ciñéndome también al título original del post, existe el overfitting, o la sobreoptimización. Algo de lo que tanto se ha hablado y que hay tantas teorías sobre la sobreoptimización como colores en el arcoiris. Bueno, no. Hay más. :contento2:

Quién dijo que el Trading Automático era fácil? :feliz2:

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


Ok. Gracias.

Pues me temo que sí Vinisius, con esos es con los que estuvimos haciendo todas las pruebas, y en la opinión de las 4 personas que trabajamos durante meses en eso, desde el 2003 hasta el 2008 sólo valen para tirarlos a la papelera de reciclaje, jajajaja. De hecho yo los descargué enteros, y luego los corté y dejé solo desde Octubre de 2008 en adelante, y rellené todos los huecos, gaps, velas planas y velas fake tick a tick y revisé vela a vela visualmente desde esa fecha hasta abril de 2014 para comprobar que no existieran otros problemas imposibles de detectar con herramientas automáticas como lo que denominamos en su día "velas radio" tipo 1 y tipo 2. Sinceramente creo que, al menos yo, no he visto mejor calidad de datos que esas dos series que completamos y arreglamos en ninguna fuente (ni las de pago). Estuvimos descargando muestras de series históricas de pago y también tenían bastantes problemas. Las que hicimos nosotros, sinceramente, creo que tienen los mínimos, hechos a conciencia.

Ahora bien, el EURUSD desde Octubre de 2008 hasta ahora muy buenos, de los mejores que hemos visto (aún con sus deficiencias que todos tienen alguna) (estas deficiencias son las que arreglamos nosotros, pero partiendo de una base aceptable, que es de la fecha que te indico en adelante, de ahí para atrás la serie base no merecía perder el tiempo con ella, porque eran más las sombras que las luces en ella, de hecho, prácticamente todas las velas de esos años eran velas radio, o al menos, amplísimos tramos de temporadas enteras).

Yo de lo único que me fío y puedo recomendar es desde el 01/10/2008 hasta ahora. De ahí para atrás no hemos visto fiabilidad alguna en los datos de ningún broker de los que analizamos, y fueron bastantes. Y si evitamos backtest en M1 mejor, a partir de M5 mejor.

Espero haber aclarado un poco y no liar más, jajaja.

Saludos y un abrazo.

Cita:

---

Iniciado por Maxh

Tengo otra consula :?

Me he dado cuenta haciendo pruebas que metatrader me hace las operaciones de expert advisors en base a los graficos del precio, de charts que se visualizan en la plataforma.

Hay brokers que ofrecen unos graficos llenos de huecos y con spiders que ni siquiera existen. A lo que voy

Pruebas a hacer un backtest en un chart y te da un resultado; despues pinchas en ese chart con el boton derecho del raton y le das a actualizar( al hacer esto hay pequeños gaps inventados que se rellenan) y seguidamente haces otro backtest y el resultados es bastante distinto...

Con un mismo set en forward y con distintos broker, las operaciones son distintas. ¿Puede deberse a que en mercado ese broker abre sus operaciones con respecto a lo que nuestro gráfico represente?

¿ Metatrader hace los backtest en base a los graficos que se pueden ver en un chart , o en base a los graficos que tenemos en histort (.hst) o en tester/history(.fxt)?.

Yo pensaba que se hacian en base a los archivos .hst y .fxt, pero realmente influyen los graficos?

Saludos

---

Respecto a lo de la operativa on line, tu histórico solo se usa para si por ejemplo tu EA basa su estrategia para operar en ciertos indicadores, pues lógicamente esos indicadores se calculan en base a los históricos que tengas, y si hay problemas en ellos te pueden desvirtuar parcialmente los valores de esos indicadores, pero en cuanto al momento en que lances la orden, ya no tienen nada que ver, ahí ya dependerá de la recepción por parte del servidor de tu broker y cómo la gestione y ejecute.

Respecto a lo otro, los backtest que hace MT4 se basan en los archivos hst que tengas , y en arreglo a los datos que ahí tengas MT4 te genera una interpolación "inventándose" los ticks, (que van en los archivos fxt) ya que en esos hst solo van los precios de apertura, cierre, máximo y mínimo de cada barra del timeframe del que sea ese histórico, pero no los ticks que hubo en ese broker entre la apertura y el cierre de esa barra, ni su secuencia, si el spread que había en cada momento.

Si te los bajas con TickStory como decías más arriba, entonces esos históricos son del broker Dukascopy y esos sí que llevan los ticks, pero de ese broker lógicamente, no del que tú utilices. Esos datos en general son de bastante buena calidad desde finales de 2008 para acá, pero absolutamente horribles de ahí para atras (prácticamente al igual que los históricos de todos los demás brokers). De ahí en adelante en mi opinión son de los mejores que he visto, y en todas las miles de pruebas que hicimos en su día en el grupo de Backtest de este foro así lo comprobamos con varias herramientas creadas para detectar gaps y fallos diversos en históricos, pero no obstante tienen sus defectos (aunque menos que la mayoría de los demás históricos).

Aparte de los defectos que pueda tener cada serie histórica en cuestión, está el hecho de que con datos standard de los que te bajas a través del centro de historiales de MT4 siempre vas a tener que hacer tus backtest con spread fijo, y para mí, eso es lo más irreal de todo (aparte de la extrapolación que te genera MT4 como te comento más arriba). En cambio con los de ticks (sean de Dukascopy o de otra fuente) tienes la interesantísima posibilidad de hacer los backtest con spread variable, que es como vas a tener que operar en real cuando lo hagas. Así que la diferencia entre ambos métodos a veces sí es bastante importante, aunque en ciertos casos de backtest en timeframes altos o bien si estamos usando ciertos EAs que son de tipo swing o buscan incluso tendencias más grandes, estas diferencias pueden ser mucho menores, e incluso pequeñas, pero haberlas siempre las hay.

Por otra parte los mejores datos que vimos en las pruebas que te comento del método standard de MT4 (datos de M1) fueron los de Alpari NZ, pero volvemos a lo mismo, supongo que ese tampoco será tu broker, igual que no lo será Dukascopy, jaja.

También hay que tener en cuenta que para quien prefiera usar datos de su propio broker, actualmente hay pocos broker que te permiten bajar sus históricos a posteriori (cada vez menos), ya que se está estandarizando el tema de que al acceder a través del centro de historiales los que se te descargan son los datos de Metaquotes, y esos ya sí que son para echarse a llorar y volverse paranoico, jaja. Parece que están intentando centralizarlo todo ahí para que todos tengamos que morir en esos datos (que son los que les interesan que tengamos), al igual que ya lo tienen así en MT5. Imagino que habreis visto el mensaje de advertencia que sale cuando le das a descargar los históricos desde el centro de historiales en muchísimos brokers, avisando de ésto (que los descargará de Metaquotes y no serán los de tu broker, etc etc etc).

Del resto de datos históricos que vimos ( y te aseguro que vimos muchísimos) YO en concreto no me fío de ninguno, en muchos casos tienen más sombras que luces y aventurarse en muchos de ellos es como hacer un backtest, creerte que la estrategia es muy buena, y meterte a operar a ciegas.

Conclusión: para mí, aunque no sea tu broker, las ventajas de tener los ticks, y poder hacer los backtest con spread variable y poder ajustar otras variables como comisiones, swaps, etc en arreglo a las condiciones de nuestro broker, son bastante convenientes y ventajosas y compensan con creces el hecho de que sean de otro broker. Al fin y al cabo, de todos modos, los de la mayoría de brokers actualmente no te los puedes descargar. La única desventaja es que los backtest tardan más.

Y por último, no le recomendaría a nadie hacer un solo backtest de 2008 para atrás, sean con los datos que sean, ni tampoco en timeframe de 1 minuto, siempre de M5 para arriba.

Esta es mi opinión después de todo lo visto y de todas las pruebas que se efectuaron. No se si te servirá de algo.

Saludos y un abrazo.

Cita:

---

Iniciado por Maxh

Hola chicos, con respecto a la fiabilidad de los backtest.

Yo los datos me los estoy descargando a traves de tickstory, y lo que hago es lanzar metatrader a traves de tickstory con la plataforma desconectada para que los datos no se sobreescriban. Estos datos se descargan en csv y se transportan a fxt.

Los resultados de los backtest que yo estoy obteniendo es muy similar a los que tengo lanzados en demo, las operaciones son parecidas, por lo menos en el corto plazo.

No se si lo estaré haciendo bien, que opinais vosotros respecto a la fiabilidad de los datos que pueda obtener de tickstory?

---

Hola.

Primero que nada el backtest debería ayudarte para decir si tu estrategia u operativa es positiva para obtener ganancias o si el enfoque esta equivocado, yo te recomiendo que utilices lo gráficos de tu propio broker, pues de alguna forma dependiendo de como trabajen, la cantidad de capital que utilicen y otros factores mas podría influir un poco en la gráfica y sería mas sensible en la de corto plazo o tf menores, en realidad ningún broker posee un historial de gráficos que te digan lo que realmente sucede en el mercado tic por tic es solo una muestra de lo que ellos operan que va en proporción con lo que se pasa en el mercado un saludo y suerte.

Cita:

---

Iniciado por trader201

¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?

---

Pues no, siento no poderte decir :s

Cita:

---

Iniciado por yokinfx

A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!! :@

Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

Archivo adjunto 29148Archivo adjunto 29149

---

Sin duda, Yokinfx, no nos vamos a rendir.

Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

Sin embargo, si tu EA no arroja más de 2 o 3 pips de promedio de ganancia en cada operación mínimo, la cantidad de imponderables que no sabemos medir (yo diría no podremos medir) hacen que el resultado sea poco válido.

Pongo algunos ejemplos: muchas variables del trading las controla el broker a través del fichero symbols.raw y otros y las va cambiando sobre la marcha. Sólo hace falta un cambio de política en el broker, de algoritmos, de criterio y todo puede cambiar. Y, no nos engañemos, un broker es un equipo directivo que estudia una y mil veces al día cómo establecer y reestablecer políticas de gestión de las operaciones que les reporte beneficios.

En mi opinión las políticas de los brokers es animarnos a operar y demostrarnos que somos muy buenos en optimizaciones, backtest, demo y, hacer caja en real. Simple y llanamente pienso eso.

Eso se traduce en un sinfín de dificultades para hacer cuadrar lo que nos quieren hacer ver que es fácil (obtener beneficios en entornos en donde no se juegan el dinero y nos puede animar a operar en real) y lo que realmente es difícil (obentener beneficios en real, en donde los intereses de los intevinientes son oscuros y contrapuestos).

¿Cómo medimos en entornos no reales los deslizamientos? ¿Las aperturas de las orquillas bid, ask? ¿los bloqueos de la plataforma? ¿Las latencias? Y tantos aspectos que controlan los brokers....

Todavía más, considerando sólo los reultados obtenidos en real, si mi sistema no obtiene un promedio de ganancia por operación que supere ampliamente los 3 pips, ¿cómo sé que un cambio de política en la gestión de las órdenes no va a truncar mi sistema ganador en real en perdedor en real?

Hay que estar siempre atentos y analizando y reanalizando los resultados de real. Nunca sabes por dónde puede venir la sorpresa.

Y todo ello no lo digo por desanimar, al contrario, para animar a cooperar entre nosotros. El trabajo que tenemos por delante es árduo y las dificultades muchas, pero el potencial de un grupo de personas trabajando juntos en algo en lo que creen es inimaginable.

Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

Un abrazo.

Cita:

---

Iniciado por indovinello

...tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años ...

---

¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?

Bueno, mi opinión es otra. Creo que a lo que se refiere Yokinfx (y tiene razón en eso) es a los backtest normales del método standard de MT4 con históricos en barras de M1. Y ahí es correctísimo todo lo que explica con detalles y con gran conocimiento y experiencia.

Por otra parte, de lo que yo hablo es de OTRO SISTEMA totalmente diferente, con otro tipo de históricos. Precisamente para evitar todos esos inconvenientes y escasa fiabilidad es por lo que yo le "obligo" a MT4 a que no me extrapole nada, y a que me haga los backtest como yo creo que deben de ser, es decir, tal como me encontraré las condiciones en cuenta real (me irán llegando ticks y en arreglo a eso el EA operará, y tendré spread variable). Sí, se que hay brokers que se supone que tienen cuentas con spread fijo, pero mi experiencia es que no he visto ninguno que respete eso en todo momento, así que prometer y no cumplir es como si me dicen de entrada que será variable cuando a ellos les interese.

Yo también me he formado durante años en estos sistemas de los que hablo. Todos nos formamos, no solo unos sí y otros no, pero me he formado más concienzudamente y durante años en el OTRO SISTEMA que en el standard, y para mí no cabe duda de la fiabilidad de uno respecto al otro, aunque para todo hay opiniones.

No hay más que preguntar a las personas que más saben de Renko en este foro a ver qué opinan de un sistema y unos datos y los otros y de los problemas que tenían con el método standard (algunos de ellos habían hasta dejado por imposible el mero intento de hacer un solo backtest nunca más), por poner un ejemplo.

Creo que quien solo conozca o haya trabajado o se haya formado en uno de los dos sistemas (si es que esto es así, que no lo se) y quizá quepa la posibilidad de que no conozca a fondo el otro, no creo que sea lógico en mi criterio el hecho de extrapolar lo que pasa con ese sistema a lo que pasa con el otro, porque no tiene nada que ver. Sea uno el que más conozcamos o sea el otro.

Creo que si con un sistema hay una serie de problemas e inconvenientes ello no quiere decir que con el otro también y viceversa.

Con el sistema que yo comento cualquier EA funciona con normalidad y sin arrojarnos resultados parecidos a Holly Grails ficticios, sea el EA como sea, sin necesidad de aplicarle modificaciones adicionales a los códigos de esos EAs ni por tanto tener que estudiar cómo aplicar esos códigos durante años. De hecho, hemos estado haciendo backtest de muchos EAs tanto en timeframe como en Renko (que es donde estaban los mayores inconvenientes derivados del método standard) y sin ningún problema hasta ahora (los mismos EAs en ambos tipos de graficación y con los mismos códigos normales y corrientes).

Cada uno tiene su opinión, lógicamente, la mía es ésta después de muchísimos estudios y miles de backtests y toda la formación que el tiempo ha permitido en estos años y en cualquier momento cabe la posibilidad de hacer los estudios comparativos que se quieran con ambos sistemas y tanto en gráficos de timeframe como en gráficos atemporales (Renko, MedianRenko, Range o lo que se quiera). Yo si eso pudiera interesar a un amplio grupo de miembros de este foro, estaría dispuesto a participar y cada uno podría sacar sus propias conclusiones. Los resultados hablarían, no mi opninión ni la de ningún otro compañero.

También creo que en la discrepancia y el debate de opiniones diferentes está la riqueza.

Saludos y un abrazo a todos.

Lo que vimos es que no está bien ninguna de esa fecha para atrás, ni de M1 ni te ticks. No, no están bien ni los High ni los Low ni muchos otros aspectos en timeframes bajos en ninguna serie (aparte de tramos sin datos, claro). Cuanto más alto sea el timeframe, menos problemas, lógicamente.

De ahí en adelante, mejoran todas, pero la de ticks de Dukascopy en mi opinión es de las mejores. Aparte está el hecho de que, al ser ticks, eludes la extrapolación de MT4 y también puedes hacer los backtest con spread variable (aspectos para mí muy convenientes).

Saludos y un abrazo.

Cita:

---

Iniciado por gverdu

Hola Gente, estoy comenzando con este mundo de los backtesting y digo "mundo" porque veo que hay mucas cosas para aprender.
Consulta, yo obtengo excelentes resultados en modo "puntos de control" y mucho peores en "tick a tick"
-alguien sabe como funciona puntos de control como para adaptar el codigo a que simule ese modo en la vida real?

gracias

---

En la mayoría de los casos es más fiable el modelo de los "Puntos de control" que el de "Cada tick".

No obstante, para que el modelado por "Puntos de control" tenga sentido, necesitarás disponer del histórico de barras de un periodo inferior al que usarás cuando pruebes la estrategia. Si la estrategia va a ser probada en un periodo de 5 minutos, en el "Centro de historiales" de la plataforma, necesitarás el histórico de barras de 1 minuto.

De todas formas, una alternativa que te recomiendo contemplar es la de "Solo precios de apertura". Si tu estrategia tiene buenos resultados con "Solo precios de apertura", es muy probable que los resultados hubieran sido incluso más positivos de haber utilizado esa estrategia en modo real en el mismo rango de fechas del usado en el Probador de Estrategias.

Gracias robertomar.


¿ Pero los datos que están mal son solamente los de tick ?.

Las aperturas, máximo, minimo y cierre de cada barra en TF 1M desde 2003 de los datos de Dukascopy... ¿ están bién ?.

- - - Updated - - -



Saludos.

Cita:

---

Iniciado por YHOYO

...en demo siempre te abren las ordenes o siempre cierran.. en demo no siempre sucede....

---

Cita:

---

Iniciado por ealabspain

..., en real suele entrar mas veces...

---

Aquí terminas de aclararme porque yhoyho sin querer había puesto dos veces "demo", y tenía la duda.

Cita:

---

Iniciado por ealabspain

...lo importante es la curva, que la curva sea ascendente , si eso es asi en nuestros backtest , podemos ponerlo en demo y luego en real si todo va bien...

---

Estaba dudando hasta respecto a esto.

Cita:

---

Iniciado por ealabspain

...yo tengo ea's en real desde hace mas de dos años, si hago un "backtest" de ese periodo y lo comparo con mi cuenta real hay muchas diferencias, en numero de operaciones por ejemplo...

---

¿Lo has hecho antes, y alguien mas del foro lo ha hecho también? Pues había concluido que la única manera que me quedaba era probarlo yo mismo utilizando un sistema con normas rigurosas en real y luego un EA con estas mismas reglas para comparar los resultados. Si lo has hecho antes, me serviría para tener una idea inicial por el resultado que le haya arrohado a alguien que lo haya probado.

Muchas gracias de antemano.

Pues nunca vamos a tener la relación exacta trader201,pero vas a tener mucha menos variación con respecto al backtest, puesto que dos de los factores que son fuente de las diferencias ya los vas a eliminar o reducir muchísimo.

Te seguirán quedando otros factores que te darán diferencias (sobre todo velocidad de ejecución y deslizamiento) pero obviamente no es lo mismo tener 4 fuentes de diferencias que reducirlo solo a 2.

Además, si usas gráficos que no sean temporales (por ejemplo, renko, median renko, range, ticks) el hacerlo así es la única vía medianamente fiable, ya que con la extrapolacion de MT4 la distorsión es total, digamos que en ese caso concreto los backtest no valen absolutamente para nada. Es el caso del ejemplo del Holly Grail que os ha mostrado Yokinfx.

En el grupo Renko eso hizo que hubiese paralización total de trabajos por ser inviable backtestear así con un mínimo de fiabilidad, hasta que conseguimos estudiar y llevar a efecto el otro sistema que comento.

Ahora los resultados son normales, con sus picos y valles, altibajos, Drawdowns, etc y no Holly Grails irreales.

Saludos y un abrazo

Cita:

---

Iniciado por yokinfx

Ojo, que la grafica que he enviado del Excel no es la libreria que os comparti hace tiempo de calculo del drawdown flotante, es un "bug" existente en los Backtest en renko con una estrategia determinada. Este EA actua solo en apertura de velas (asi me libraba del bug de la interpolacion de precios entre vela y vela), y las operaciones deberian ser todas de +X pips o -X pips. Pero en Renko, por como se forman los graficos, hay momentos en los que te dara la operacion negativa de -0 pips, y eso es falso.
Esto es un bug con esa estrategia, y pasa con todos los tamaños de velas Renko, desde 5 pips, 15, 30, o el que sea.
Por eso digo de la importancia de conocer el MT4 hasta las entrañas.


Exacto, a eso me referia con "hasta las entrañas".

Hasta el momento, todos los bugs que me he encontrado, que son muchisimos, tienen el mismo origen y la misma causa: la ausencia de datos de ticks. Por supuesto, se asume tambien el fallo inherente del spread. Pero es que la ausencia de ticks ocasiona un sinfin de posibles errores.

Y es que, si queremos hacer pruebas con datos que son solo un modelo obtenido a partir de datos reales (los backtest son pruebas sobre datos modelados), debemos diseñar nuestro EA para que trabaje sobre el mismo modelo . Si no lo hacemos así, nuestros resultados EN REAL solo serán aproximados a los resultados del modelo.

Por ejemplo. Nuestro modelo no sabe de precios transcurridos entre Open Price de M1 y Close Price de M1. Bueno, pues USEMOS esos precios, y solo esos, en nuestros EAs e indicadores: calcular las medias moviles sobre Open Price y Close Price, por ejemplo. Pero también OJO con esto: el Close Price de la barra en curso es el precio actual, y no el precio de cierre de la vela.

En fin. Solo pretendo ilustrar cómo diseñar sistemas para evitar el problema de que nuestros historicos son solo modelos.

Aparte de todo lo comentado, y ciñéndome también al título original del post, existe el overfitting, o la sobreoptimización. Algo de lo que tanto se ha hablado y que hay tantas teorías sobre la sobreoptimización como colores en el arcoiris. Bueno, no. Hay más. :contento2:

Quién dijo que el Trading Automático era fácil? :feliz2:

---

Vamos a ver, si encontrais todos esos problemas con la extrapolación " a su manera" que hace MT4 y que nunca sabremos a ciencia cierta cómo la hace ni en base a qué criterios o algoritmos, ¿por qué no usais datos de tick para hacer esos mismos backtest???.

Hablais de que MT4 no es capaz de manejar ticks, pero eso que, en principio es cierto (se basa solo en datos de M1 y los ticks los extrapola como bien comentas) tiene facilísima solución, y es crear nuestros propios archivos FXT con todos nuestros ticks del broker o fuente de ticks elegida a partir de un csv con dichos ticks, y OBLIGARLE a MT4 a que use esos FXT en lugar de que nos cree el suyo propio con su extrapolación. Para eso hay herramientas suficientes para hacerlo, así como fuentes de datos (menos fuentes que de M1, pero las hay, como Dukascopy, Integral/Pepperstone, MB Trading, Oanda, Gain Capital, etc solo mencionando las gratuitas). Y están scripts gratuitos como el CSVTOFXT que nos generan esos HST y esos FXT a partir de esos datos de ticks en formato CSV. ¿Por qué dejar que MT4 nos siga extrapolando sabiendo de sus anomalías??.

Ni que decir tiene que en el grupo Renko ya hemos comprobado que es la UNICA manera de hacer backtest con fiabilidad con ese tipo de gráficos. Lo que se hace deseable en backtest en timeframes, se hace IMPRESCINDIBLE en backtest en gráficos Renko, puesto que sólo teniendo nuestros ticks es cuando podemos darle las instrucciones correspondientes para que nos repinte la apertura de la vela renko (digo renko como cualquier otro gráfico que no se base en timeframe) donde corresponde a ese tipo de graficación.

Esto, a su vez, nos hace que tengamos backtest todo lo fiables que se puedan tener (ya sabemos que en cuenta real van a variar por razones como el slippage y la latencia) y nos ahorramos de llevar laboriosos Excel paralelos.

Respecto al spread, imagino que sabreis que con datos de tick también se pueden hacer los backtest con SPREAD VARIABLE, es decir, el spread implícito que va en cada tick de nuestro histórico (diferencia entre el bid y el ask en cada momento de nuestros datos), anulando o reduciendo una de las mayores diferencias que existen entre backtest y desempeño en cuenta real. Igualmente, se pueden configurar comisiones, swaps, y demás condiciones de nuestro broker en particular. E incluso (aunque esto no lo veo demasiado recomendable) generar un slippage aleatorio con los parámetros que elijamos para que nos lo haga.

En resumidas cuentas, es la manera de hacer backtest lo más parecido posible a las condiciones que nos vamos a encontrar en real, conservando únicamente la diferencia respecto a esta operativa en lo referente al tiempo de ejecución, latencia y slipagge (lo cual no es poco y varía el resultado bastante, pero al menos hemos reducido muchísimo e incluso nos quedaremos cerca de anularlo el resto de anomalías y diferencias con respecto al backtest, como extrapolación, y el propio spread).

Creo que MT4 no solo hay que conocerlo a fondo, sino intentar anular sus limitaciones de origen y habiendo herramientas para ello, no cerrarnos solo al hecho de que en origen no permite esto o aquello, ya que sí que hay posibilidades de eludirlas, como bien sabeis.

Saludos y abrazos a todos.

Otra cosa que me gustaría saber es, ¿en realidad si existe forma de eliminar todas esas anomalias de manera de tener un resultado aproximado? ¿y que tan aproximado?... Pues estoy comenzando a pensar que al final, lo que queda es Forward Testing y/o comprender bien el concepto con que vamos a trabajar (usando el backtesting solo en caso e querer confirmar alguna idea en general)

Buenas.

Robertomar supongo que utilizas la plataforma de Birt , la TDS.

Me ha preocupado los comentarios que has hecho sobre los históricos.

Como sabras, ahora Dukascopy, desde hace pocos meses, dispone de más históricos para bajar de su fondo de datos. Ahora comienzan en los principales pares (Eurusd,gbpusd,usdjpy, etc...) a partir del 2003.

¿Estas diciendo que esos datos nuevos de Dukas, desde el 2003 hasta el 2008 no son de fiar ?.


Saludos.

Cita:

---

Iniciado por gverdu

Hola Gente, estoy comenzando con este mundo de los backtesting y digo "mundo" porque veo que hay mucas cosas para aprender.
Consulta, yo obtengo excelentes resultados en modo "puntos de control" y mucho peores en "tick a tick"
-alguien sabe como funciona puntos de control como para adaptar el codigo a que simule ese modo en la vida real?

gracias

---

hola compañero, el punto de control no es tan bueno que el tick, pero si solo es tener una pequeña idea del EA va mucho mas rápido, pero claro tarde o temprano tendrás que hacer tick a tik, va depender mucho del historial que tengas también, personalmente todos los desarrollos que me dan un FB superior a 2 los pongo en mi servidor a probar durante varios meses, en demo pero en tiempo real, esos datos me confirma o no los resultados del BT A, te deseo todo lo mejor en tu trabajo para esforzarte en ver los resultados de tus estudios, un cordial saludo.

Calidad del historico, si claro depende de que no falten datos sobretodo, que no haya vacios. El backtest nunca va a ser lo mismo que en real, por ejemplo yo tengo ea's en real desde hace mas de dos años, si hago un "backtest" de ese periodo y lo comparo con mi cuenta real hay muchas diferencias, en numero de operaciones por ejemplo, en real suele entrar mas veces, pero lo importante es la curva, que la curva sea ascendente , si eso es asi en nuestros backtest , podemos ponerlo en demo y luego en real si todo va bien. Pero recordar que si vamos a pocos pips y si ademas es un scalper asiatico, las diferencias pueden ser abismales, tanto que lo que parece muy rentable en backtest en real es un fiasco.

La calidad / fiabilidad de un backtest depende de lo siguiente:

-Calidad del historico
-Modelo usado (et, op, cp)
-Spread usado
-Promedio de ganancia en pips (por ejemplo si nuestro ea va a 3 pips, el backtest es mucho menos fiable que si vamos a 15 por ejemplo)
- Numero de operaciones ( si tenemos un backtest con por ejemplo 100 operaciones es muchisimo menos fiable que otro con 1000 )
-Tamaño de tiempo del backtest ( una estrategia q funciona desde 1999 es mucho mas fiable que otra que va solo desde 2012 por ejemplo)
etc...

Muchisimas gracias Robertoman!!, me ha servido de mucha ayuda :contento2:

Actualmente todos los Eas que estoy optimizando los estoy optimizando de M30 para arriba, aparte de por el ruido por la fiabilidad de datos.

Otra pregunta es si dukascopy europe es igual a dukascopy swiss, porque me voy a hacer una cuenta pequeña, me refiero a dukascopy europe porque el minimo para abrir cuenta son 100 y dukascopy swiss el minimo son 5000. Aunque conozco poco su plataforma java y el puente de metatrader con esa plataforma. Tengo que ver que tal van las ordenes de los eas con ese sistema.

Un abrazo

bueno

respondo lo siguiente.. y es que pasa lo mismo que operar en demo y pasarte a real.. no funciona igual.... en demo siempre te abren las ordenes o siempre cierran.. en demo no siempre sucede....

ahora que si los backtest funcionan y son fiables?? diria que si... sobretodo para optimizar tu estrategia o tus EA... no necesariamente funcionaran igual en real... debido a factores como los mencionados anteriormente. y otros ... velocidad de conexión, ping.... y muchos otros...

ahora bien tambien depende de la "calidad" del backtesting.. modelado, balance, equidad, tiempo con del backtest y demas...

saludos