Herramientas

Versión para imprimir

Suscribirse a este tema…

Visualizar

Modo lineal

Cambiar a modo híbrido

Cambiar a modo hilado

07:32, #11

yokinfx

Ver perfil

Ver mensajes del foro

View Blog Entries

Visitar la página de inicio

Reputación:
Poder de reputación: 14

Mensajes: 245

Créditos: 1.450

Re: ¿Son fiablkes los backtesting?

Publi

Iniciado por indovinello

Buenas,

pertenezco al grupo de backtest de TU, ello no quiere decir nada, sólo que hemos trabajado bastante sobre los backtest y optimizaciones.

Mi impresión (y esa no representa al grupo) es que, tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años y puesto en un metatrader 4 los resultados (considerados genéricamente) estarán basados en un entorno con demasiadas anomalías.

Ahora bien hay que matizar, no es lo mismo el EURUSD que el ORO. En el primer caso, quizá si se toma un sistema tipo swing que opere a largo plazo nos pueda dar una idea aproximada de si vamos por el buen camino o no. En el oro creo que será muy difícil debido a la cantidad de anomalías.

Mi impresión personal (repito, es la mía) es que si bajamos de time frame e incrementamos el número de operaciones los resultados no nos van a dar una idea de lo que se puede esperar del sistema.

En algunos momentos (seguramente de desánimo extremo) he llegado a pensar que mejor nos dejamos de optimizaciones y backtest y nos vamos directamente a fordwardtest con una cuenta real (micro, por supuesto). Eso saca a la luz también la problemática de las cuentas demo.

Resumiendo mi impresión: tenemos demasiadas anomalías en el entorno metatrader 4/históricos (ya ni que decir con mtq5, que ese ya es otro tema) como para pensar que los resultados de backtests y optimizaciones son fiables. A lo sumo podemos tomarlos como brújula imprecisa para no ir demasiado desorientados.

Un saludo

A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!!

Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

Foro de Forex Trading United

Citar

Publi
Publi

12:18, #12

Maxh

Ver perfil

Ver mensajes del foro

View Blog Entries

Reputación:
Poder de reputación: 10

Mensajes: 303

Créditos: 817

Re: ¿Son fiables los backtesting?

Hola chicos, con respecto a la fiabilidad de los backtest.

Yo los datos me los estoy descargando a traves de tickstory, y lo que hago es lanzar metatrader a traves de tickstory con la plataforma desconectada para que los datos no se sobreescriban. Estos datos se descargan en csv y se transportan a fxt.

Los resultados de los backtest que yo estoy obteniendo es muy similar a los que tengo lanzados en demo, las operaciones son parecidas, por lo menos en el corto plazo.

No se si lo estaré haciendo bien, que opinais vosotros respecto a la fiabilidad de los datos que pueda obtener de tickstory?
Foro de Forex Trading United

Citar

17:03, #13

yokinfx

Ver perfil

Ver mensajes del foro

View Blog Entries

Visitar la página de inicio

Reputación:
Poder de reputación: 14

Mensajes: 245

Créditos: 1.450

Re: ¿Son fiablkes los backtesting?

Iniciado por indovinello

Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

Ojo, que la grafica que he enviado del Excel no es la libreria que os comparti hace tiempo de calculo del drawdown flotante, es un "bug" existente en los Backtest en renko con una estrategia determinada. Este EA actua solo en apertura de velas (asi me libraba del bug de la interpolacion de precios entre vela y vela), y las operaciones deberian ser todas de +X pips o -X pips. Pero en Renko, por como se forman los graficos, hay momentos en los que te dara la operacion negativa de -0 pips, y eso es falso.
Esto es un bug con esa estrategia, y pasa con todos los tamaños de velas Renko, desde 5 pips, 15, 30, o el que sea.
Por eso digo de la importancia de conocer el MT4 hasta las entrañas.

Iniciado por indovinello

Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

Un abrazo.

Exacto, a eso me referia con "hasta las entrañas".

Hasta el momento, todos los bugs que me he encontrado, que son muchisimos, tienen el mismo origen y la misma causa: la ausencia de datos de ticks. Por supuesto, se asume tambien el fallo inherente del spread. Pero es que la ausencia de ticks ocasiona un sinfin de posibles errores.

Y es que, si queremos hacer pruebas con datos que son solo un modelo obtenido a partir de datos reales (los backtest son pruebas sobre datos modelados), debemos diseñar nuestro EA para que trabaje sobre el mismo modelo . Si no lo hacemos así, nuestros resultados EN REAL solo serán aproximados a los resultados del modelo.

Por ejemplo. Nuestro modelo no sabe de precios transcurridos entre Open Price de M1 y Close Price de M1. Bueno, pues USEMOS esos precios, y solo esos, en nuestros EAs e indicadores: calcular las medias moviles sobre Open Price y Close Price, por ejemplo. Pero también OJO con esto: el Close Price de la barra en curso es el precio actual, y no el precio de cierre de la vela.

En fin. Solo pretendo ilustrar cómo diseñar sistemas para evitar el problema de que nuestros historicos son solo modelos.

Aparte de todo lo comentado, y ciñéndome también al título original del post, existe el overfitting, o la sobreoptimización. Algo de lo que tanto se ha hablado y que hay tantas teorías sobre la sobreoptimización como colores en el arcoiris. Bueno, no. Hay más.

Quién dijo que el Trading Automático era fácil?
Foro de Forex Trading United

Citar

14:31, #14

Vinisius

Ver perfil

Ver mensajes del foro

View Blog Entries

Reputación:
Poder de reputación: 12

Mensajes: 312

Créditos: 126

Re: ¿Son fiables los backtesting?

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Ok. Gracias.
Foro de Forex Trading United

Citar

05:01, #15

robertomar

Ver perfil

Ver mensajes del foro

View Blog Entries

Visitar la página de inicio

Reputación:
Poder de reputación: 16

Mensajes: 909

Créditos: 16.657

Re: ¿Son fiables los backtesting?

Pues me temo que sí Vinisius, con esos es con los que estuvimos haciendo todas las pruebas, y en la opinión de las 4 personas que trabajamos durante meses en eso, desde el 2003 hasta el 2008 sólo valen para tirarlos a la papelera de reciclaje, jajajaja. De hecho yo los descargué enteros, y luego los corté y dejé solo desde Octubre de 2008 en adelante, y rellené todos los huecos, gaps, velas planas y velas fake tick a tick y revisé vela a vela visualmente desde esa fecha hasta abril de 2014 para comprobar que no existieran otros problemas imposibles de detectar con herramientas automáticas como lo que denominamos en su día "velas radio" tipo 1 y tipo 2. Sinceramente creo que, al menos yo, no he visto mejor calidad de datos que esas dos series que completamos y arreglamos en ninguna fuente (ni las de pago). Estuvimos descargando muestras de series históricas de pago y también tenían bastantes problemas. Las que hicimos nosotros, sinceramente, creo que tienen los mínimos, hechos a conciencia.

Ahora bien, el EURUSD desde Octubre de 2008 hasta ahora muy buenos, de los mejores que hemos visto (aún con sus deficiencias que todos tienen alguna) (estas deficiencias son las que arreglamos nosotros, pero partiendo de una base aceptable, que es de la fecha que te indico en adelante, de ahí para atrás la serie base no merecía perder el tiempo con ella, porque eran más las sombras que las luces en ella, de hecho, prácticamente todas las velas de esos años eran velas radio, o al menos, amplísimos tramos de temporadas enteras).

Yo de lo único que me fío y puedo recomendar es desde el 01/10/2008 hasta ahora. De ahí para atrás no hemos visto fiabilidad alguna en los datos de ningún broker de los que analizamos, y fueron bastantes. Y si evitamos backtest en M1 mejor, a partir de M5 mejor.

Espero haber aclarado un poco y no liar más, jajaja.

Saludos y un abrazo.
Foro de Forex Trading United

Citar

Post Thanks / Like

Dclm300 Gracias por este post

04:05, #16

robertomar

Ver perfil

Ver mensajes del foro

View Blog Entries

Visitar la página de inicio

Reputación:
Poder de reputación: 16

Mensajes: 909

Créditos: 16.657

Re: ¿Son fiables los backtesting?

Iniciado por Maxh

Tengo otra consula

Me he dado cuenta haciendo pruebas que metatrader me hace las operaciones de expert advisors en base a los graficos del precio, de charts que se visualizan en la plataforma.

Hay brokers que ofrecen unos graficos llenos de huecos y con spiders que ni siquiera existen. A lo que voy

Pruebas a hacer un backtest en un chart y te da un resultado; despues pinchas en ese chart con el boton derecho del raton y le das a actualizar( al hacer esto hay pequeños gaps inventados que se rellenan) y seguidamente haces otro backtest y el resultados es bastante distinto...

Con un mismo set en forward y con distintos broker, las operaciones son distintas. ¿Puede deberse a que en mercado ese broker abre sus operaciones con respecto a lo que nuestro gráfico represente?

¿ Metatrader hace los backtest en base a los graficos que se pueden ver en un chart , o en base a los graficos que tenemos en histort (.hst) o en tester/history(.fxt)?.

Yo pensaba que se hacian en base a los archivos .hst y .fxt, pero realmente influyen los graficos?

Saludos

Respecto a lo de la operativa on line, tu histórico solo se usa para si por ejemplo tu EA basa su estrategia para operar en ciertos indicadores, pues lógicamente esos indicadores se calculan en base a los históricos que tengas, y si hay problemas en ellos te pueden desvirtuar parcialmente los valores de esos indicadores, pero en cuanto al momento en que lances la orden, ya no tienen nada que ver, ahí ya dependerá de la recepción por parte del servidor de tu broker y cómo la gestione y ejecute.

Respecto a lo otro, los backtest que hace MT4 se basan en los archivos hst que tengas , y en arreglo a los datos que ahí tengas MT4 te genera una interpolación "inventándose" los ticks, (que van en los archivos fxt) ya que en esos hst solo van los precios de apertura, cierre, máximo y mínimo de cada barra del timeframe del que sea ese histórico, pero no los ticks que hubo en ese broker entre la apertura y el cierre de esa barra, ni su secuencia, si el spread que había en cada momento.

Si te los bajas con TickStory como decías más arriba, entonces esos históricos son del broker Dukascopy y esos sí que llevan los ticks, pero de ese broker lógicamente, no del que tú utilices. Esos datos en general son de bastante buena calidad desde finales de 2008 para acá, pero absolutamente horribles de ahí para atras (prácticamente al igual que los históricos de todos los demás brokers). De ahí en adelante en mi opinión son de los mejores que he visto, y en todas las miles de pruebas que hicimos en su día en el grupo de Backtest de este foro así lo comprobamos con varias herramientas creadas para detectar gaps y fallos diversos en históricos, pero no obstante tienen sus defectos (aunque menos que la mayoría de los demás históricos).

Aparte de los defectos que pueda tener cada serie histórica en cuestión, está el hecho de que con datos standard de los que te bajas a través del centro de historiales de MT4 siempre vas a tener que hacer tus backtest con spread fijo, y para mí, eso es lo más irreal de todo (aparte de la extrapolación que te genera MT4 como te comento más arriba). En cambio con los de ticks (sean de Dukascopy o de otra fuente) tienes la interesantísima posibilidad de hacer los backtest con spread variable, que es como vas a tener que operar en real cuando lo hagas. Así que la diferencia entre ambos métodos a veces sí es bastante importante, aunque en ciertos casos de backtest en timeframes altos o bien si estamos usando ciertos EAs que son de tipo swing o buscan incluso tendencias más grandes, estas diferencias pueden ser mucho menores, e incluso pequeñas, pero haberlas siempre las hay.

Por otra parte los mejores datos que vimos en las pruebas que te comento del método standard de MT4 (datos de M1) fueron los de Alpari NZ, pero volvemos a lo mismo, supongo que ese tampoco será tu broker, igual que no lo será Dukascopy, jaja.

También hay que tener en cuenta que para quien prefiera usar datos de su propio broker, actualmente hay pocos broker que te permiten bajar sus históricos a posteriori (cada vez menos), ya que se está estandarizando el tema de que al acceder a través del centro de historiales los que se te descargan son los datos de Metaquotes, y esos ya sí que son para echarse a llorar y volverse paranoico, jaja. Parece que están intentando centralizarlo todo ahí para que todos tengamos que morir en esos datos (que son los que les interesan que tengamos), al igual que ya lo tienen así en MT5. Imagino que habreis visto el mensaje de advertencia que sale cuando le das a descargar los históricos desde el centro de historiales en muchísimos brokers, avisando de ésto (que los descargará de Metaquotes y no serán los de tu broker, etc etc etc).

Del resto de datos históricos que vimos ( y te aseguro que vimos muchísimos) YO en concreto no me fío de ninguno, en muchos casos tienen más sombras que luces y aventurarse en muchos de ellos es como hacer un backtest, creerte que la estrategia es muy buena, y meterte a operar a ciegas.

Conclusión: para mí, aunque no sea tu broker, las ventajas de tener los ticks, y poder hacer los backtest con spread variable y poder ajustar otras variables como comisiones, swaps, etc en arreglo a las condiciones de nuestro broker, son bastante convenientes y ventajosas y compensan con creces el hecho de que sean de otro broker. Al fin y al cabo, de todos modos, los de la mayoría de brokers actualmente no te los puedes descargar. La única desventaja es que los backtest tardan más.

Y por último, no le recomendaría a nadie hacer un solo backtest de 2008 para atrás, sean con los datos que sean, ni tampoco en timeframe de 1 minuto, siempre de M5 para arriba.

Esta es mi opinión después de todo lo visto y de todas las pruebas que se efectuaron. No se si te servirá de algo.

Saludos y un abrazo.
Foro de Forex Trading United

Citar

Post Thanks / Like

Dclm300 Gracias por este post

03:26, #17

zalxipio

Ver perfil

Ver mensajes del foro

View Blog Entries

Reputación:
Poder de reputación: 16

Mensajes: 1.286

Créditos: 10.342

Re: ¿Son fiables los backtesting?

Iniciado por Maxh

Hola chicos, con respecto a la fiabilidad de los backtest.

Yo los datos me los estoy descargando a traves de tickstory, y lo que hago es lanzar metatrader a traves de tickstory con la plataforma desconectada para que los datos no se sobreescriban. Estos datos se descargan en csv y se transportan a fxt.

Los resultados de los backtest que yo estoy obteniendo es muy similar a los que tengo lanzados en demo, las operaciones son parecidas, por lo menos en el corto plazo.

No se si lo estaré haciendo bien, que opinais vosotros respecto a la fiabilidad de los datos que pueda obtener de tickstory?

Hola.

Primero que nada el backtest debería ayudarte para decir si tu estrategia u operativa es positiva para obtener ganancias o si el enfoque esta equivocado, yo te recomiendo que utilices lo gráficos de tu propio broker, pues de alguna forma dependiendo de como trabajen, la cantidad de capital que utilicen y otros factores mas podría influir un poco en la gráfica y sería mas sensible en la de corto plazo o tf menores, en realidad ningún broker posee un historial de gráficos que te digan lo que realmente sucede en el mercado tic por tic es solo una muestra de lo que ellos operan que va en proporción con lo que se pasa en el mercado un saludo y suerte.
Foro de Forex Trading United

Citar

12:45, #18

indovinello

Ver perfil

Ver mensajes del foro

View Blog Entries

Reputación:
Poder de reputación: 24

Mensajes: 3.773

Créditos: 12.975

Re: ¿Son fiables los backtesting?

Iniciado por trader201

¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?

Pues no, siento no poderte decir
Foro de Forex Trading United

Citar

15:21, #19

indovinello

Ver perfil

Ver mensajes del foro

View Blog Entries

Reputación:
Poder de reputación: 24

Mensajes: 3.773

Créditos: 12.975

Re: ¿Son fiablkes los backtesting?

Iniciado por yokinfx

A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!!

Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

Sin duda, Yokinfx, no nos vamos a rendir.

Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

Sin embargo, si tu EA no arroja más de 2 o 3 pips de promedio de ganancia en cada operación mínimo, la cantidad de imponderables que no sabemos medir (yo diría no podremos medir) hacen que el resultado sea poco válido.

Pongo algunos ejemplos: muchas variables del trading las controla el broker a través del fichero symbols.raw y otros y las va cambiando sobre la marcha. Sólo hace falta un cambio de política en el broker, de algoritmos, de criterio y todo puede cambiar. Y, no nos engañemos, un broker es un equipo directivo que estudia una y mil veces al día cómo establecer y reestablecer políticas de gestión de las operaciones que les reporte beneficios.

En mi opinión las políticas de los brokers es animarnos a operar y demostrarnos que somos muy buenos en optimizaciones, backtest, demo y, hacer caja en real. Simple y llanamente pienso eso.

Eso se traduce en un sinfín de dificultades para hacer cuadrar lo que nos quieren hacer ver que es fácil (obtener beneficios en entornos en donde no se juegan el dinero y nos puede animar a operar en real) y lo que realmente es difícil (obentener beneficios en real, en donde los intereses de los intevinientes son oscuros y contrapuestos).

¿Cómo medimos en entornos no reales los deslizamientos? ¿Las aperturas de las orquillas bid, ask? ¿los bloqueos de la plataforma? ¿Las latencias? Y tantos aspectos que controlan los brokers....

Todavía más, considerando sólo los reultados obtenidos en real, si mi sistema no obtiene un promedio de ganancia por operación que supere ampliamente los 3 pips, ¿cómo sé que un cambio de política en la gestión de las órdenes no va a truncar mi sistema ganador en real en perdedor en real?

Hay que estar siempre atentos y analizando y reanalizando los resultados de real. Nunca sabes por dónde puede venir la sorpresa.

Y todo ello no lo digo por desanimar, al contrario, para animar a cooperar entre nosotros. El trabajo que tenemos por delante es árduo y las dificultades muchas, pero el potencial de un grupo de personas trabajando juntos en algo en lo que creen es inimaginable.

Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

Un abrazo.
Foro de Forex Trading United

Última edición por indovinello; 10:26 a las

Citar

02:00, #20

trader201

Ver perfil

Ver mensajes del foro

View Blog Entries

Reputación:
Poder de reputación: 15

Mensajes: 589

Créditos: 2.342

Re: ¿Son fiables los backtesting?

Publi

Iniciado por indovinello

...tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años ...

¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?
Foro de Forex Trading United

Citar

Página 2 de 4 Primer 1234 Último

Saltar a página:

« Tema anterior | Próximo tema »

This website uses cookies

Utilizamos cookies propias y de terceros para elaborar información estadística y mostrarle publicidad personalizada a través del análisis de su navegación. Si continúa navegando acepta su uso. Más información y política de cookies.

Necessary Preferences Statistics Marketing

Necessary

Preferences

Statistics

Marketing

Cookie Name

Purpose

Expiry

Type

Cookie Name

Purpose

Expiry

Type

Cookie Name

Purpose

Expiry

Type

Cookie Name

Purpose

Expiry

Type

Publi

Contáctenos

TradingUnited - Tu Foro de Forex

Archivo

Declaración de privacidad

Términos de servicio

↑

**yokinfx** · 07:32,

Publi

Iniciado por indovinello

Buenas,

pertenezco al grupo de backtest de TU, ello no quiere decir nada, sólo que hemos trabajado bastante sobre los backtest y optimizaciones.

Mi impresión (y esa no representa al grupo) es que, tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años y puesto en un metatrader 4 los resultados (considerados genéricamente) estarán basados en un entorno con demasiadas anomalías.

Ahora bien hay que matizar, no es lo mismo el EURUSD que el ORO. En el primer caso, quizá si se toma un sistema tipo swing que opere a largo plazo nos pueda dar una idea aproximada de si vamos por el buen camino o no. En el oro creo que será muy difícil debido a la cantidad de anomalías.

Mi impresión personal (repito, es la mía) es que si bajamos de time frame e incrementamos el número de operaciones los resultados no nos van a dar una idea de lo que se puede esperar del sistema.

En algunos momentos (seguramente de desánimo extremo) he llegado a pensar que mejor nos dejamos de optimizaciones y backtest y nos vamos directamente a fordwardtest con una cuenta real (micro, por supuesto). Eso saca a la luz también la problemática de las cuentas demo.

Resumiendo mi impresión: tenemos demasiadas anomalías en el entorno metatrader 4/históricos (ya ni que decir con mtq5, que ese ya es otro tema) como para pensar que los resultados de backtests y optimizaciones son fiables. A lo sumo podemos tomarlos como brújula imprecisa para no ir demasiado desorientados.

Un saludo

A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!!

Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

¿Son fiables los backtesting?-strategytester.gif

¿Son fiables los backtesting?-imagen-2.png

Foro de Forex Trading United

**Maxh** · 12:18,

Hola chicos, con respecto a la fiabilidad de los backtest.

Yo los datos me los estoy descargando a traves de tickstory, y lo que hago es lanzar metatrader a traves de tickstory con la plataforma desconectada para que los datos no se sobreescriban. Estos datos se descargan en csv y se transportan a fxt.

Los resultados de los backtest que yo estoy obteniendo es muy similar a los que tengo lanzados en demo, las operaciones son parecidas, por lo menos en el corto plazo.

No se si lo estaré haciendo bien, que opinais vosotros respecto a la fiabilidad de los datos que pueda obtener de tickstory?

Foro de Forex Trading United

**yokinfx** · 17:03,

Iniciado por indovinello

Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

Ojo, que la grafica que he enviado del Excel no es la libreria que os comparti hace tiempo de calculo del drawdown flotante, es un "bug" existente en los Backtest en renko con una estrategia determinada. Este EA actua solo en apertura de velas (asi me libraba del bug de la interpolacion de precios entre vela y vela), y las operaciones deberian ser todas de +X pips o -X pips. Pero en Renko, por como se forman los graficos, hay momentos en los que te dara la operacion negativa de -0 pips, y eso es falso.
Esto es un bug con esa estrategia, y pasa con todos los tamaños de velas Renko, desde 5 pips, 15, 30, o el que sea.
Por eso digo de la importancia de conocer el MT4 hasta las entrañas.

Iniciado por indovinello

Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

Un abrazo.

Exacto, a eso me referia con "hasta las entrañas".

Hasta el momento, todos los bugs que me he encontrado, que son muchisimos, tienen el mismo origen y la misma causa: la ausencia de datos de ticks. Por supuesto, se asume tambien el fallo inherente del spread. Pero es que la ausencia de ticks ocasiona un sinfin de posibles errores.

Y es que, si queremos hacer pruebas con datos que son solo un modelo obtenido a partir de datos reales (los backtest son pruebas sobre datos modelados), debemos diseñar nuestro EA para que trabaje sobre el mismo modelo . Si no lo hacemos así, nuestros resultados EN REAL solo serán aproximados a los resultados del modelo.

Por ejemplo. Nuestro modelo no sabe de precios transcurridos entre Open Price de M1 y Close Price de M1. Bueno, pues USEMOS esos precios, y solo esos, en nuestros EAs e indicadores: calcular las medias moviles sobre Open Price y Close Price, por ejemplo. Pero también OJO con esto: el Close Price de la barra en curso es el precio actual, y no el precio de cierre de la vela.

En fin. Solo pretendo ilustrar cómo diseñar sistemas para evitar el problema de que nuestros historicos son solo modelos.

Aparte de todo lo comentado, y ciñéndome también al título original del post, existe el overfitting, o la sobreoptimización. Algo de lo que tanto se ha hablado y que hay tantas teorías sobre la sobreoptimización como colores en el arcoiris. Bueno, no. Hay más.

Quién dijo que el Trading Automático era fácil?

Foro de Forex Trading United

**Vinisius** · 14:31,

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Ok. Gracias.

Foro de Forex Trading United

**robertomar** · 05:01,

Pues me temo que sí Vinisius, con esos es con los que estuvimos haciendo todas las pruebas, y en la opinión de las 4 personas que trabajamos durante meses en eso, desde el 2003 hasta el 2008 sólo valen para tirarlos a la papelera de reciclaje, jajajaja. De hecho yo los descargué enteros, y luego los corté y dejé solo desde Octubre de 2008 en adelante, y rellené todos los huecos, gaps, velas planas y velas fake tick a tick y revisé vela a vela visualmente desde esa fecha hasta abril de 2014 para comprobar que no existieran otros problemas imposibles de detectar con herramientas automáticas como lo que denominamos en su día "velas radio" tipo 1 y tipo 2. Sinceramente creo que, al menos yo, no he visto mejor calidad de datos que esas dos series que completamos y arreglamos en ninguna fuente (ni las de pago). Estuvimos descargando muestras de series históricas de pago y también tenían bastantes problemas. Las que hicimos nosotros, sinceramente, creo que tienen los mínimos, hechos a conciencia.

Ahora bien, el EURUSD desde Octubre de 2008 hasta ahora muy buenos, de los mejores que hemos visto (aún con sus deficiencias que todos tienen alguna) (estas deficiencias son las que arreglamos nosotros, pero partiendo de una base aceptable, que es de la fecha que te indico en adelante, de ahí para atrás la serie base no merecía perder el tiempo con ella, porque eran más las sombras que las luces en ella, de hecho, prácticamente todas las velas de esos años eran velas radio, o al menos, amplísimos tramos de temporadas enteras).

Yo de lo único que me fío y puedo recomendar es desde el 01/10/2008 hasta ahora. De ahí para atrás no hemos visto fiabilidad alguna en los datos de ningún broker de los que analizamos, y fueron bastantes. Y si evitamos backtest en M1 mejor, a partir de M5 mejor.

Espero haber aclarado un poco y no liar más, jajaja.

Saludos y un abrazo.

Foro de Forex Trading United

**robertomar** · 04:05,

Iniciado por Maxh

Tengo otra consula

Me he dado cuenta haciendo pruebas que metatrader me hace las operaciones de expert advisors en base a los graficos del precio, de charts que se visualizan en la plataforma.

Hay brokers que ofrecen unos graficos llenos de huecos y con spiders que ni siquiera existen. A lo que voy

Pruebas a hacer un backtest en un chart y te da un resultado; despues pinchas en ese chart con el boton derecho del raton y le das a actualizar( al hacer esto hay pequeños gaps inventados que se rellenan) y seguidamente haces otro backtest y el resultados es bastante distinto...

Con un mismo set en forward y con distintos broker, las operaciones son distintas. ¿Puede deberse a que en mercado ese broker abre sus operaciones con respecto a lo que nuestro gráfico represente?

¿ Metatrader hace los backtest en base a los graficos que se pueden ver en un chart , o en base a los graficos que tenemos en histort (.hst) o en tester/history(.fxt)?.

Yo pensaba que se hacian en base a los archivos .hst y .fxt, pero realmente influyen los graficos?

Saludos

Respecto a lo de la operativa on line, tu histórico solo se usa para si por ejemplo tu EA basa su estrategia para operar en ciertos indicadores, pues lógicamente esos indicadores se calculan en base a los históricos que tengas, y si hay problemas en ellos te pueden desvirtuar parcialmente los valores de esos indicadores, pero en cuanto al momento en que lances la orden, ya no tienen nada que ver, ahí ya dependerá de la recepción por parte del servidor de tu broker y cómo la gestione y ejecute.

Respecto a lo otro, los backtest que hace MT4 se basan en los archivos hst que tengas , y en arreglo a los datos que ahí tengas MT4 te genera una interpolación "inventándose" los ticks, (que van en los archivos fxt) ya que en esos hst solo van los precios de apertura, cierre, máximo y mínimo de cada barra del timeframe del que sea ese histórico, pero no los ticks que hubo en ese broker entre la apertura y el cierre de esa barra, ni su secuencia, si el spread que había en cada momento.

Si te los bajas con TickStory como decías más arriba, entonces esos históricos son del broker Dukascopy y esos sí que llevan los ticks, pero de ese broker lógicamente, no del que tú utilices. Esos datos en general son de bastante buena calidad desde finales de 2008 para acá, pero absolutamente horribles de ahí para atras (prácticamente al igual que los históricos de todos los demás brokers). De ahí en adelante en mi opinión son de los mejores que he visto, y en todas las miles de pruebas que hicimos en su día en el grupo de Backtest de este foro así lo comprobamos con varias herramientas creadas para detectar gaps y fallos diversos en históricos, pero no obstante tienen sus defectos (aunque menos que la mayoría de los demás históricos).

Aparte de los defectos que pueda tener cada serie histórica en cuestión, está el hecho de que con datos standard de los que te bajas a través del centro de historiales de MT4 siempre vas a tener que hacer tus backtest con spread fijo, y para mí, eso es lo más irreal de todo (aparte de la extrapolación que te genera MT4 como te comento más arriba). En cambio con los de ticks (sean de Dukascopy o de otra fuente) tienes la interesantísima posibilidad de hacer los backtest con spread variable, que es como vas a tener que operar en real cuando lo hagas. Así que la diferencia entre ambos métodos a veces sí es bastante importante, aunque en ciertos casos de backtest en timeframes altos o bien si estamos usando ciertos EAs que son de tipo swing o buscan incluso tendencias más grandes, estas diferencias pueden ser mucho menores, e incluso pequeñas, pero haberlas siempre las hay.

Por otra parte los mejores datos que vimos en las pruebas que te comento del método standard de MT4 (datos de M1) fueron los de Alpari NZ, pero volvemos a lo mismo, supongo que ese tampoco será tu broker, igual que no lo será Dukascopy, jaja.

También hay que tener en cuenta que para quien prefiera usar datos de su propio broker, actualmente hay pocos broker que te permiten bajar sus históricos a posteriori (cada vez menos), ya que se está estandarizando el tema de que al acceder a través del centro de historiales los que se te descargan son los datos de Metaquotes, y esos ya sí que son para echarse a llorar y volverse paranoico, jaja. Parece que están intentando centralizarlo todo ahí para que todos tengamos que morir en esos datos (que son los que les interesan que tengamos), al igual que ya lo tienen así en MT5. Imagino que habreis visto el mensaje de advertencia que sale cuando le das a descargar los históricos desde el centro de historiales en muchísimos brokers, avisando de ésto (que los descargará de Metaquotes y no serán los de tu broker, etc etc etc).

Del resto de datos históricos que vimos ( y te aseguro que vimos muchísimos) YO en concreto no me fío de ninguno, en muchos casos tienen más sombras que luces y aventurarse en muchos de ellos es como hacer un backtest, creerte que la estrategia es muy buena, y meterte a operar a ciegas.

Conclusión: para mí, aunque no sea tu broker, las ventajas de tener los ticks, y poder hacer los backtest con spread variable y poder ajustar otras variables como comisiones, swaps, etc en arreglo a las condiciones de nuestro broker, son bastante convenientes y ventajosas y compensan con creces el hecho de que sean de otro broker. Al fin y al cabo, de todos modos, los de la mayoría de brokers actualmente no te los puedes descargar. La única desventaja es que los backtest tardan más.

Y por último, no le recomendaría a nadie hacer un solo backtest de 2008 para atrás, sean con los datos que sean, ni tampoco en timeframe de 1 minuto, siempre de M5 para arriba.

Esta es mi opinión después de todo lo visto y de todas las pruebas que se efectuaron. No se si te servirá de algo.

Saludos y un abrazo.

Foro de Forex Trading United

**zalxipio** · 03:26,

Iniciado por Maxh

Hola chicos, con respecto a la fiabilidad de los backtest.

Yo los datos me los estoy descargando a traves de tickstory, y lo que hago es lanzar metatrader a traves de tickstory con la plataforma desconectada para que los datos no se sobreescriban. Estos datos se descargan en csv y se transportan a fxt.

Los resultados de los backtest que yo estoy obteniendo es muy similar a los que tengo lanzados en demo, las operaciones son parecidas, por lo menos en el corto plazo.

No se si lo estaré haciendo bien, que opinais vosotros respecto a la fiabilidad de los datos que pueda obtener de tickstory?

Hola.

Primero que nada el backtest debería ayudarte para decir si tu estrategia u operativa es positiva para obtener ganancias o si el enfoque esta equivocado, yo te recomiendo que utilices lo gráficos de tu propio broker, pues de alguna forma dependiendo de como trabajen, la cantidad de capital que utilicen y otros factores mas podría influir un poco en la gráfica y sería mas sensible en la de corto plazo o tf menores, en realidad ningún broker posee un historial de gráficos que te digan lo que realmente sucede en el mercado tic por tic es solo una muestra de lo que ellos operan que va en proporción con lo que se pasa en el mercado un saludo y suerte.

Foro de Forex Trading United

**indovinello** · 12:45,

Iniciado por trader201

¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?

Pues no, siento no poderte decir

Foro de Forex Trading United

**indovinello** · 15:21,

Iniciado por yokinfx

A lo largo de estos años he hecho miles de backtest y optimizaciones. En muchas ocasiones he usado esos backtest y optimizaciones para animarme a ir a cuenta real. ¿Y cual ha sido el resultado? En un porcentaje altisimo, un fraude: no se comportaba igual, ni parecido, en real que en backtest. Incluso, una vez el EA corriendo en real y viendo operaciones que no me cuadraban en el real, repetia un backtest sobre ese mismo periodo que habia quedado confirmado por un forward test y la operacion no aparecia en el backtest !!!!

Llegue a pensar lo mismo que muchos: que los backtest de MT4, como poco, no son fiables. Y como mucho, que no valen para nada.

PERO no me rendí. Intenté comprender por qué no funcionaban esos backtest. En realidad, uno de los pilares del Trading Cuantitativo es poder probar una estrategia con datos pasados, o incluso ficticios, y que esos resultados te den cierto nivel de certeza con lo que va a hacer a continuación.

Bueno, pues tras meses preguntándomelo empecé a entender lo que ocurría: mi EA detectaba señales en la vela actual en TF de M1. Al estar testeando TODOS los tick, la señal no tenía por qué producirse en la apertura o en el cierre, sino en cualquier momento. Y como ya sabéis, MT4 no almacena datos de ticks, sino que los interpola. Así pude ver que ese EA tenía cierto grado de "aleatoriedad" en sus backtest: podía ser solo 1 o 2 operaciones de miles, en varios años, pero había aleatoriedad en el sentido de que en algunos backtest abría esas órdenes (1 o 2) que en otros no.

Aquí os mando un ejemplo de backtest poco fiable: uno hecho en Renko que parece un "Holy Grail", frente a lo que sería más posiblemente su backtest real: el "real" es simulación en Excel, y el "Grial" es en MT4. La diferencia está en que MT4 detecta muchas operaciones de pérdida de 0 pips - spread, cuando en realidad esa pérdida es de X pips (caja renko) - spread , que es lo que se corrige en el Excel.

En definitiva: hay que conocer MT4 hasta las entrañas, y saber fielmente lo que está haciendo. Y si te encuentras un problema de este estilo, seguramente hay solución. Por ejemplo, para el primer caso, el del indicador que pinta en la vela actual, es tan sencillo como usar un indicador que pinte no en la vela actual, sino en la vela terminada, y que no dependa de los ticks, sino de aperturas y o cierres de las velas.
Y en el segundo caso, con el backtest Renko, usar otras herramientas, como Excel en mi caso.

Tendremos problemas si ignoramos cómo funciona MT4, y backtest con "bugs" generan pérdidas en cuentas reales... Lo digo por propia experiencia.

Si nos ceñimos a los que MT4 sí puede hacer, que es tratar datos de M1, no tendremos ningún problema y nuestros backtest sí que serán fiables (con precisión máxima de M1, no de ticks).

Sin duda, Yokinfx, no nos vamos a rendir.

Este trabajo que has hecho es muy importante, como el que están haciendo otros compañeros en Renko y backtest.

Sin embargo, si tu EA no arroja más de 2 o 3 pips de promedio de ganancia en cada operación mínimo, la cantidad de imponderables que no sabemos medir (yo diría no podremos medir) hacen que el resultado sea poco válido.

Pongo algunos ejemplos: muchas variables del trading las controla el broker a través del fichero symbols.raw y otros y las va cambiando sobre la marcha. Sólo hace falta un cambio de política en el broker, de algoritmos, de criterio y todo puede cambiar. Y, no nos engañemos, un broker es un equipo directivo que estudia una y mil veces al día cómo establecer y reestablecer políticas de gestión de las operaciones que les reporte beneficios.

En mi opinión las políticas de los brokers es animarnos a operar y demostrarnos que somos muy buenos en optimizaciones, backtest, demo y, hacer caja en real. Simple y llanamente pienso eso.

Eso se traduce en un sinfín de dificultades para hacer cuadrar lo que nos quieren hacer ver que es fácil (obtener beneficios en entornos en donde no se juegan el dinero y nos puede animar a operar en real) y lo que realmente es difícil (obentener beneficios en real, en donde los intereses de los intevinientes son oscuros y contrapuestos).

¿Cómo medimos en entornos no reales los deslizamientos? ¿Las aperturas de las orquillas bid, ask? ¿los bloqueos de la plataforma? ¿Las latencias? Y tantos aspectos que controlan los brokers....

Todavía más, considerando sólo los reultados obtenidos en real, si mi sistema no obtiene un promedio de ganancia por operación que supere ampliamente los 3 pips, ¿cómo sé que un cambio de política en la gestión de las órdenes no va a truncar mi sistema ganador en real en perdedor en real?

Hay que estar siempre atentos y analizando y reanalizando los resultados de real. Nunca sabes por dónde puede venir la sorpresa.

Y todo ello no lo digo por desanimar, al contrario, para animar a cooperar entre nosotros. El trabajo que tenemos por delante es árduo y las dificultades muchas, pero el potencial de un grupo de personas trabajando juntos en algo en lo que creen es inimaginable.

Finalmente, como bien dices, conocer el mtq4 hasta las entrañas, pero también los históricos, sin los cuales el mtq4 es una herramienta da backtest inútil y, finalmente, aquello que nunca nos van a explicar: los ficheros symbols.raw y demás.

Un abrazo.

Foro de Forex Trading United

**trader201** · 02:00,

Publi

Iniciado por indovinello

...tomado un histórico de los considerados de buena calidad (ej:. Dukascopy, por centrarnos en uno) de 10 años ...

¿Por casualidad sabes que tal la calidad de los históricos de Alpari uk?

Foro de Forex Trading United