Publi |
Publi |
Buff! Calidad de modelado... y calidad de los datos históricos.
Creo que se trata de las dos mayores fuentes de quebraderos de cabeza para todos aquellos que se introducen en el mundo de los backtest.
Son temas que además generan muchas controversias, debates e incluso he llegado a ver auténticas discusiones.
Os dejo un par de links:
La problemática de la fiabilidad de datos históricos para Metatrader
La problemática de la fiabilidad de datos históricos para Metatrader - y II- RESUELTA!!La problemática de la fiabilidad de datos históricos para Metatrader
Si bien Metatrader es una plataforma pionera en permitir el uso de Expert Advisors de forma sistemática, tiene un gran problema con sus datos históricos que intentaremos explicar en este artÃculo.
En primer lugar los datos que te bajas de la plataforma de Metaquotes (la casa madre rusa de Metatrader) son datos de velas en 1 minuto (M1), oséa que no son tick a tick. El tick a tick lo recalcula por un sistema de interpolación, asà que los robots scalpers que testees en ticks recalculados, te darán señales muy diferentes en real a tu backtest u optimización inicial.
Los datos de Metaquotes, son desde el 1.Enero de 1999 en la mayorÃa de los pares, por lo que son los datos más extensos. Aparte son gratuitos. Sin embargo suelen tener un hueco de 2 meses del 7. Mayo 2010 al 8. Julio 2010, justo al inicio de la crisis de Grecia, lo cuál no deja de ser sospechoso. Si optimizas o haces backtest con el hueco, no sabrás que hubiera pasado con tus sistemas en un mercado de lo más volatil y complejo.
Luego existen los datos de Dukascopy, la conversión de los datos de Dukascopy a formato hst, es por decirlo de forma suave, un proceso muy tedioso. Además si una vez ya los convertiste, volverlos a convertir cada semana para actualizarlos te va a hacer muy poca gracia. Por otro lado los datos de Dukascopy empiezan todos en Abril 2007, es decir, los datos de Metaquotes tienen 8 años más.
Por otra parte, los datos de Metaquotes, no tienen históricos prolongados de commodities o metales, tales como el Trigo, Oro, Plata, etc... por lo que sólo podrás disponer de 1 año de estos históricos, lo cuál es demasiado poco, para hacer una optimización fiable, según con qué sistema.
También existen unos datos sin huecos de FXDD gratuitos a M1, no son tick a tick tampoco, empiezan en 2003, el problema de estos datos es que son a 4 dÃgitos, te servirán sólo, o serán una aproximación fiable si tu broker es de 4 dÃgitos, como por ejemplo XTB. Si trabajas con XTB estos datos pueden darte históricos más prolongados y asà poder hacer tests más largos para este broker.
http://global.fxdd.com/en/mt1m-data.html
Aparte de todo esto, los datos se corrompen con frecuencia. Lo que suelo hacer es oner en Herramientas-Opciones-Charts poner Max barras en historial en: 999999999999999 al igual que Max bars in chart: 999999999999999999 antes de bajar los históricos. Si no te los reconoce una vez bajados y pulidos (dar otra vez a Download pulirá tus datos, es decir, recalculará para que las velas de todos los TF coincidan), entonces tienes que poner los 99999999999999999999, cerrar tu plataforma y volver a abrirla y verás que tus datos empiezan el 1.1.1999, para asà tener los 12 años completos cargados.
http://www.efxto.com/articulos-forex/2027-como-realizar-un-backtesting-en-metatrder-4-de-calidad
Soluciones
Si tienes una cuenta live abierta, y tienes todas las ventanas por pares abiertas en M1, generarás históricos a futuro fiables en M1. Obviamente este es el procedimiento más fiable, para cualquier broker con el que trabajes asiduamente, pero claro te llevará años juntar tus históricos. Aparte de que nunca puedes hacer una descarga de históricos en esa plataforma, por que eso machacarÃa tus históricos guardados en forward.
La otra opción es cubrir tan sólo ese hueco de 2 meses, con otros datos, podrÃas hacerlo con los datos de Dukascopy, pero tendrÃas que importar EXCLUSIVAMENTE el hueco, puesto que, lo último que importes con la función exportación te machacará tus históricos previos. En ese caso tendrÃas Mayo y Junio 2010, tick a tick, lo cuál no es malo y el resto en velas de 1 Minuto. TendrÃas que hacerlo con todos tus pares y guardar los .hst (el formato Metaquotes) por separado, para que si se te llegan a corromper alguna vez puedas importarlos de nuevo. Es vital que guardes esos .hst para futuras situaciones, podrás recargas los últimos datos con un sencillo download, o se cargarán solos en una nueva plataforma, conservándote tus datos del hueco incorporados.
También puedes tener los datos de Dukascopy, e importar EXCLUSIVAMENTE un hst modificado (sin conectar la plataforma) que contenga los datos desde 1999 a 2007, de esa forma sabes que de Abril 2007 tienes tick a tick (99% calidad de modelado) y antes tienes velas de M1 (90% calidad de modelado), esto es más tedioso aún, por que tendrás que tener cuidado de borrar todo hasta Abril 2007 en tus hst originales de Metaquotes, pasando por el formato csv y volviendo al hst.
Para trabajar en 4 dÃgitos, la opción es combinar los datos de XTB con los de FXDD y trabajar desde 2003, lo cuál suele ser más que suficiente. XTB es una plataforma que ejecuta muy bien con EAs, por lo que merece la pena.
Resumen
El tema de los datos es muy complejo y tedioso, por lo que, deberás dedicarle tiempo de estudio, descarga, conversión, y asà tener datos fiables con los que optimizar y trabajar, si quieres backtests y optimizaciones de calidad.
saludos cordiales,
EA-Billionaire
(si quereis podemos establecer un debate a partir de ellos...)La problemática de la fiabilidad de datos históricos para Metatrader - y II- RESUELTA!!
Comentábamos hace poco la problemática con los datos de Meta Trader. Por un lado la mayorÃa de brokers, ofrecen sólo datos de 2010 y si acaso 2009, mientras que Alpari UK ofrece datos desde 1999 en la mayorÃa de pares, pero con huecos.
Hay varios posts por ahà en internet, que aconsejan coger los datos de Dukascopy al ser tick a tick. Dentro de esta argumentación hay una falacia. Meta Trader sólo trabaja minuto a minuto, realmente su calidad mÃnima de datos son los 4 datos: apertura-máximo-mÃnimo-cierre de cada vela de un minuto. De hecho es hasta absurdo hacer EAs que vayan tick a tick en Meta trader, puesto que los ticks los genera por interpolación (un procedimiento matemático) en el backtest, asà que tus backs tick a tick son poco fiables con un archivo llamado "ticks.raw" que está dentro de la carpeta /historial. Por otro lado, el tener EAs tick a tick ralentiza muchÃsimo las optimizaciones y los backtest.
La propuesta de estos posts, y artÃculos, fundamentalmente Birt´s Review: Forex Expert Advisor Robot Reviews And Tests era con un complejo proceso de conversión pasarse los históricos de Dukascopy que SI SON TICK A TICK a la plataforma Meta Trader. Supuestamente subÃa la calidad de modelado de un 90% a un 99%. Sin embargo, esto es falso, puesto que lo que estamos haciendo es pasando esos datos a datos de M1, minuto a minuto, y Metatrader no puede acceder a datos tick a tick. Aparte de que finalmente nuestra calidad de modelado es EXACTAMENTE LA MISMA. El 99% es un campo que le añadió Birt, y que es arbitrario. De hecho también el 90% es un campo de variable, y no quiere decir necesariamente que nuestra calidad de modelado sea del 90%. Entonces con todo el proceso de Dukas a Meta trader, nos quedamos como estábamos. Aparte los datos de Dukas empiezan en Abril 2007 y muchos queremos históricos más prolongados para ver la fiabilidad y robustez de nuestros sistemas.
La otra opción era bajarse unos históricos de FXDD de M1, que no tienen huecos. Sin embargo, esos históricos son de 4 dÃgitos, y para los que trabajamos también con brokers de 5 dÃgitos, la limitación es muy importante, ya que ejecuta de forma muy diferente un broker de 4 dÃgitos que uno de 5. Para aquellos que trabajen con brokers de 4 dÃgitos, esta es la mejor solución, los datos de FXDD en M1: MetaTrader 1-Minute (M1) Data | FXDD
Dentro de este dilema hemos estado muchos trader. Bueno, pues finalmente resulta que si hay unos datos completamente fiables, de 12 años, en 5 dÃgitos y sin huecos, y no tienes que hacer nada, más que bajarte la plataforma y descargar. Cha chan!! La gran primicia:
Estos datos son los datos de Alpari NZ. forex / Forex - Alpari (Alpari). Foreign exchange market forex: forex quotes, forex indicators, make profit on forex - forex and training. Pero, te recomiendo que bajes la cuenta NDD Demo (oséa Non-Dealing Desk Demo) y que los bajes del servidor: widex.mt4_ndd.demo puesto que aquà baja el último mes completo y en los otros servidores a veces lo baja a medias, y te genera justo un hueco de 15 dÃas en tu último mes. Te tienes que ir a tu carpeta /downloads dentro de tu carpeta /history y allà verás que según te baja los datos, (cada par en su subcarpeta separada) te los baja en archivos .dat mes a mes. FÃjate que el último mes completo pese aproximadamente como los meses anteriores. Posteriormente Meta trader convierte internamente estos .dat en tus .hst que es el formato estándard de metatrader.
Otra cosa. Mucha gente se baja los datos M1 y de repente no los ve, o parecen corruptos. No es que se corrompan. Lo que pasa es que los está cargando en tu RAM. Si tienes poca RAM o la tienes saturada con otras cosas, no aparecerán por mucho que cierres y abras la plataforma. 12 años de históricos ocupan bastante RAM en la carga. Te recomiendo que trabajes siempre con mÃnimo 2 GB de RAM.
La otra cosa que es fundamental es que desfragmentes tu disco con regularidad. El desfragmentador de windows es bastante malo, recomiendo el Tune Up, pero sobre todo el Defraggler, es gratuito y te deja los discos completamente desfragmentados. Como meta trader básicamente esparce tus datos por tu disco, es recomendable una desfragmentación semanal si estás trabajando mucho con datos.
Después te recomiendo que uses el Spread Generator, para fijar tu spread a gusto y asà desconectarte de internet, ya que si no la plataforma generará un test diferente cada vez, según cambie el spread de mercado.
Esto es un gran avance, puesto que, los datos originales de Alpari UK tenÃan un hueco desde el 7 Mayo 2010 hasta el 8 Julio 2010 y luego otro importante en Octubre 2010. Justo en los meses de mayor volatilidad por la crisis de deuda soberana. Es del todo ilógico, que Alpari tenga los datos perfectos en su sede de NZ y en su sede Londres - UK los tenga mal. Conspiración? Adrede? Bueno, eso no es tema de este artÃculo. El punto es que este tema ya está resuelto, te vas a Alpari NZ y te bajas tu metatrader y tendrás los datos directos de Metaquotes, además por ejemplo en el EURCAD tendrás datos desde Diciembre 2004, mientras que antes sólo habÃa datos desde Mayo 2007, un gran avance. También encontrarás datos de 12 años en pares algo menos comunes como el AUDJPY.
Ahora sólo tienes que hacer buenos sistemas. El tema de los datos ya está resuelto.
saludos cordiales,
EA-Billionaire
y mi manera de pensar muy resumida:
1.- Data Integrity Checker Imprescindible.
2.- Alpari NZ. Recomendable.
Winetou... me has quitado las palabras de la boca, jejeje.
3.- Birt. Grandiosa fuente de discusiones. Digamos que hay dos grupos de backtesters: los "normales" y los que yo llamo los "Birt99"
Yo soy de los primeros, pero ante todo: respeto.
Salud y pips!
Foro de Forex Trading United
Última edición por Neo Trader; 21:59 a las Razón: Añadir artÃculos completos
Alguien me puede ayudar . ? llevo tiempo tratando de poder hacer los backtest y no hay forma que trabaje , he tratado ya por varias veces , todo lo he hecho bien y cuando voy a hacer el backtest , me sale error que solo es compatible con la version 409 y tengo 419 , un amigo me dio el file terminal 409 pero no abre la plataforma cuando se lo pongo , me dice que la tengo que actualizar , si no lo acepto no abre y si lo acepto no funciona el script , me aconsejaron que le anadiera off al liveupdate , si lo hago la plataforma no abre hasta que no se lo quite , he probado con varios brokers y nada , ya no se que hacerle , por favor , necesito ayuda lo mas rapido posible , un saludo y gracias de antemano .
Foro de Forex Trading United
Total sirve para que sea mucho mas detallado cuando queremos hacer un BT de 1M, 5M 15M, 30M, eso es lo que concluyo.Andrés,
depende del EA, si el EA trabaja en timeframes grandes (H1 o más) y/o hace operaciones al cierre de la vela (no durante) seguramente poco importa demasiado el esfuerzo de utilizar datos tick a tick respecto a los de Metatrader.
Aún asà hay que saber que Metatrader descarga sólo datos vela a vela: apertura, cierre, máx. y mÃn; y que los datos tick a tick que utiliza en los backtest los interpola (se los "inventa") según si la apertura está o no debajo del cierre y según las sombras de la vela. lee esto para saber más:
Archivo adjunto 1086
fijate por ejemplo que en un Backtest a M1 con datos Metatrader nunca te pondrá un 90% de calidad, te pone siempre un 25%.....!!!
Por lo tabto resulta que para EAs que funcionan a timeframes pequeños, M1, M5, ..M15.. pueden darte (o no, y según el EA) resultados diferentes... según utilices datos Metatrader o tick a tick, y usando datos tick a tick puedes obtener tanto resultados de mayor profit como de menor...
Espero que te haya servido de ayuda...
Saludos
Jose
Pero para los que operamos en H1, H4 y D1 viene a ser lo mismo, ya que es un TF mas alto y ps los datos tick a tick en estos TF no los utilizo mucho.
De todas formas que gran apporte!!
Saludos!!Foro de Forex Trading United
Lo siento, el pdf anterior tenÃa un signo incorrecto en una fórmula . adjunto el pdf bueno!!:
Foro de Forex Trading United
Gracias,Segun mi poca experiencia, si tus robots no seran para 1minuto o 5 maximo, no es tan necesario el modelado de calidad del 99%, En tf mayores no incide mucho segun los entendidos.
Tambien hablan de que no necesariamente el robots te funcionara correctamente si el backtest es con lo datos de otro broker, yo eso lo pongo en duda, claro los resultados pueden variar con los de tu broker eso es un hecho, no obstante considero que si se cuenta con los históricos necesarios el robots debe de funcionar igual.
Ya puesto en real o demo debe de ajustarse a cada broker en que deba de trabajar.
Y mencionan que el modelado de calidad del 90% es suficiente para probar la rentabilidad de un EA a mediano y largo plazo.
Saludos.
como veo que no hace falta tanta calidad para M15 o más, voy a ver si me busco unos históricos para empezar.Foro de Forex Trading United
Hola pachi052003!!Alguien me puede ayudar . ? llevo tiempo tratando de poder hacer los backtest y no hay forma que trabaje , he tratado ya por varias veces , todo lo he hecho bien y cuando voy a hacer el backtest , me sale error que solo es compatible con la version 409 y tengo 419 , un amigo me dio el file terminal 409 pero no abre la plataforma cuando se lo pongo , me dice que la tengo que actualizar , si no lo acepto no abre y si lo acepto no funciona el script , me aconsejaron que le anadiera off al liveupdate , si lo hago la plataforma no abre hasta que no se lo quite , he probado con varios brokers y nada , ya no se que hacerle , por favor , necesito ayuda lo mas rapido posible , un saludo y gracias de antemano .
Mira, yo antes cuando hacia el BT en el MT4 (Ahora hago BT en el Forextester), este video me ayudo muchisimo, espero que a ti tambien
En otros foro recomiendan que utilices otro MT4 aparte para hacer tu BT, osea que no uses para BT el MT4 que normalmente utilizas para operar
Bájalo preferiblemente de Metaquotes
Saludos!!!Foro de Forex Trading United
Hola Pachi050023, a ver si te puedo echar una mano. Te adjunto un link con una plataforma de Alpari (NZ creo) que es de Nov 11. Creo que es la ver 409. A mi no pide actualizarla ya, aunque la tenÃa instalada de antes, de hecho es la que uso cuando uso datos de "birt". Si quieres prueba a ver.
mt4Alparisetup (NO BORRAR).rar
Como sabes con estos datos en su version gratuita no puedes optimizar. Si vas a utilizar datos del broker, como ya puse en otro post, te aconsejo que revises el GMT y DST comparandolo con los datos de "birt" (si es que puedes, claro), y ademas que le pases el Data Integrity Checker para ver los huecos.
Si te sirve como referencia, yo uso unos datos de un broker (que creo que los coge de Metaquotes hasta Ene 12) que tiene, desde 2007, unos 8-9 huecos de entre 1-2 horas. Creo que es bastante aceptable. Pero insisto que no solo mires los huecos, comprueba tambien los GMT´s que luego para EA´s con horario es critico.
Sl2Foro de Forex Trading United
Que util gracias deckardbcn
Foro de Forex Trading United
Por favor aclararme esto……….
* ¿hace falta una calidad tick a tick del 99% para trabajar en TF de 5 minutos o más? ¿o sólo con los históricos del propio broker (herramientas/centro de historiales) o de Metaquotes sirve?
* ¿puedo usar los datos de Oanda del primer mensaje con otro Broker o sólo sirven para Metatrader de Oanda? Por ejemplo yo ahora uso una demo de Hanseatic.
* Y si los puedo usar ¿puedo hacerlo con TF de 5 minutos o más?
De momento a lo que quiero llegar es a tener un histórico para poder hacer un backtesting “fiable� a un robot y poder llegarmelo a optimizar.
Ummm….no sé si empiezo bien o tengo que tener algo antes en cuenta.
Se agradecen los comentarios. Un saludo.Foro de Forex Trading United
Aviso Legal Ley Orgánica 15/1999, de 13 de diciembre, de Protección de Datos de Carácter Personal |