Você acredita em backtest?

O título desse artigo pode parecer contraditório num primeiro momento, visto que, além de entusiasta, sou desenvolvedor e pesquisador na área de trading quantitativo. Mas me lembro bem quando, lá pelos idos de 2004, comecei minha carreira no mercado financeiro e tive o primeiro contato com a ferramenta MetaStock. Naquela época havia pouca informação disponível, talvez por conta do pequeno tamanho do mercado brasileiro, que então contava com pouco mais de 100 mil investidores cadastrados na bolsa.

Pelo menos pra mim, aquela ferramenta era o que havia de mais moderno no mercado brasileiro. Em meio a algumas empresas nacionais que forneciam (invariavelmente) soluções de gráficos e notícias voltadas ao mercado brasileiro, nada se comparava às funcionalidades oferecidas pelo MetaStock, entre elas a possibilidade de não apenas “visualizar” o gráfico de preços, mas também de realizar backtests de estratégias, geralmente baseados em indicadores técnicos nativos da ferramenta.

A possibilidade de testar estratégias antes de colocá-las em prática era algo fascinante. Minha formação acadêmica e minha facilidade com análise estatística de dados me ajudava muito a compreender todos aqueles dados e números gerados pela plataforma. E ao longo de pelo menos oito anos, trabalhando como operador e agente autônomo de investimentos, pude perceber que os backtests eram um conhecido de longa data do mercado financeiro.

Como agente autônomo da XP, pude participar de boa parte da história da empresa. O foco da corretora em educação era algo realmente diferenciado. Quem vivenciou aquela época certamente se lembra da famosa combinação de médias móveis “9 com 40” da XP. Ou ainda do indicador proprietário Attrator, entre outros. Os calls internos da corretora eram úteis não apenas para disseminar o conhecimento junto à sua base de assessores, mas também (e principalmente) junto à sua base de clientes.

Mas, como tudo na vida, era natural esperar uma evolução também nessa área. Alguns “sinais” gerados pela famosa combinação de médias não eram tão bons: naturalmente uns davam lucro e outros prejuízo. Com isso, não apenas assessores, mas também clientes, agora com um conhecimento maior sobre estratégias operacionais, começavam a questionar a eficácia da estratégia e, obviamente, recorriam aos famosos backtests para analisá-la.

Como primeira ferramenta de análise, os backtests são extremamente interessantes. Mesmo traders e investidores mais experientes certamente não abrem mão da análise visual da evolução de uma curva de capital ao longo do tempo. Entretanto, com a chegada de ferramentas para o desenvolvimento de estratégias de negociação automatizada, como o MetaTrader 5, é natural que surja um número cada vez maior de desenvolvedores. Com isso, multiplicam-se também as estraté- gias capazes de “performar bem” em backtests, que geralmente são mostradas como verdadeiros “troféus” por desenvolvedores para seus clientes.

O que pouca gente sabe é que um simples backtest pode esconder vários problemas. Abaixo elenco aqueles que, no meu ponto de vista, são os mais comuns:

1) overfitting: com o aumento do poder computacional nos PC’s modernos, é fácil, rápido e barato realizar centenas de milhares de backtests numa base de dados. Portanto, a chance de se encontrar testes “perfeitos” aumenta substancialmente;

2) engenharia reversa: o aumento da quantidade de estratégias pode facilmente levar desenvolvedores a “descobrir” como os dados de uma plataforma são gerados durante backtests. Obviamente isso pode facilmente levar ao desenvolvimento de estratégias que performa perfeitamente nos dados, mas que teriam desempenho pífio quando levadas para uma conta real;

3) base de dados: ainda não existe no mercado uma base de dados baseada em ticks reais que seja longa o suficiente (5 anos, por exemplo), para testar de forma satisfatória estratégias de negociação automatizada. Com isso, todos os backtests de estratégias do tipo “scalper” ou de alta frequência devem ser vistos com desconfiança, caso utilizem uma base de dados que não seja baseada em ticks reais.

4) metodologias erradas: o processo mais comum utilizado para seleção de estratégias é, ainda, a otimização pura de parâmetros. O processo, que é sofrível do ponto de vista científico, leva facilmente à seleção de estratégias ruins. Por outro lado, já há alguns anos existem metodologias consideradas mais adequadas, sendo um dos melhores exemplos o processo chamado de Walk Forward Analysis, desenvolvido por Robert Pardo. Entretanto, o processo é de difícil implementação, o que leva a maioria dos investidores e desenvolvedores a optar pela otimização pura de parâmetros, que, além da fácil implementação, é também de fácil compreensão.

5) objetivos errados: a maioria dos backtests visa encontrar estratégias que sejam capazes de gerar lucros altos apenas. Entretanto, pouca (ou nenhuma) atenção é dada a outras características de uma estratégia, como o drawdown, fator de lucro ou taxa de acerto, por exemplo. Sabendo-se que a maioria dos investidores não tolera longos períodos de rebaixamento de sua curva de capital, seria óbvio dar mais atenção para esse e outros fatores quando analisar uma estratégia.

Por mais contundentes que essas críticas possam parecer, acredito que o próprio aumento na quantidade de usuários e desenvolvedores de estratégias automatizadas acabe levando à uma evolução nesse mercado. Apesar da curva de aprendizado de programação ser muito mais rápida que aquela relacionada à análise estatística de dados, creio que mesmo desenvolvedores iniciantes terão que se adaptar às demandas de um mercado cada vez mais competitivo e exigente. Acredito também que em breve teremos empresas especializadas em trading research no Brasil, e que em breve essa área de estudo será tão comum quanto à de equity research, por exemplo.

Somente com o desenvolvimento dessa área poderemos acreditar, de fato, em backtests baseados em estratégias robustas e descartar os inúmeros “troféus” que surgem todos os dias.