Alpha Arena revela falhas no trading com IA: modelos ocidentais perdem 80% do capital em uma semana

O mercado é o teste definitivo para a IA.

Autor: Juan Galt

Tradução: AididiaoJP, Foresight News

A IA pode negociar criptomoedas? Jay Azhang, engenheiro de computação e profissional do setor financeiro de Nova York, está testando essa questão através do Alpha Arena. O projeto coloca os mais poderosos modelos de linguagem de grande porte uns contra os outros, cada um com um capital de 10.000 dólares, para ver qual consegue ganhar mais dinheiro negociando criptomoedas. Esses modelos incluem Grok 4, Claude Sonnet 4.5, Gemini 2.5 pro, ChatGPT 5, Deepseek v3.1 e Qwen3 Max.

Agora você pode estar pensando: "Uau, que ideia genial!" E pode se surpreender ao saber que, no momento em que este artigo foi escrito, três dos cinco IAs estavam em situação de prejuízo, enquanto Qwen3 e Deepseek, dois modelos open source chineses, estavam na liderança.

É isso mesmo, as IAs proprietárias mais poderosas do Ocidente, fechadas e operadas por gigantes como Google e OpenAI, perderam mais de 8.000 dólares em pouco mais de uma semana, o que representa 80% do seu capital de negociação em criptomoedas, enquanto os concorrentes open source do Oriente estão lucrando.

A negociação mais bem-sucedida até agora? Qwen3 manteve-se lucrativo e consistente apenas com uma simples posição long de 20x em bitcoin. Grok 4, sem surpresa, passou a maior parte do tempo da competição em uma posição long de 10x em dogecoin, tendo estado no topo junto com Deepseek, mas agora está próximo de um prejuízo de 20%. Talvez Elon Musk devesse postar um meme de dogecoin para ajudar Grok a sair dessa situação.

Enquanto isso, o Gemini do Google está implacavelmente pessimista, vendendo a descoberto todos os ativos cripto negociáveis, uma posição que ecoa sua política geral em relação às criptomoedas nos últimos 15 anos.

No final, ele fez todas as negociações erradas possíveis por uma semana inteira, o que também exige habilidade para ser tão ruim, especialmente quando Qwen3 simplesmente está comprado em bitcoin. Se este é o melhor nível que uma IA proprietária pode oferecer, talvez a OpenAI deva continuar fechada, para não nos causar prejuízos.

O novo benchmark da IA

A ideia de colocar modelos de IA para competir entre si em uma arena de negociação de criptomoedas traz alguns insights muito profundos. Primeiro, a IA não pode obter as respostas do teste de negociação de criptomoedas durante o pré-treinamento, pois é imprevisível, o que é um problema enfrentado por outros benchmarks. Em outras palavras, muitos modelos de IA recebem algumas respostas desses testes durante o treinamento, então naturalmente se saem bem nos testes. Mas algumas pesquisas mostram que pequenas alterações nesses testes podem causar grandes mudanças nos resultados dos benchmarks de IA.

Essa controvérsia levanta uma questão: qual é o teste definitivo de inteligência? Segundo Elon Musk, criador do Grok 4 e fã do Homem de Ferro, prever o futuro é a medida definitiva da inteligência.

E temos que admitir, não há futuro mais incerto do que o preço de curto prazo das criptomoedas. Nas palavras de Azhang, "Nosso objetivo com o Alpha Arena é tornar o benchmark mais próximo do mundo real, e o mercado é perfeito para isso. Eles são dinâmicos, competitivos, abertos e sempre imprevisíveis. Eles desafiam a IA de uma forma que benchmarks estáticos não conseguem. O mercado é o teste definitivo para a IA."

Essa visão sobre o mercado está profundamente enraizada nos princípios libertários que deram origem ao bitcoin. Economistas como Murray Rothbard e Milton Friedman apontaram, há mais de cem anos, que o mercado é fundamentalmente imprevisível para governos centrais, e que apenas indivíduos que precisam arcar com perdas podem tomar decisões econômicas racionais.

Em outras palavras, o mercado é a coisa mais difícil de prever porque depende das opiniões e decisões individuais de pessoas inteligentes em todo o mundo, tornando-o o melhor teste para a inteligência.

Azhang menciona na descrição do projeto que instruir a IA a negociar não é apenas sobre lucro, mas também sobre retorno ajustado ao risco. Essa dimensão de risco é crucial, pois uma negociação ruim pode apagar todos os retornos anteriores, como visto no colapso do portfólio do Grok 4.

Existe ainda outra questão: esses modelos estão aprendendo com sua experiência negociando criptomoedas? Isso não é tecnicamente fácil de realizar, pois o pré-treinamento de modelos de IA é extremamente caro. Eles podem ser ajustados com seu próprio histórico de negociações ou com o histórico de outros, ou até mesmo manter negociações recentes na memória de curto prazo ou na janela de contexto, mas isso só os leva até certo ponto. O modelo de IA de negociação correto pode, no final, precisar realmente aprender com sua própria experiência, uma tecnologia recentemente anunciada no meio acadêmico, mas que ainda está longe de se tornar um produto. O MIT chama esses modelos de IA auto-adaptativos.

Como sabemos que isso não é apenas sorte?

Outra análise sobre o projeto e seus resultados até agora é que pode ser indistinguível de uma "caminhada aleatória". Caminhada aleatória é como jogar um dado para cada decisão. Como isso seria em um gráfico? Na verdade, existe um simulador que você pode usar para responder a essa pergunta; na prática, não parece muito diferente.

A questão da sorte no mercado também foi descrita em detalhes por intelectuais como Nassim Taleb em seu livro "Antifrágil". Ele argumenta que, do ponto de vista estatístico, é perfeitamente normal e possível que um trader, como o Qwen3, tenha sorte por uma semana inteira! Isso pode fazer com que pareça ter habilidades de raciocínio excepcionais. O ponto de Taleb vai além: ele acredita que há tantos traders em Wall Street que é fácil para um deles ter sorte por 20 anos seguidos, construir uma reputação lendária e todos ao seu redor pensarem que ele é um gênio, até que a sorte acabe.

Portanto, para que o Alpha Arena produza dados valiosos, ele realmente precisa funcionar por um longo tempo, e seus padrões e resultados também precisam ser replicados de forma independente, envolvendo risco de capital real, antes que possa ser considerado diferente de uma caminhada aleatória.

No final, até agora, é interessante ver modelos open source e de baixo custo como o DeepSeek superando seus concorrentes proprietários. O Alpha Arena tem sido uma ótima fonte de entretenimento até agora, já que se tornou viral no X.com na semana passada. Ninguém sabe para onde vai no futuro; teremos que ver se a aposta de seu criador — dar 50.000 dólares em criptomoedas para cinco chatbots apostarem — acabará valendo a pena.