A Grande Reforma do Transformer: Maio de 2026 Está Reescrevendo as Regras do ML

Doze milhões de tokens de contexto por US$ 8. Uma redução de 98% no cache KV vs. GQA padrão — o maior gargalo dos modelos atuais. Um modelo de raciocínio open-source inteiro treinado do zero em hardware AMD. Tudo isso aconteceu nas últimas três semanas.

Maio de 2026 não foi apenas mais um mês para machine learning. Foi o mês em que o Transformer — a arquitetura que sustenta praticamente todos os LLMs modernos — começou a ser sistematicamente desmontado e remontado, peça por peça, sem piedade.

Este artigo analisa as cinco inovações arquiteturais que definem este momento, compara o que cada uma muda na prática e mostra por que, no fim das contas, o Transformer não está morrendo. Está passando pela maior reforma desde 2017.

SubQ: 12 Milhões de Tokens por US$ 8

A Subquadratic passou 18 meses em stealth. Quando saiu, no começo de maio, apresentou o SubQ 1M-Preview: o primeiro LLM que opera integralmente no regime subquadrático — ou seja, o custo computacional não explode com o aumento do contexto.

O resultado são 12 milhões de tokens de contexto nativos. Para comparação, o Claude Opus da Anthropic e o GPT-5 da OpenAI operam com limites de 200 mil tokens na versão pública. A diferença não é incremental: é de duas ordens de grandeza.

O que chama atenção não é só o contexto gigante — é a eficiência. Gastar US$ 8 para processar o equivalente a 12 milhões de tokens com 95% de acurácia, contra US$ 2.600 do Claude Opus com 94%, representa uma redução de ~300x no custo real. Em termos de complexidade algorítmica, a empresa fala em ~1.000x de redução no custo de atenção.

A Subquadratic saiu do stealth com US$ 29 milhões em seed e valuation de US$ 500 milhões. O investimento reflete uma crença: contexto ultralongo não é mais diferencial competitivo — é requisito básico.

"Se o SubQ for o vencedor ou apenas o primeiro tiro, a era de 'todo modelo frontier é um Transformer' está sob aviso. Fique de olho nos esforços de Mamba-Hybrid, RWKV-7 e abordagens estilo BASED para ganharem um segundo fôlego." — Dylan Bristot, Editor do WhatLLM.org (Fonte: WhatLLM)

DeepSeek V4: O Atalho Híbrido que Corta 98% do Custo

Depois do choque que o DeepSeek V3 causou no mercado em 2025 — provando que era possível competir com os gigantes americanos gastando muito menos — a empresa chinesa voltou com o V4-Pro.

O modelo tem 1,6 trilhão de parâmetros totais, dos quais 49 bilhões são ativos por token. Mas o salto arquitetural está em duas inovações: a Cross-Step Attention (CSA) e a Hybrid Compressed Attention (HCA).

CSA comprime as entradas do cache KV em 4x ao longo da dimensão sequencial. HCA faz algo parecido, mas com uma taxa de compressão de 128x. Combinadas, elas atacam o maior gargalo de modelos com contexto longo: o custo de memória e computação da atenção.

Os números são difíceis de ignorar:

• Com 1 milhão de tokens de contexto, o V4-Pro consome apenas 27% dos FLOPs e 10% do cache KV do DeepSeek V3.2
• Comparado a uma implementação GQA padrão (a técnica usada pela maioria dos modelos atuais), o V4-Pro gasta ~2% do cache KV
• A compressão é agressiva o suficiente para viabilizar contexto de 1M tokens em hardware comercial

Sebastian Raschka, PhD e referência em arquiteturas de ML, observou um padrão:

"O padrão interessante deste ano é que a maioria dos novos modelos de peso aberto tenta baratear a inferência de contexto longo sem simplesmente encolher o modelo em termos de parâmetros totais." — Sebastian Raschka, PhD, AI Researcher and Author (Fonte: Sebastian Raschka Magazine)

Em vez de reduzir parâmetros, DeepSeek, Subquadratic e Zyphra estão reduzindo o custo da atenção — que é justamente o componente mais caro do Transformer original.

ZAYA1-8B: Raciocínio Open-Source, Feito em AMD

A Zyphra lançou o ZAYA1-8B, e ele quebra dois paradigmas de uma vez.

Primeiro: é o primeiro modelo de raciocínio open-source com licença Apache 2.0 treinado do zero em hardware AMD Instinct. Até aqui, a maioria dos modelos relevantes era treinada exclusivamente em clusters NVIDIA CUDA. A Zyphra mostra que o ecossistema AMD já é viável para pesquisa de fronteira.

Segundo: o ZAYA1-8B usa Compressed Convolutional Attention (CCA) — um mecanismo que opera a atenção diretamente em espaço latente comprimido, em vez de fazer isso no espaço original de alta dimensionalidade. É uma abordagem diferente da CSA/HCA da DeepSeek, mas com o mesmo objetivo: baratear o custo da atenção.

A arquitetura MoE (Mixture of Experts) do modelo é agressiva: 8 bilhões de parâmetros totais, dos quais apenas 760 milhões estão ativos por token. Isso significa que, na prática, o ZAYA1-8B tem custo inferencial de um modelo de ~760M de parâmetros — mas capacidade de um de 8B.

O modelo está disponível no Hugging Face sob licença Apache 2.0. Qualquer empresa pode baixar, modificar e rodar sem pagar nada.

Fora dos LLMs: Quando RL Encontra o Mundo Real

Nem toda inovação arquitetural de maio de 2026 está em Large Language Models. Duas descobertas importantes vieram de áreas diferentes — e com aplicações tão concretas quanto inesperadas.

SyntheMol-RL é um sistema desenvolvido pela McMaster University em parceria com Stanford que usou reinforcement learning para explorar 46 bilhões de compostos químicos. Funciona assim: em vez de enumerar moléculas candidatas uma a uma (o método tradicional, que é computacionalmente proibitivo), o RL aprende uma política de exploração — ele "aprende a aprender" química.

Dos 79 compostos sintetizados em laboratório, 13 mostraram atividade in vitro contra bactérias resistentes. Um deles, batizado de synthecin, foi validado in vivo contra MRSA (a superbactéria) em modelo murino de ferida infectada.

"Construímos o modelo para ser agnóstico a doenças. Ele poderia gerar candidatos a fármacos para diabetes, câncer ou outras indicações com a mesma facilidade." — Jonathan M. Stokes, Professor, McMaster University — líder do SyntheMol-RL (Fonte: McMaster News)

O OmniReset, por sua vez, foi aceito no ICLR 2026 — uma das conferências mais seletivas de ML. O problema que ele resolve é clássico: manipulação robótica destra (movimentos finos com as mãos) é extremamente difícil de treinar porque as recompensas são esparsas e a dimensionalidade das ações é altíssima.

OmniReset ignorou as muletas tradicionais — currículos de treinamento, engenharia de recompensa, demonstrações humanas. Em vez disso, roda reinforcement learning puro em mais de 64 mil ambientes paralelos. As políticas resultantes, quando destiladas para um modelo visuomotor, alcançaram 25% de sucesso zero-shot no mundo real. Contra 4% de uma Diffusion Policy treinada em 100 demonstrações humanas — uma diferença de 6x, sem precisar de um único dado humano.

O Raio-X das 5 Inovações

Para ajudar a visualizar o cenário completo, organizei as cinco inovações lado a lado:

Três padrões emergem dessa tabela:

1. A atenção é o novo gargalo. Todos os LLMs da lista estão atacando o custo quadrático da atenção — seja via subquadrática pura (SubQ), compressão híbrida (DeepSeek) ou atenção em espaço latente (Zyphra).
2. RL está renascendo. Não como substituto de LLMs, mas como ferramenta para domínios onde dados rotulados são escassos — descoberta de fármacos e robótica.
3. A corrida por contexto longo não é mais sobre "quem tem mais contexto". É sobre "quem consegue contexto longo com custo viável".

Reforma, Não Demolição

O Transformer não vai desaparecer. Nenhuma das inovações de maio de 2026 propõe uma arquitetura completamente nova do zero. O que elas fazem é substituir componentes específicos da arquitetura original — a atenção, o cache, a forma como os parâmetros são ativados.

SubQ substitui o núcleo quadrático por algo mais eficiente. DeepSeek injeta compressão no mecanismo de atenção. Zyphra opera em espaço latente. OmniReset e SyntheMol mostram que RL pode ser a escolha certa quando o Transformer não é.

O que une todas elas é a percepção de que a arquitetura de 2017 foi um ponto de partida, não um ponto de chegada. Nove anos depois, a indústria está finalmente levando a sério a segunda parte do título original: não apenas "Attention Is All You Need", mas atenção eficiente é tudo o que você precisa.

Para engenheiros e tomadores de decisão, a mensagem é clara: 2026 é o ano para repensar assumptions. O modelo que você escolheu em 2025 pode não ser o mais eficiente em 2027. E ficar de olho em startups como Subquadratic, em arquiteturas como CSA/HCA e em conferências como ICLR não é mais opcional — é requisito.

Fontes consultadas: SiliconAngle, SubQ.ai, WhatLLM.org, Hugging Face Blog, Sebastian Raschka Magazine, McMaster News, OmniReset, ICLR 2026 Outstanding Papers

Artigos Relacionados

Confira também: Machine Learning Explicado: Guia Completo para Iniciantes em 2026 Confira também: O Fim dos Pilotos de ML: Como as 'AI Factories' Estão Industrializando o Machine Learning nas Empresas em 2026 Confira também: World Models 2026: Adeus, Próximo Token? — O ML que Realmente Entende o Mundo Físico