> ## Content Index
> Fetch the complete content index at: https://nanogiga.online/llms.txt
> Use this file to discover other available public pages before exploring further.

# BaGuaLu-2 transforma memória de treino de IA em controle contínuo
- URL: https://nanogiga.online/sistemas/bagualu-2-memoria-flexivel-treinamento-moe/
- Published: 2026-10-19T15:00:00.000Z
- Updated: 2026-10-22T17:18:45.000Z
- Description: Preprint de Tsinghua e Qingcheng.AI troca alocação estática por controle fino de memória e treina MoE de 1.040 bi de parâmetros em 12.288 GPUs.
- Author: nanoGiga
- Tags: Sistemas

Treinar modelos gigantes de Mixture-of-Experts (MoE) em clusters de dezenas de milhares de GPUs esbarra num problema que não é de falta de memória, mas de oscilação: em cerca de 2,9% das iterações de treino, o roteamento dinâmico dos tokens concentra carga demais em alguns especialistas, e a memória de ativações pica até derrubar o processo com um erro de out-of-memory. Um preprint divulgado no fim de semana no [arXiv](https://arxiv.org/abs/2610.23064?ref=nanogiga.online) — ainda não revisado por pares — apresenta o BaGuaLu-2, sistema que transforma o provisionamento de memória de uma escolha única tomada antes do treino em um controle contínuo, feito a cada lote. Com isso, a equipe — de Tsinghua, da Qingcheng.AI e da Universidade de Ciência e Tecnologia de Pequim — treinou um modelo de 1.040 bilhões de parâmetros em 12.288 GPUs, sustentando mais de 2 EFlops com 35% de MFU.

## O dilema estático

Os sistemas atuais precisam escolher entre dois regimes ruins. Superprovisionar memória — gastar mais recomputação e mais folga — evita o crash, mas deixa as GPUs com capacidade ociosa quase todo o tempo: numa medição do artigo, um treino de um MoE de 423 bilhões de parâmetros em 512 GPUs, configurado para o caso conservador, sustentou apenas 24,6% de MFU. Subprovisionar para o caso médio eleva o MFU a 30%, mas nas iterações com pico o trabalho morre — e cada reinício a frio custou 284 segundos, dezesseis vezes uma iteração normal, sem contar a intervenção humana.

A raiz do incômodo é arquitetural. Peso e estados do otimizador podem ser fatiados entre dispositivos (como faz o ZeRO), e ficam estáveis; a memória de ativações, não: com roteamento fino — modelos como o DeepSeek-V3 ativam 8 de 256 especialistas por token, e o Kimi-k2, 8 de 384 —, cada micro-lote que cai mais que o previsto em poucos especialistas incha as ativações das GPUs que os hospedam. As medições da equipe mostram 97,1% das iterações abaixo de 1,2× de desequilíbrio, mas picos esporádicos de até 2,6×.

## Por que o pico é inevitável

Os autores argumentam, em quatro passos, que o pico não é bug de nenhum algoritmo de balanceamento: o roteamento por token tem ruído amostral inevitável; um micro-lote cuja distribuição de tokens favorece poucos especialistas desequilibra o lote seguinte (é propriedade dos dados, e qualquer correção chega tarde demais); com poucos especialistas por GPU, o desequilíbrio vira concentração local de memória; e, no aquecimento do pipeline, vários lotes encadeados acumulam ativações antes que qualquer retropropagação os libere. Como evidência, mostram que dois modelos em produção com algoritmos de roteamento diferentes — DeepSeek-V3.1-Terminus e GLM-4.7 — distribuem carga de forma sistematicamente distinta entre domínios de tarefa, do desenvolvimento de apps à análise de dados.

## Controle contínuo, orçamento por lote

A resposta do BaGuaLu-2 é tratar a alocação como um problema de controle a cada instante. Um modelo de custo prevê, para cada operador, o par (tempo, variação de memória); um modelo estilo roofline calcula a "banda de mitigação" — quanto de memória cada estratégia (recomputação, offload para a CPU ou quantização) economiza por segundo de sobrecarga. No momento de escalonar, o sistema atribui a cada micro-lote um orçamento consciente da fase do pipeline, escolhe estratégia por operador com um algoritmo guloso (incluindo checagens de conflito, como o mesmo tensor salvo em duas precisões), e adia a decisão final até o gate do MoE revelar o desequilíbrio real daquele lote. Por fim, uma execução "dual-batch" intercalada com programação dinâmica esconde a sobrecarga da mitigação nas bolhas de hardware do pipeline.

## 12.288 GPUs, 35% de MFU

No teste de escala, o sistema treinou o modelo de 1.040 bilhões de parâmetros pelos 12.288 GPUs com estabilidade e pico de desempenho — 1,14× de vazão média sobre o Megatron-Kuai e 1,13× sobre o AdaPipe, os dois estados da arte comparados — mantendo o MFU em 35% mesmo sob pressão variável de memória. O ganho é a prova de conceito de uma tese de sistemas: em cargas cuja demanda oscila, a alocação estável é sempre o erro de maior custo — o que vale para treinar MoEs gigantes e, os autores sugerem, para qualquer runtime que administre memória sob demanda.

## Fontes

1. arXiv — "BaGuaLu-2: Taming Dynamic Memory Fluctuation for Efficient MoE Model Training over 10,000 GPUs" (Zhai, M. et al., 10 autores, Tsinghua University / Qingcheng.AI / USTB), preprint, 18/10/2026\. arXiv:2610.23064.