Rodar um modelo Transformer grande num único dispositivo de borda é, em geral, inviável — e a alternativa óbvia, repartir o modelo entre vários aparelhos vizinhos, esbarra num muro que não é de computação, e sim de comunicação. Um preprint divulgado no fim de semana no arXiv — ainda não revisado por pares — por pesquisadores da Universidade de Aalborg, na Dinamarca, ataca exatamente esse gargalo. O framework proposto, chamado TRACE (Transformer Residual Activation Codebook Encoding), reduz em até 22.624 vezes o volume de dados trocados entre dispositivos numa inferência distribuída — e ainda acelera o processo de ponta a ponta.

O gargalo escondido na inferência paralela

A ideia de "dispositivos co-localizados" é simples: aparelhos vizinhos — placas de borda num mesmo rack, robôs numa mesma célula, eletrônicos numa mesma sala — se unem para rodar um modelo grande demais para qualquer um deles sozinho. Na chamada paralelização por sequência, cada dispositivo do ensemble processa um pedaço diferente do token stream, e as ativações resultantes precisam ser intercambiadas a cada camada do Transformer, de dispositivo em dispositivo, para que a próxima etapa da rede possa continuar. Sob a banda disponível em hardware de borda comum, esse intercâmbio domina o tempo de inferência: enquanto os dados viajam, as Unidades de Processamento ficam ociosas.

Esquemas de compressão existentes diminuem os bytes na rede, mas mantêm um gargalo estrutural: o dado recebido ainda precisa passar pela projeção que gera chaves e valores (K/V) antes que a atenção possa seguir — ou seja, a computação continua enfileirada atrás da comunicação. "O receptor não escapa de refazer trabalho a cada mensagem", resumem os autores.

Índices no lugar de vetores

A sacada do TRACE é eliminar essa recomputação com um dicionário. O framework instala um quantizador vetorial (VQ) no resíduo pós-atenção de cada camada e pré-computa representações de K/V indexadas pelo codebook. Na inferência, as ativações trocadas entre dispositivos viram índices compactos de codebook: quem recebe recupera chaves e valores por simples consulta à tabela, em vez de executar as projeções que os gerariam. O cálculo deixa de depender do dado que chega — o que permite sobrepor comunicação e computação e destrava o pipeline.

Bitrate adaptável sem retreino

O codebook é organizado por clusterização hierárquica numa estrutura multirresolução, permitindo ajustar a taxa de comunicação em tempo de execução — mais precisão quando a rede permite, menos bytes quando ela aperta — sem novo treinamento. O framework oferece ainda dois modos de operação: um que prioriza a precisão e outro que a equilibra com eficiência via quantização compatível com buffers.

Números e contexto

Nos experimentos, com ViT-Base no ImageNet-1K e no CIFAR-100 e com o ViViT-B no UCF-101, o TRACE ficou até 1,89 ponto de precisão acima do estado da arte de inferência distribuída baseada em VQ — e entregou aceleração de ponta a ponta de até 1,27× sobre esse mesmo rival. O número que chama atenção, porém, é a comparação com a inferência paralela por sequência sem compressão: até 22.624 vezes menos sobrecarga de comunicação.

Se o resultado se sustentar na revisão por pares e se transferir dos Transformers de visão testados para os modelos de linguagem, o caminho passa a existir para carregar redes grandes em conjuntos de hardware barato — um contraponto local à alternativa padrão de hoje, que é delegar a inferência à nuvem.

Fontes

  1. arXiv — "TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference" (Qazi, M. A.; Iosifidis, A.; Zhang, Q. — Universidade de Aalborg), preprint, 18/10/2026. arXiv:2610.22435.