TRACE corta em 22.624× a comunicação de Transformers na borda
Rodar um modelo Transformer grande num único dispositivo de borda é, em geral, inviável — e a alternativa óbvia, repartir o modelo entre vários aparelhos vizinhos, esbarra num muro que não é de computação, e sim de comunicação. Um preprint divulgado no fim de semana no arXiv — ainda não revisado por pares — por pesquisadores da Universidade de Aalborg, na Dinamarca, ataca exatamente esse gargalo. O framework proposto, chamado TRACE (Transformer Residual Activation Codebook Encoding), reduz em até 22.624 vezes o volume de dados trocados entre dispositivos numa inferência distribuída — e ainda acelera o processo de ponta a ponta.
O gargalo escondido na inferência paralela
A ideia de "dispositivos co-localizados" é simples: aparelhos vizinhos — placas de borda num mesmo rack, robôs numa mesma célula, eletrônicos numa mesma sala — se unem para rodar um modelo grande demais para qualquer um deles sozinho. Na chamada paralelização por sequência, cada dispositivo do ensemble processa um pedaço diferente do token stream, e as ativações resultantes precisam ser intercambiadas a cada camada do Transformer, de dispositivo em dispositivo, para que a próxima etapa da rede possa continuar. Sob a banda disponível em hardware de borda comum, esse intercâmbio domina o tempo de inferência: enquanto os dados viajam, as Unidades de Processamento ficam ociosas.
Esquemas de compressão existentes diminuem os bytes na rede, mas mantêm um gargalo estrutural: o dado recebido ainda precisa passar pela projeção que gera chaves e valores (K/V) antes que a atenção possa seguir — ou seja, a computação continua enfileirada atrás da comunicação. "O receptor não escapa de refazer trabalho a cada mensagem", resumem os autores.
Índices no lugar de vetores
A sacada do TRACE é eliminar essa recomputação com um dicionário. O framework instala um quantizador vetorial (VQ) no resíduo pós-atenção de cada camada e pré-computa representações de K/V indexadas pelo codebook. Na inferência, as ativações trocadas entre dispositivos viram índices compactos de codebook: quem recebe recupera chaves e valores por simples consulta à tabela, em vez de executar as projeções que os gerariam. O cálculo deixa de depender do dado que chega — o que permite sobrepor comunicação e computação e destrava o pipeline.
Bitrate adaptável sem retreino
O codebook é organizado por clusterização hierárquica numa estrutura multirresolução, permitindo ajustar a taxa de comunicação em tempo de execução — mais precisão quando a rede permite, menos bytes quando ela aperta — sem novo treinamento. O framework oferece ainda dois modos de operação: um que prioriza a precisão e outro que a equilibra com eficiência via quantização compatível com buffers.
Números e contexto
Nos experimentos, com ViT-Base no ImageNet-1K e no CIFAR-100 e com o ViViT-B no UCF-101, o TRACE ficou até 1,89 ponto de precisão acima do estado da arte de inferência distribuída baseada em VQ — e entregou aceleração de ponta a ponta de até 1,27× sobre esse mesmo rival. O número que chama atenção, porém, é a comparação com a inferência paralela por sequência sem compressão: até 22.624 vezes menos sobrecarga de comunicação.
Se o resultado se sustentar na revisão por pares e se transferir dos Transformers de visão testados para os modelos de linguagem, o caminho passa a existir para carregar redes grandes em conjuntos de hardware barato — um contraponto local à alternativa padrão de hoje, que é delegar a inferência à nuvem.
Fontes
- arXiv — "TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference" (Qazi, M. A.; Iosifidis, A.; Zhang, Q. — Universidade de Aalborg), preprint, 18/10/2026. arXiv:2610.22435.