SSD não é o gargalo da IA: pesquisa da UNT refaz caminho de I/O
Quando um servidor de LLM reusa o cache de chave-valor (KV) para pular o pré-processamento de um prefixo conversacional, o que custa caro: o SSD onde o cache mora ou o caminho de software que leva os dados de volta à GPU? Um preprint publicado nesta sexta-feira (16/10/2026) no arXiv — ainda não revisado por pares — responde com uma medição: na configuração estudada, o SSD não é o gargalo. O custo está na pilha de armazenamento, que cobra por objeto lógico o que deveria cobrar por byte.
A pesquisa é de Dingsen Shi e colegas da University of North Texas, em parceria com a SageShield Co., Ltd. O mesmo grupo publicou no mesmo dia um estudo companheiro dedicado ao LMCache, sistema de código aberto que faz esse offload em produção.
O contexto: o cache que não cabe mais na memória
Servidores de inferência guardam o estado KV de cada conversa para não recomputar o prefixo a cada mensagem. Com contextos crescentes, esse estado estoura a memória HBM da GPU, depois a DRAM da CPU — e acaba em SSDs NVMe, o terceiro nível da hierarquia. Restaurar esse prefixo passa a ficar no caminho crítico do tempo até o primeiro token (TTFT): a resposta não começa enquanto o histórico não volta à placa gráfica.
O experimento: mesmos bytes, tempos diferentes
Os autores mediram a restauração de uma carga fixa de 6 GiB de KV. Como 192 objetos, o trabalho leva 2,1 segundos; como 6.144 objetos, sobe para 3,0 segundos — e ainda mais no carregamento camada a camada. Os bytes são os mesmos; o que multiplica é a contagem de objetos.
A razão é que toda camada da pilha de armazenamento — busca, alocação, submissão de I/O, entrega à GPU, armazenamento e indexação — cobra um custo por objeto lógico. Contextos mais longos, modelos mais profundos e paralelismo de tensores multiplicam a quantidade de objetos, e o custo cresce junto. Sistemas anteriores, observam os autores, apenas migram esse trabalho por objeto da CPU para a GPU: o trabalho continua sendo por objeto.
Range: custos por byte, nunca por objeto
A resposta do grupo é o Range, um motor de armazenamento de KV-cache para vLLM e LMCache construído sobre um princípio único: todo custo no caminho de armazenamento deve escalar com bytes ou lotes físicos, nunca com objetos lógicos.
Na prática, três peças: "tickets" que trocam a busca por chave por metadados de token e arrendamentos físicos; faixas de bytes que tornam o layout em mídia independente da granularidade de reuso; e bancos de transferência à GPU que agrupam entregas e liberam cada camada para a atenção assim que ela chega. O Range mantém o caminho cuFile do kernel e, segundo o paper, muda quatro linhas do vLLM.
Os números: numa restauração fixa de 6 GiB, o TTFT mediano do Range fica estável em 1,79 a 1,80 segundo ao longo de uma faixa de 32 vezes na contagem de objetos, a até 70 milissegundos do cenário em que o prefixo já está residente na GPU — enquanto o LMCache ajustado sobe de 2,12 para 3,01 segundos. No carregamento camada a camada, o Range é 447 ms mais rápido que o melhor caminho nativo (I/O direto) e 876 ms mais rápido que o cuFile em processo.
Radiografia de um problema novo para sistemas clássicos
O estudo companheiro, também no arXiv (2610.21249), caracteriza o comportamento do LMCache ao nível de dispositivo de blocos sob cargas reais de múltiplas sessões — mais de 100 requisições sem estado por carga, cobrindo combinações de contexto e prompt repetidos e distintos. Juntos, os dois preprints documentam uma realidade nova para quem projeta sistemas operacionais: a infraestrutura de IA está esticando a hierarquia de memória e os caminhos de I/O do Linux além do que a pilha clássica previa — e o gargalo migrou de volta para o software.
Fontes
- arXiv — "Range: Decoupling KV-Cache Reuse Granularity from Storage Work", 16/10/2026. arXiv:2610.21241 (preprint, ainda não revisado por pares). https://arxiv.org/abs/2610.21241
- arXiv — "Characterizing Predictability-Latency Trade-offs of KV-Cache SSD Offloading in LMCache for LLM Serving Systems", 16/10/2026. arXiv:2610.21249 (preprint, ainda não revisado por pares). https://arxiv.org/abs/2610.21249