Perguntar duas vezes à mesma pessoa quanto risco ela aceita correr ao investir costuma gerar duas respostas diferentes. Um preprint divulgado no fim de semana no arXiv — ainda não revisado por pares — mediu o que acontece quando quem recebe essa oscilação é um conselheiro financeiro movido por inteligência artificial: alterando apenas a resposta do cliente à pergunta de tolerância ao risco, a carteira recomendada por sete grandes modelos de linguagem variou, em média, de 10,5 a 16,3 pontos percentuais em ações — e chegou a se mover entre 24 e 35 pontos para os clientes cuja resposta de fato mudou.

A auditoria é de Soovadeep Bakshi, Apurba Bose, Aishwarya Bose e Sandip Nandi, e parte de um problema que a regulação de investimentos já reconhece: o conselho precisa ser adequado ao perfil do cliente, e o perfil, na prática, deriva em boa medida de uma única pergunta sobre disposição a arriscar. Se essa resposta é ruidosa, o conselho herda o ruído.

Uma resposta que ninguém repete

A matéria-prima do estudo são dados de reteste com pessoas reais. No painel 2007–2009 do Survey of Consumer Finances, o levantamento de finanças dos domicílios do Federal Reserve dos EUA, 3.712 domicílios responderam duas vezes à mesma pergunta de risco — e 41% escolheram uma resposta diferente dois anos depois, com correlação de reteste de 0,47. Num segundo conjunto, o reteste de laboratório Basel–Berlim, aplicado seis meses depois e sem nenhuma crise no meio do caminho, um terço das pessoas se moveu dois ou mais pontos numa escala de 0 a 10; na amostra de 171 pessoas usada na auditoria, 36% se moveram tanto.

Em outras palavras: a resposta à pergunta de risco é uma medição imperfeita de uma atitude real — e um conselheiro que a trate como medida exata transfere esse erro direto para a carteira.

O teste: a mesma pessoa, em dias diferentes

Os pesquisadores montaram 800 perfis reais de domicílios do painel do Federal Reserve — idade, escolaridade, renda, patrimônio e a resposta de risco de 2007 — e criaram para cada perfil uma versão gêmea que difere em um único dado: a resposta de 2009 da mesma pessoa. Sete modelos de cinco provedores (Claude Sonnet 5.5, Claude Haiku 5.5, GPT-6.1 Sol, GPT-6 Luna, Gemini 3.8 Flash, Grok 4.7 e Mistral Large 4) receberam os dois perfis, um por vez, com o pedido de devolver em formato JSON a porcentagem recomendada em ações. No total, a auditoria reúne 77.014 respostas dos modelos.

O resultado mais limpo é a separação entre ruído de entrada e ruído de sorteio. Repetir o mesmo prompt duas vezes muda o conselho em apenas 0,6 a 4,2 pontos — mas trocar só a resposta de risco o desloca, em média, de 10,5 (Claude Sonnet 5.5) a 16,3 pontos (Mistral Large 4). Entre 23% e 35% dos domicílios viram a recomendação mudar em 20 pontos ou mais. Como referência externa, os autores estimam que um nível a mais na resposta de risco se associa, nas aplicações reais dos próprios domicílios, a cerca de 10,4 pontos de diferença na parcela em ações — os modelos reagem de 1,9 a 2,7 vezes mais forte que isso. No reteste de seis meses, a nota de 0 a 10 sozinha moveu o conselho em 11,2 a 17,7 pontos.

O que estabiliza o conselho

Os remédios testados vêm com efeitos colaterais. Avisar o modelo de que a resposta é ruidosa acalma alguns modelos, mas desloca o peso da decisão para a idade do cliente e puxa os mais cautelosos para uma alocação genérica no meio: quem declara não aceitar risco nenhum passa a receber 22% em ações, em vez de 4%. Dizer o oposto — que a resposta é muito confiável — quase não muda a sensibilidade de cinco dos sete modelos, que mantêm de 0,96 a 1,00 da inclinação original; os dois Claude reduzem um pouco (0,89 e 0,77). Pela teoria clássica dos testes, que manda descontar a resposta pela sua confiabilidade medida, a atitude correta seria manter apenas 0,33 da sensibilidade — o que cortaria a oscilação por um fator de 2,4 a 3,3.

O degrau mais eficaz é também o mais simples: uma pergunta de esclarecimento. Numa versão em que o cliente corrige a própria resposta durante a conversa, a oscilação caiu de 33,5 para 1,9 pontos, sem enfraquecer a resposta do modelo quando o cliente confirma a mudança. A oscilação é maior para clientes com menos de 40 anos — justamente o público mais propenso a pedir conselho a um chatbot.

Auditoria de reteste como padrão

A recomendação central dos autores é que provedores e reguladores adotem a "auditoria de reteste da mesma pessoa" como verificação padrão de qualquer conselheiro de IA — o código e as 77.014 respostas foram liberados para que o teste possa ser repetido em qualquer sistema. O ponto de fundo é de autonomia, não só de estatística: um cliente não consegue ver que sua carteira teria sido 20 pontos diferente se ele tivesse marcado a casa vizinha do questionário — e nenhum testador com personagens fixos perceberia isso também.

Fontes

  1. arXiv — "Same Person, Different Advice: Auditing LLM Financial Advice with Repeated Risk-Tolerance Responses" (Bakshi, S.; Bose, A.; Bose, A.; Nandi, S.), preprint, 18/10/2026. arXiv:2610.23060.