O acesso a um assistente de IA construído sobre relatórios do Banco Mundial não economizou tempo significativo

EnglishEspañolFrançaisPortuguês

Tradução automática do original em inglês, publicada sem revisão humana. Em caso de dúvida, o inglês prevalece. Se um trecho soar errado, seleccione-o e sinalize-o no fim da página.

Profissionais de políticas públicas precisam de fatos confiáveis, mas modelos de IA de uso geral frequentemente inventam informações. Para tratar de lacunas em humildade epistêmica¹ e em evidências obtidas em condições reais², pesquisadores construíram o AVA, um assistente de IA restrito a uma biblioteca curada de relatórios do Banco Mundial. O sistema decompõe as perguntas, busca no texto e redige respostas com citações clicáveis que remetem à página. Se não encontra evidência suficiente, recusa-se a responder. Os pesquisadores disponibilizaram a ferramenta durante cinco meses para mais de 2.200 profissionais em 116 países. Analisaram registros do sistema, aplicaram questionários aos usuários e entrevistaram 20 participantes para medir confiança, abstenção, a incorporação da ferramenta à própria rotina de trabalho, e o tempo economizado.

A taxa de recusa do sistema caiu de algo entre 40 e 70 por cento nas primeiras semanas para menos de 10 por cento depois que os pesquisadores ampliaram a biblioteca de cerca de 50 relatórios para mais de 4.000. Os pesquisadores distribuíram os inscritos aleatoriamente, na proporção 80:20, entre um grupo com acesso e um grupo de controle. Embora estimativas de diferenças em diferenças associem o uso em várias sessões a 1,8 a 3,3 horas economizadas a mais por semana, declaradas pelos próprios usuários, em comparação com o uso em uma única sessão, com significância estatística apenas ao nível de 10 por cento, o experimento mais amplo não encontrou ganho de tempo significativo para o conjunto do grupo que recebeu acesso. Os usuários confiavam no sistema porque ele citava páginas específicas e admitia quando lhe faltava informação, ainda que alguns tenham achado irritantes as recusas secas. Como 83,8 por cento das consultas foram em inglês, o estudo oferece pouca evidência sobre como a ferramenta se comporta em outros idiomas. Os autores argumentam que ferramentas de IA especializadas deveriam encaminhar os usuários a modelos gerais quando uma pergunta escapa à sua biblioteca verificada.

Um sistema de IA que diz não saber uma resposta é uma medida do tamanho de sua base de documentos e não de uma capacidade cognitiva. O sistema consegue recusar-se a responder porque uma biblioteca fechada de documentos tem uma borda definida. Quando uma IA opera sem um corpus delimitado, não tem borda alguma contra a qual se medir, o que deixa em aberto se esse mecanismo de recusa consegue funcionar na web aberta.

Os links de hoje: Links diversos para 6 de setembro de 2026.

Tiago C. Peixoto · English original · About