El acceso a un asistente de IA construido sobre informes del Banco Mundial no ahorró tiempo significativo

EnglishEspañolFrançaisPortuguês

Traducción automática del original en inglés, publicada sin revisión humana. En caso de duda, prevalece el inglés. Si un fragmento suena mal, selecciónelo y márquelo al final de la página.

Los profesionales de las políticas públicas necesitan datos fiables, pero los modelos de IA de uso general inventan información con frecuencia. Para abordar las carencias en humildad epistémica¹ y en evidencia recogida en condiciones reales², unos investigadores construyeron AVA, un asistente de IA restringido a una biblioteca curada de informes del Banco Mundial. El sistema descompone las preguntas, busca en el texto y redacta respuestas con citas en las que se puede pinchar para llegar a la página. Si no encuentra evidencia suficiente, se niega a responder. Los investigadores desplegaron la herramienta durante cinco meses entre más de 2.200 profesionales de 116 países. Analizaron los registros del sistema, encuestaron a los usuarios y entrevistaron a 20 participantes para medir la confianza, la abstención, la incorporación de la herramienta a sus propias rutinas de trabajo, y el tiempo ahorrado.

La tasa de rechazo del sistema cayó de entre 40 y 70 por ciento en sus primeras semanas a menos de 10 por ciento después de que los investigadores ampliaran la biblioteca de unos 50 informes a más de 4.000. Los investigadores repartieron a los inscritos de forma aleatoria, en una proporción 80:20, entre un grupo con acceso y un grupo de control. Si bien las estimaciones de diferencias en diferencias asocian el uso en varias sesiones con entre 1,8 y 3,3 horas ahorradas más por semana, declaradas por los propios usuarios, frente al uso en una sola sesión, con significación estadística solo al nivel del 10 por ciento, el experimento más amplio no halló ahorros de tiempo significativos para el conjunto del grupo que recibió acceso. Los usuarios confiaban en el sistema porque citaba páginas concretas y admitía cuándo le faltaba información, aunque a algunos les resultaron irritantes sus rechazos secos. Como el 83,8 por ciento de las consultas fueron en inglés, el estudio aporta poca evidencia sobre cómo se comporta la herramienta en otros idiomas. Los autores sostienen que las herramientas de IA especializadas deberían derivar a los usuarios hacia modelos generales cuando una pregunta queda fuera de su biblioteca verificada.

Que un sistema de IA diga que no conoce una respuesta es una medida del tamaño de su base documental y no de una capacidad cognitiva. El sistema puede negarse a responder porque una biblioteca documental cerrada tiene un borde definido. Cuando una IA funciona sin un corpus delimitado, no tiene borde alguno con el que medirse, lo que deja sin resolver si este mecanismo de rechazo puede funcionar en la web abierta.

Los enlaces de hoy: Enlaces varios para el 6 de septiembre de 2026.

Tiago C. Peixoto · English original · About