DTES

Una investigadora médica sueca decidió poner a prueba los límites —y las vulnerabilidades— de los grandes modelos de lenguaje de inteligencia artificial de una manera tan ingeniosa como perturbadora: inventó una enfermedad completamente ficticia, la sembró en internet mediante estudios falsos y esperó a ver si la IA era capaz de detectar el engaño. El resultado fue un fracaso alarmante para la tecnología y una advertencia urgente para quienes confían ciegamente en los chatbots para obtener información médica.

La responsable del experimento fue Almira Osmanovic Thunström, investigadora de la Universidad de Gotemburgo, quien a principios de 2024 creó la llamada «bixonimanía», una supuesta afección cutánea causada por la irritación ocular generada por el uso prolongado de pantallas. Para dotarla de aparente credibilidad, elaboró dos estudios académicos falsos firmados bajo el nombre de un investigador inexistente: Lazljiv Izgubljenovic, un apellido que en serbio significa aproximadamente «el perdido».

Cómo fue gestándose el estudio

La idea se le ocurrió a Osmanovic Thunström cuando enseñaba a los estudiantes sobre LLMs y explicaba de dónde provenían sus datos de entrenamiento. «Fue curioso lo pocos de ellos, o cuántos incluso dentro de la IA, entienden cómo se construyen los grandes modelos de lenguaje», le cuenta a Rachel Feltman en el podcast «Science Quickly» de Scientific American.

«Así que realmente quería tener un caso claro que dejara migas de pan en todo el sistema para mostrar tanto cómo se procesan los datos, cómo se producen los datos como cómo funcionan el modelo de predicción y el modelo de entrenamiento a la hora de distribuir información», añade Osmanovic Thunström, que también es estratega de IA y responsable de innovación en Chalmers Industriteknik, una organización sueca de investigación y desarrollo.

Las señales de falsedad eran deliberadamente obvias. Uno de los estudios indicaba que había sido financiado por la «Universidad de la Comunidad de los Anillos», una referencia directa a El Señor de los Anillos. A pesar de estos guiños tan transparentes, múltiples chatbots de inteligencia artificial comenzaron a incluir la bixonimanía en sus respuestas médicas como si fuera una condición real, e incluso llegaron a citar los estudios falsos como evidencia científica irrefutable. Peor aún: al menos un artículo revisado por pares llegó a mencionar la enfermedad inventada como referencia.

El fenómeno ilustra uno de los problemas más graves de los modelos de lenguaje actuales: su tendencia a «alucinar», es decir, a presentar información falsa con total confianza cuando esta ha sido formulada en un tono académico o técnico. En el caso de la bixonimanía, el lenguaje clínico y la estructura formal de los estudios falsos bastaron para engañar a los sistemas, que no verificaron la existencia de las instituciones ni de los autores citados.

«No pensaba que los preprints, que son una especie de tabloides académicos—porque cualquier cosa puede acabar allí—se considerarían en la base de datos con tanta seriedad», cuenta Osmanovic Thunström a «Science Quickly.»

Este experimento se suma a una creciente lista de estudios que cuestionan la fiabilidad de la inteligencia artificial en contextos médicos y científicos, un campo donde la desinformación puede tener consecuencias directas sobre la salud de las personas. Los expertos coinciden en que, mientras los modelos no desarrollen mecanismos más robustos de verificación de fuentes, el uso de chatbots como sustitutos de la consulta médica profesional sigue siendo un riesgo significativo.

«Esta es una clase magistral sobre cómo funciona la desinformación y la desinformación», dice Alex Ruani, investigador de desinformación en University College London que no participó en el proyecto, a Nature. «Si el propio proceso científico y los sistemas que lo apoyan son hábiles, y no capturan y filtran fragmentos como estos, estamos perdidos.»

Diego Bastarrica es Senior Editor y Head of Content en Digital Trends en Español, donde lidera la estrategia editorial, SEO…