Y siguen las citas inventadas por la IA causando revuelo en el ambito científico

Revistas académicas están citando artículos inventados por la IA

https://es.rollingstone.com/
Por MILES KLEE

La creciente aparición de citas a literatura falsa pone en riesgo la credibilidad de la investigación académica

Getty Images

El segundo semestre escolar del año terminaba y Andrew Heiss, profesor asistente del Departamento de Gestión y Política Pública de la Universidad Estatal de Georgia, se encontraba calificando trabajos de sus estudiantes. Mientras revisaba, notó algo que llamó fuertemente su atención.

Como ya es habitual hoy en día, el maestro verificaba las citas de los trabajos para comprobar que remitieran a fuentes reales y no a unas inventadas por alguna IA. Y, como era de esperarse, encontró que algunos alumnos usaron inteligencia artificial generativa para hacer trampa: estos sistemas no solo ayudan a redactar textos, también pueden fabricar supuestas pruebas si se les solicita respaldo, atribuyendo datos a artículos que dicen haber sido publicados. Pero, tal como ha ocurrido con abogados que presentan escritos basados en precedentes legales generados por IA, los estudiantes terminan entregando bibliografía muy convincente que apunta a revistas y estudios académicos que, en realidad, no existen.

Esta práctica no era nueva. Lo alarmante fue lo que Heiss descubrió después: este tipo de citas ya circula en investigaciones académicas profesionales. Al buscar esas fuentes en Google Académico, encontró decenas de artículos reales que citaban versiones apenas modificadas de los mismos estudios y revistas inexistentes.

“Se han presentado muchos casos de artículos generados con IA, y por lo general se detectan y se retiran rápido”, le dice Heiss a ROLLING STONE. Como ejemplo, menciona un estudio retirado a comienzos de este mes que analizaba cómo un modelo de IA podría mejorar los diagnósticos de autismo y que incluía una infografía sin sentido, creada también con una herramienta que convierte el texto en imagen. “Pero este caso, con una revista completamente inventada, es un poco diferente”, señala.

Esto ocurre porque los artículos que incluyen referencias a investigaciones inexistentes, los que no son detectados ni retirados por el uso de IA, terminan siendo citados por otros trabajos, lo que en la práctica “blanquea” esos errores. Así, estudiantes y académicos —y también los modelos de lenguaje a los que piden ayuda— empiezan a tomar esas supuestas fuentes como confiables sin comprobar si realmente existen. Cuantas más veces se repiten estas citas falsas de un artículo a otro, más se refuerza la ilusión de que son auténticas. Para los bibliotecarios especializados en investigación, el problema ya es una pesadilla: algunas estimaciones indican que pierden hasta el 15% de su tiempo atendiendo solicitudes de publicaciones que no existen y que ChatGPT o Gemini mencionan como si fueran reales.

Heiss también notó que los textos generados por IA podían resultar muy convincentes para quien los lee porque incluyen nombres de académicos reales y títulos que se parecen mucho a los de trabajos existentes. En algunos casos, descubrió que la cita llevaba a un autor verdadero, pero tanto el título del artículo como la revista eran inventados, simplemente eran parecidos a sus publicaciones anteriores y a revistas reales que tratan esos temas. “Ese contenido termina circulando en trabajos reales, así que los estudiantes, al verlo citado en artículos legítimos, asumen que es verdadero y no entienden por qué se les restan puntos por uso de fuentes falsas cuando otros textos ‘reales’ también las tienen. Todo parece auténtico”, explica.

Desde que los modelos de lenguaje se volvieron herramientas cotidianas, muchos académicos han advertido que pueden debilitar nuestra relación con los datos al inundar el campo con contenido falso. La psicóloga y científica Iris van Rooij ha señalado que la aparición de este “relleno” generado por IA en los recursos académicos no predice otra cosa que “la destrucción del conocimiento”. En julio, firmó una carta junto con otros especialistas en la que pidieron a las universidades no dejarse llevar por la emoción del momento y la publicidad para “proteger la educación superior, el pensamiento crítico, la experiencia académica, la libertad intelectual y la integridad científica”. En el documento, los autores denunciaron que algunas instituciones han presionado a los docentes para usar IA o permitirla en clase, y exigieron un análisis mucho más riguroso sobre si estas herramientas pueden tener o no un papel en verdad útil en la educación.

El ingeniero de software Anthony Moser fue uno de los que anticipó cómo los chatbots podrían terminar deteriorando a las instituciones educativas. “Me imagino a un profesor armando un syllabus con ChatGPT y asignando lecturas de libros que no existen”, escribió en Bluesky en 2023, menos de un año después de que apareciera el modelo de IA. “De todas formas, los estudiantes no se darán cuenta porque le pedirán a ChatGPT que les resuma el libro o les escriba el ensayo”. Este mes, Moser volvió a compartir ese mensaje y añadió: “Ojalá hubiera tardado más en volverse realidad”.

En entrevista con ROLLING STONE, Moser dice que incluso hablar de que los modelos de lenguaje “inventan” publicaciones ficticias es restarle magnitud al verdadero riesgo que representan, porque ese término “hace pensar que es un error frente a cómo funciona realmente”. Para él, los chatbots “siempre están inventando”. “No es un fallo”, explica. “Un modelo predictivo genera texto: a veces acierta y a veces no, pero el proceso es exactamente el mismo en ambos casos. Dicho de otro modo, los modelos de lenguaje no distinguen estructuralmente entre la verdad y la mentira”.

“Los modelos de lenguaje son peligrosos porque están contaminando el ecosistema de la información desde el origen”, añade. “Las citas falsas aparecen primero en investigaciones poco serias y, a partir de ahí, pasan a otros artículos y luego a más trabajos, hasta que el error se normaliza”. El ingeniero compara este contenido con sustancias químicas dañinas y persistentes: “son difíciles de encontrar y de filtrar, incluso cuando intentas evitarlas”. Para él, se trata de “una consecuencia totalmente previsible de decisiones tomadas a conciencia”, pero quienes advirtieron del problema fueron completamente ignorados.

Pero la IA no tiene toda la culpa. “La mala investigación no es algo nuevo”, señala Moser. “Los modelos de lenguaje han hecho el problema mucho más grande, pero ya existía una enorme presión por publicar y producir. Eso llevó a que circularan muchos trabajos deficientes, con datos dudosos o incluso falsos. La educación superior se ha organizado alrededor de ‘producir conocimiento’ medido en citas, congresos y subvenciones”.

Craig Callender, profesor de filosofía en la Universidad de California en San Diego y presidente de la Asociación de Filosofía de la Ciencia, coincide con esa idea, apuntando que “la aparente credibilidad a revistas que no existen es, en el fondo, el resultado lógico de una tendencias que ya venían de antes”. También explica que hoy en día ya existen revistas que aceptan artículos falaces por dinero, o investigaciones escritas a conveniencia para favorecer a ciertas industrias. “El ‘pantano’ de la publicación científica está creciendo”, advierte. “Hay muchas prácticas que hacen que revistas o artículos que no son legítimos parezcan confiables. Así que pasar de eso a revistas que directamente no existen es algo aterrador, pero no tan sorprendente”.

Sumar la IA a la ecuación hace que ese “pantano” crezca todavía más rápido, dice Callender. “Por ejemplo, todo esto se agrava de una forma casi irreversible con las búsquedas de Google asistidas por IA. Esas búsquedas solo refuerzan la idea de que estas revistas existen mientras que aumentan la desinformación”, afirma.

Todo esto contribuye a que muchos investigadores sientan que están siendo sepultados por una avalancha de contenido basura, sin tener realmente la capacidad de revisarlo todo con cuidado. “Ha sido muy desalentador para los profesores, sobre todo cuando el contenido falso termina, por error, integrado en bases de datos públicas de investigación”, dice Heiss. “Es muy difícil volver hacia atrás en la cadena de citas para encontrar de dónde salió una afirmación”.

Por supuesto, muchos ni siquiera lo intentan, y por eso este material falso se ha difundido tanto. Es casi como si el uso descuidado de la IA nos hubiera vuelto más confiados de la cuenta, debilitando el pensamiento crítico justo en el momento en que más deberíamos estar atentos a sus riesgos. De hecho, puede que ahora mismo alguien esté trabajando en un estudio —real— sobre ese mismo fenómeno.

Read more...