Hasta el momento, la mayoría de los detectores de inteligencia artificial buscan señales en la prosa: elecciones de palabras, regularidades y patrones estadísticos. Sin embargo, esa estrategia se enfrenta a una realidad cada vez más habitual: una persona puede pedir a un modelo de IA que redacte sus ideas, mientras que otra puede reescribir un argumento concebido por una IA. ¿Cómo determinar cada caso con exactitud?

Un equipo de investigadores ha desarrollado IdeaLens, un sistema que busca resolver ese problema y que se describe en un estudio publicado en arXiv. En lugar de examinar directamente el texto, la herramienta lo convierte en un esquema: una lista de ideas resumidas y etiquetadas según la función que cumplen, como presentar una afirmación o desarrollar un argumento.

Las descripciones se reformulan para reducir la coincidencia con las palabras originales. A continuación, un clasificador analiza el esquema para estimar si las ideas proceden de una persona o de un modelo generativo de inteligencia artificial, según informa Science.

El método se entrenó con un millón de documentos de la web: el equipo no disponía de ejemplos verificados sobre quién había concebido cada idea. Las etiquetas de origen humano o artificial procedían de Pangram, un detector centrado en la prosa. Los autores aprovecharon esas etiquetas para entrenar IdeaLens sobre esquemas: el objetivo era que, al eliminar parte del estilo y del vocabulario, el sistema tendría que aprender principalmente de la estructura y el contenido de las ideas.

En 19 evaluaciones externas, IdeaLens detectó una media del 91,1 % de los documentos creados por IA, cuando tanto las ideas como la redacción eran artificiales. La tasa de falsos positivos fue del 0,6 %: esa proporción de textos humanos se clasificó erróneamente como generada por una máquina.

La detección superó a otros sistemas abiertos comparados en el estudio, aunque con una tasa de falsos positivos algo mayor que uno de los competidores. El aporte principal de IdeaLens no es detectar con mayor precisión el texto artificial, sino responder a una pregunta distinta: ¿el texto proviene de argumentos creados por humanos o por máquinas?

IdeaLens analiza la estructura del pensamiento en los textos y plantea una nueva forma de distinguir las creaciones humanas de las generadas por máquinas. / Crédito: Andrea De Santis en Unsplash.

Los experimentos con autoría mezclada parecen ser los más contundentes y problemáticos al mismo tiempo. En una prueba, los investigadores hicieron que algunos modelos de IA redactaran documentos a partir de planes humanos cada vez más detallados. Cuanto más contenido aportaba la persona al esquema inicial, IdeaLens reducía en mayor medida el porcentaje de textos clasificados como artificiales: la tasa cayó del 94,9 % al 6,8 %.

Por otro lado, un detector tradicional siguió marcando como IA más del 86 % de esos textos. En otro experimento, 50 relatos fueron escritos por personas siguiendo esquemas extraídos de historias generadas por IA. IdeaLens identificó como artificiales el 68 % de esos relatos, pese a que la redacción era humana: un detector de prosa similar solo señaló el 8 %.

El sistema también obtuvo resultados positivos en una prueba con documentos de 24 idiomas, pese a haberse entrenado en inglés. Además, el análisis de 90.000 predicciones apunta a diferencias recurrentes: las ideas clasificadas como artificiales tendían a incluir cifras o métodos sin contexto suficiente, o afirmaciones más amplias de lo que permitían las pruebas.

Las valoradas como humanas, en cambio, incorporaban con más frecuencia fuentes concretas, limitaciones y cuestiones abiertas. Vale destacar que se trata de patrones estadísticos, no de reglas infalibles ni de una explicación definitiva de cómo piensa una persona o una máquina.

Por ejemplo, en una prueba de paráfrasis exigente, el rendimiento de IdeaLens cayó, y el experimento con relatos humanos basados en ideas artificiales demuestra que tampoco acierta en todos los casos. A pesar de esto, IdeaLens desplaza el debate desde la huella lingüística hacia la procedencia intelectual, un concepto que puede enriquecer las controversias sobre autoría en un escenario ya dominado por la inteligencia artificial.

Fuente: Levante - EMV