Un estudio demostró que la IA no está lista para reemplazar a los científicos en investigación original

Un estudio del proyecto CRUX determinó que los agentes de inteligencia artificial todavía no pueden realizar investigación científica original de manera autónoma: aunque ya escriben código, ejecutan experimentos y rastrean literatura académica, el salto hacia trabajos abiertos sin intervención humana sigue fuera de su alcance, según informó el portal especializado TechXplore .

La prueba fue exigente y, aun así, el resultado fue pobre.

Tras seis días de trabajo con acceso completo a internet, capacidad de cómputo dedicada y cerca de USD 3.000 en créditos para usar modelos, los sistemas entregaron artículos que recibieron calificaciones de rechazo inequívocas: 2/6 y 1/6 en la evaluación general hecha por revisores humanos.

El trabajo, publicado en el servidor de preprints arXiv , evaluó la capacidad de la IA para desarrollar investigación abierta , una tarea distinta de responder preguntas cerradas o resumir información existente.

Conforme al portal, esa clase de trabajo exige formular hipótesis, rediseñar experimentos ante resultados adversos y sostener un razonamiento científico consistente.

La iniciativa contó con la participación de investigadores de la Universidad de Princeton, el UK AI Security Institute , la Universidad de Toronto , la Universidad de California en Berkeley , la Universidad de Georgetown , la Universidad Johns Hopkins y la Universidad de Stanford , entre otras instituciones.

Agentes abordaron temas nuevos, pero no publicables Los autores del estudio pusieron a prueba herramientas de frontera , descritas como sistemas diseñados para ejecutar tareas complejas y de varios pasos de forma autónoma.

Para ello, les entregaron dos trabajos de conferencias de IA que en ese momento aún no habían sido publicados.

La decisión buscó impedir que los modelos encontraran respuestas ya disponibles en línea.

Los temas asignados fueron dos: la estructura y controlabilidad de las personas de los modelos de lenguaje, y el diseño de un detector de cambios de distribución en modelos fundacionales tabulares.

Una vez terminado el plazo, investigadores humanos revisaron los artículos generados por la IA con el mismo criterio usado para trabajos enviados a una conferencia de primer nivel en inteligencia artificial.

El resultado fue claro: los agentes comprendieron las preguntas de investigación y propusieron algunas líneas cercanas a las de los investigadores originales, pero fallaron en el razonamiento científico.

Los diseños experimentales fueron débiles y, frente a retroalimentación negativa, tendieron a añadir salvedades sobre hallazgos previos en lugar de replantear sus estudios.

La evaluación de los revisores fue especialmente dura.