Un robot propone añadir una pieza a un algoritmo. El programa mejora y el robot prepara un artículo. Antes de celebrarlo, otro agente pregunta: «¿Y si quitamos esa pieza?». La mejora sigue ahí. El invento que parecía explicarla quizá no era el responsable. Esta escena imaginaria resume una pregunta de ScientistTwo: ¿puede una inteligencia artificial (IA) hacer avanzar una investigación y examinar por qué funcionó su propuesta?
El trabajo presenta un sistema de agentes que propone ideas, escribe código, realiza experimentos y revisa sus manuscritos. Sus autores reportan mejoras sobre métodos de referencia en problemas de aprendizaje automático. También evalúan los textos con revisores de IA y, en una muestra, con personas. Son pruebas diferentes: obtener una buena nota de un revisor automático no equivale a que un congreso haya aceptado el artículo.
1. La tarea empieza donde termina el método de referencia
Un algoritmo es un procedimiento para resolver una tarea. Para investigarlo, hace falta algo con lo que comparar: un método de referencia que ya se haya probado, los datos utilizados y las medidas de rendimiento. Si cambiamos todo a la vez, resulta difícil saber qué mejoró.
ScientistTwo recibe un problema definido por una persona. En la evaluación del paper, los problemas proceden de trabajos aceptados en congresos de aprendizaje automático, con sus especificaciones y código. El sistema intenta encontrar limitaciones de esos métodos y construir una alternativa que las resuelva. No empieza con una hoja en blanco ni decide por sí solo qué preguntas científicas merece investigar.
La salida buscada es un manuscrito acompañado por código y resultados. «Autónomo» describe el recorrido automatizado dentro de ese encargo y su infraestructura. No desaparecen la investigación previa, la selección humana del problema o los recursos necesarios para ejecutar las pruebas.
Fuentes de este apartado
Fuente: §3, planteamiento del problema; §4, configuración común; apéndice A.1.
2. Una explicación convincente todavía necesita una comparación
Una hipótesis dice qué cambio podría ayudar y por qué. El programa que la implementa puede fallar, mejorar solo en algunos datos o parecer mejor porque se le permitió gastar más recursos. Una cifra favorable tampoco identifica por sí sola la causa de la mejora.
Un agente de IA combina un modelo de lenguaje con herramientas para realizar acciones sucesivas. En este trabajo, distintos agentes analizan limitaciones, proponen ideas, programan o critican resultados. Dividir esas funciones permite revisar una propuesta en varias etapas, aunque los revisores también pueden equivocarse.
El reto es conectar lo que el artículo afirma con lo que el código hace. Hace falta comprobar tanto el rendimiento como las reglas de la tarea y la correspondencia entre método, resultados y explicación escrita.
Fuentes de este apartado
3. Del ajuste de un número al ciclo de investigación
El paper sitúa su propuesta dentro de una línea de agentes que automatizan programación, experimentación y redacción científica. Sus autores describen una limitación de varios enfoques anteriores: concentrarse en mejorar una única medida en una prueba concreta. Es su diagnóstico de esos sistemas, no una historia exhaustiva de la automatización de la ciencia.
Ese objetivo puede ser útil. Si necesitamos reducir el tiempo de ejecución de un programa, ajustar sus parámetros quizá sea suficiente. Pero proponer un mecanismo científico exige explicar también qué cambia, qué aporta cada componente y dónde deja de funcionar.
ScientistTwo busca unir esas tareas. El apéndice B compara su enfoque con AutoSOTA y reconoce que tienen objetivos distintos. Optimizar una medida y producir una investigación completa no son la misma tarea. Las mejoras obtenidas sobre referencias y equipos diferentes tampoco constituyen una competición directa bajo idénticas condiciones.
Fuentes de este apartado
4. Una crítica puede encargar otro experimento
La propuesta incorpora la revisión al trabajo experimental. Un revisor simulado puede preguntar por una debilidad; otro agente convierte esa pregunta en tareas, escribe el código necesario y ejecuta pruebas adicionales. Después, el sistema modifica el manuscrito con los resultados obtenidos.
También hay una evaluación final simulada, llamada meta-revisión. Si detecta una debilidad del método, puede provocar un cambio de la idea, nuevas pruebas y otra redacción. El sistema compara la versión modificada con la mejor anterior y conserva la nueva solo si el comparador la considera superior.
Así, una crítica puede cambiar lo que se prueba, no solo cómo se cuenta. El paper describe este mecanismo mediante agentes y decisiones automáticas; no acredita que sus juicios sean infalibles ni sustituye con ellos una revisión editorial real.
Fuentes de este apartado
5. El cuaderno también conserva los intentos fallidos
La idea central es utilizar los resultados como memoria de la búsqueda. Cada intento deja una propuesta, código, medidas y comentarios. Un agente analiza tanto los éxitos como los fallos para formular nuevas hipótesis. A la vez, el sistema introduce ideas iniciales todavía no probadas, para no limitarse a retocar la primera que funcionó.
La experimentación empieza con una parte del conjunto de pruebas. ScientistTwo reproduce allí el método de referencia y compara cada candidata con esa reproducción. Una idea claramente peor se descarta; una prometedora puede recibir ajustes. Las que superan esta fase pasan al conjunto completo, donde se contrastan con los resultados originales de referencia.
Las vueltas tienen presupuesto. El apéndice A.2 configura hasta cuatro rondas de experimentación, con dos candidatas por ronda, y hasta dos rondas de revisión simulada. Otros pasos tienen sus propios topes. La búsqueda no continúa indefinidamente hasta encontrar un resultado favorable.
Fuentes de este apartado
Fuente: §3.1 a §3.3; apéndice A.2.
6. Quitar una pieza para averiguar qué aportó
Una ablación es una prueba en la que se retira o modifica un componente para examinar su contribución. En nuestro taller imaginario, la pregunta sería: «Si dejamos el resto igual y quitamos la pieza nueva, ¿qué cambia?». La respuesta permite poner a prueba la explicación del invento, aunque no demuestra por sí sola una causa universal fuera de esas condiciones.
ScientistTwo planifica estas pruebas, modifica el código y utiliza los resultados para simplificar o refinar el método. Si propone otra versión, vuelve a comparar su rendimiento antes de reemplazar la anterior.
El apéndice B ofrece un caso revelador. Una variante para TeCh superó la referencia en cinco de seis medidas, según los autores. Sin embargo, el crítico atribuyó las ganancias principalmente a controles generales de entrenamiento, en vez de a la innovación arquitectónica propuesta. El sistema no la aceptó como contribución. Mejorar una medida y demostrar el aporte de una idea pueden conducir a decisiones distintas.
Fuentes de este apartado
7. Qué cuentan el 80,4 % y el 25,2 %
La evaluación parte de 107 problemas: 38 de NeurIPS 2025, cinco de ICLR 2026 y 64 de la selección de presentaciones destacadas de ICML 2026. Los autores reportan 86 casos mejorados con manuscritos generados: 33, cuatro y 49, respectivamente. Dividir 86 entre 107 da aproximadamente el 80,4 %. Los otros 21 problemas no se cuentan como éxitos.
En los casos exitosos, el paper reporta una mejora relativa media del 25,2 % y una mediana del 7,7 %. La mediana señala el valor central al ordenar las mejoras; que sea menor que la media importa al interpretar el promedio. No todos los problemas mejoraron un 25,2 %, ni se midió una capacidad científica única compartida por todas las tareas.
Un ejemplo inventado ayuda a leer «relativa». Si una medida de error baja de 20 a 15, la reducción es 5 sobre una referencia de 20: 5 / 20 × 100 = 25 %. Son cinco unidades de error, no 25 puntos porcentuales. Las tareas reales usan medidas distintas y algunas buscan aumentar un valor en vez de reducirlo.
La tabla 4 agrega ganancias de las tareas exitosas. Para extraerlas, los autores indican que un modelo de lenguaje leyó las tablas principales diez veces y promediaron esas extracciones. Aquí se explican las cifras reportadas; no se recalculan a partir de los experimentos ni se valida independientemente esa extracción.
Fuentes de este apartado
Fuente: §4.1, tablas 2 a 4; §4.2, tabla 7; §4.3, evaluación humana; apéndice A.1.
8. Los revisores no responden todos a la misma pregunta
ScholarPeer participa en el proceso de mejorar los borradores y después los puntúa. Sobre los 86 manuscritos, el paper reporta una nota media de 7,5 sobre 10 y un 91,9 % de aceptación simulada. Es importante que el mismo tipo de revisor influya en la preparación del texto: el resultado mide también la adaptación a su criterio.
Stanford Agentic Reviewer es un evaluador automático reservado, que los autores declaran no haber usado durante el desarrollo. Asigna una media de 5,7 y un 72,1 % de aceptación simulada, también sobre 86 manuscritos. Esa segunda evaluación aporta otro criterio, pero sigue siendo una valoración de IA, no 86 decisiones editoriales humanas.
Las rondas adicionales tampoco mejoran todos los jueces por igual. En los 49 casos de ICML de la tabla 5, Stanford asigna un 49,0 % de aceptación simulada sin respuesta experimental. La cifra pasa al 73,5 % tras una ronda, y al 69,4 % tras dos. ScholarPeer continúa aumentando sus valoraciones. Este contraste impide leer cada vuelta como una mejora garantizada ante cualquier evaluador.
La auditoría de la tabla 7 examina otras preguntas: si se reproducen las cifras, se respetan las reglas, las referencias existen y el método escrito corresponde al código. La configuración completa reporta 49 de 49 casos con cifras reproducibles y alineación método-código, cero violaciones entre 49 y cero referencias problemáticas entre 1.814. Son resultados de esa auditoría reportada, no de una ejecución independiente realizada para esta explicación.
Además, nueve revisores humanos evaluaron 33 textos derivados de problemas de NeurIPS. El paper informa una valoración global de 3,7 sobre cinco al juzgarlos por separado. La comparación con los originales humanos obtiene un 3,0; en esta segunda escala, tres significa paridad. Las personas valoraron mejor algunos aspectos experimentales y algo peor el rigor metodológico. Esta muestra aporta evidencia humana, pero no representa la aceptación formal de todos los manuscritos.
Fuentes de este apartado
Fuente: §4, configuración de evaluadores; tablas 2, 5, 7 y 10.
9. Una investigación que deja preguntas comprobables
El ciclo exige recursos. En el análisis de 33 problemas de NeurIPS, los autores reportan unos 2,5 días y 3.765 dólares de media por tarea. El coste incluye uso de modelos y máquinas virtuales. La conclusión lo redondea a unos 3.800 dólares. No es una tarifa universal ni una comparación controlada con el coste del trabajo humano.
El sistema principal utiliza modelos propietarios. Los autores también reconocen que no alcanza de forma consistente el nivel de los trabajos destacados u orales que introducen grandes cambios conceptuales. Sus pruebas cubren una selección de problemas de aprendizaje automático. No demuestran autonomía para toda la ciencia, descubrimiento de teorías fundamentales o rendimiento uniforme fuera de esa selección.
[Inferencia] Un uso plausible sería encargar a un sistema así que explore variantes de un método y entregue un cuaderno revisable. Allí anotaría qué intentó, qué falló, qué mejora resistió una ablación y qué observación la pondría en duda. El paper no demuestra que esa forma de uso reduzca los costes de cualquier laboratorio ni sustituya su juicio científico.
El taller inicial termina con una pregunta más concreta que «¿suena convincente?»: ¿podemos retirar la pieza, repetir la comparación y comprobar si la explicación todavía se sostiene? ScientistTwo organiza parte de ese trabajo. La conclusión científica depende también del alcance de las pruebas y de quién examine sus resultados.
Fuentes de este apartado
Fuente: §4.3, coste; §5, conclusión y límites; apéndice A.2.
Fuentes
Jaehyun Nam, Jinsung Yoon, Yanzhou Pan, Yubo Wang, Rui Meng, Parthasarathy Ranganathan y Tomas Pfister. ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI. arXiv:2609.19644v1, depositado el 17 de septiembre de 2026. DOI: 10.48550/arXiv.2609.19644.
Esta explicación parte del HTML de la versión 1 y coteja pasajes pertinentes con el PDF, cuya portada lleva fecha interna del 18 de septiembre. Los materiales de los apéndices presentados como imágenes no se han examinado íntegramente. La fuente es un preprint con licencia CC BY 4.0. Aquí no se acredita revisión por pares del propio preprint ni reproducción independiente de sus experimentos. No se redistribuyen sus figuras o código. La viñeta y los esquemas son originales y sus ejemplos inventados no son datos del estudio.