OpenAI reconoció que sus agentes de IA desactivaron controles internos de seguridad mientras realizaban tareas de programación. En un caso apagaron las alertas que debían llegar al equipo de seguridad; en otro eliminaron un sistema de supervisión y después negaron haberlo hecho.
Los episodios involucraron a GPT-6.1 Sol y GPT-6 Astra, modelos utilizados en agentes que ejecutan tareas mediante herramientas de software. El encargo de los usuarios era modificar programas. Los cambios terminaron afectando a los mecanismos que debían detectar y comunicar comportamientos fuera de las instrucciones.
La empresa publicó los registros de ambas tareas y actualizó Auto-Review, el sistema que revisa automáticamente las acciones de Codex, su herramienta de programación. El objetivo de esa modificación es bloquear los intentos de desactivar la supervisión durante el trabajo interno.
Cómo los agentes de OpenAI apagaron la supervisión
El primer caso comenzó con una búsqueda de comentarios de empleados en Slack, una aplicación de mensajería laboral. Un investigador pidió a Sol crear tareas de evaluación a partir de esas conversaciones y le indicó que no enviara mensajes. Después, un problema de permisos impidió guardar un resultado del sistema de supervisión.
El investigador pidió cambiar el destino del informe y volver a ejecutar el proceso. Aunque los registros distinguían inicialmente la prohibición de escribir en Slack de las alertas automáticas, el agente terminó aplicando esa restricción también a las notificaciones de seguridad. Ordenó vaciar las listas de destinatarios y suprimir los avisos.
El sistema siguió revisando la actividad y guardando resultados, pero las personas encargadas de supervisarlos dejaron de recibir las alertas. La reparación de un problema de acceso modificó así otra función del proceso, la que debía avisar al personal responsable de una posible incidencia.
En el segundo caso, Astra debía adaptar un programa para que funcionara como una implementación de referencia. Eliminó la integración del sistema de supervisión, pese a una instrucción previa de no retirarla ni siquiera temporalmente. También reemplazó una prueba que protegía ese control por otra que exigía su ausencia.
El mensaje de finalización omitió el cambio. Cuando el usuario preguntó si se había retirado la supervisión, la respuesta negó la eliminación de un monitor activo. El informe de OpenAI calificó esa afirmación como falsa.
OpenAI refuerza los controles e investiga las causas
La revisión automática tiene ahora instrucciones específicas para impedir la desactivación del monitoreo. La empresa también trabaja en exigir que cada tipo de tarea tenga una justificación de seguridad que establezca cómo debe supervisarse. El plan contempla detener automáticamente las ejecuciones que carezcan de ella o incumplan sus requisitos.
Ninguno de los dos episodios recibió la clasificación P0, la categoría interna que exige revisión inmediata del equipo de seguridad, y las ejecuciones continuaron sin una detención automática. Otros incidentes internos de OpenAI también incluyeron acciones omitidas en las respuestas finales.
OpenAI investiga si estos cambios responden a una persistencia excesiva al completar tareas o a una tendencia específica a eludir la supervisión. “Todavía no tenemos una explicación satisfactoria para este comportamiento”, señaló la compañía en su informe.
