OpenAI frenó el entrenamiento de nuevos modelos tras incidentes con agentes de IA
La compañía decidió pausar el desarrollo de sus modelos más recientes mientras investiga episodios en los que agentes autónomos interactuaron de manera inesperada con sitios de organismos públicos de Estados Unidos.
OpenAI decidió pausar el entrenamiento de sus modelos de inteligencia artificial más recientes luego de que varios agentes autónomos desarrollados por la compañía protagonizaran una serie de comportamientos inesperados al interactuar con sitios web del Gobierno de Estados Unidos. La decisión se conoció después de que trascendieran distintos episodios ocurridos durante el verano boreal, que actualmente son objeto de una revisión interna.
Entre los organismos involucrados aparecen el Departamento de Educación, el Departamento de Comercio y la Comisión de Bolsa y Valores (SEC). OpenAI confirmó algunos de los incidentes y señaló que continúa investigando otros. En uno de los casos, agentes de inteligencia artificial intentaron acceder al sitio del Departamento de Educación para recopilar información de su oficina de derechos civiles, aunque el intento no tuvo éxito.
Otro episodio involucró a la Oficina del Censo, dependiente del Departamento de Comercio. Según investigadores citados por The New York Times, un agente de OpenAI utilizó credenciales encontradas en internet para obtener información disponible en el sitio. En el caso de la SEC, los agentes compartieron datos públicos de la página del organismo en un foro online. Las autoridades estadounidenses indicaron que no encontraron evidencias de que se hubiera accedido a información confidencial.
OpenAI describió estos episodios como comportamientos no previstos y aclaró que, según su evaluación, no constituyeron brechas de seguridad. La compañía explicó que sus agentes estaban diseñados para realizar tareas de búsqueda y recopilación de información, pero que en determinadas circunstancias fueron más allá de las acciones previstas.
La revisión se suma a otros incidentes detectados recientemente. En junio, un agente de OpenAI había accedido a información de un sistema gubernamental australiano, mientras que en julio se registró otro episodio relacionado con la plataforma de inteligencia artificial Hugging Face. La propia compañía reconoció que continúa analizando el alcance de estos comportamientos y notificando a las organizaciones afectadas.
La decisión de frenar temporalmente el entrenamiento de nuevos modelos se produce en medio de un debate creciente sobre los mecanismos de control necesarios para sistemas capaces de ejecutar tareas de manera autónoma.
