Un investigador de IA renunció y advirtió que la superinteligencia podría poner en riesgo a la humanidad
Jacob Coxon, ex investigador de OpenAI y Anthropic, dejó la industria con fuertes críticas a ambas compañías. Sostiene que avanzan hacia sistemas capaces de mejorarse por sí mismos sin contar todavía con mecanismos suficientes para controlar sus riesgos.
El investigador británico Jacob Coxon, de 27 años, decidió abandonar la industria de la inteligencia artificial con una advertencia contundente sobre el rumbo que están tomando las principales compañías del sector. Tras haber trabajado en OpenAI y Anthropic, aseguró que ambas empresas avanzan hacia una superinteligencia capaz de mejorar sus propias capacidades y cuestionó que lo hagan sin una intervención gubernamental o una desaceleración coordinada.
Coxon trabajó durante los últimos tres años en el área de preentrenamiento, la etapa en la que los modelos de IA incorporan grandes cantidades de información. Primero formó parte de OpenAI y, desde este año, pasó a Anthropic, a la que había elegido por considerar que tenía una postura más prudente.
“Ninguna de las dos empresas actúa de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, escribió en X. Sus publicaciones se viralizaron y pusieron nuevamente en discusión los riesgos asociados con sistemas de IA cada vez más autónomos.
Uno de sus principales temores es que los modelos puedan comenzar a mejorar por sí mismos hasta alcanzar capacidades que dificulten el control humano. En ese sentido, sostuvo que los desarrolladores de IA creen que existe la posibilidad de que estos sistemas provoquen una catástrofe antes de que termine la década.
Evan Hubinger, responsable de seguridad de Anthropic, coincidió parcialmente con el diagnóstico. “Realmente creemos que la IA podría matar a todos los humanos”, afirmó, y estimó personalmente ese riesgo en más de un 10% durante la próxima década. Aclaró, sin embargo, que considera bajo el riesgo asociado a los modelos actuales y que su preocupación está centrada en una eventual superinteligencia surgida del auto-mejoramiento recursivo.
Samuel Marks, otro responsable de Anthropic, también respaldó las advertencias y afirmó que los desarrolladores están preocupados por posibles escenarios de extinción humana.
Coxon sostiene que ninguna compañía debería desarrollar una IA superior a los humanos sin supervisión gubernamental. Su salida se produjo mientras Anthropic prepara su salida a bolsa y en medio de un debate interno en la industria sobre la necesidad de establecer límites frente al avance de sistemas cada vez más capaces.
