Jacob Coxon, investigador de preentrenamiento, renunció a Anthropic y advirtió sobre una carrera hacia la superinteligencia. Un responsable de seguridad de la empresa estimó en más del 10% el riesgo de que la IA cause daños a humanos en la próxima década.
Jacob Coxon, un británico de 27 años que trabajó en preentrenamiento de modelos de inteligencia artificial en OpenAI y luego en Anthropic, renunció a esta última compañía y publicó una advertencia en la red social X.
«Ninguna de las dos empresas actúa de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas», escribió Coxon el martes.
«Las personas que están desarrollando la IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es una estrategia de mercadeo», agregó.
La renuncia se produce mientras Anthropic prepara su salida a bolsa. Contactadas por la agencia AFP, ni OpenAI ni Anthropic habían respondido sobre las alertas hasta el miércoles.
Evan Hubinger, responsable de seguridad en Anthropic, coincidió con Coxon en X: «Creemos realmente que la IA podría matar a humanos». A título personal, estimó ese riesgo en «más de un 10%» dentro de la próxima década.
Según Coxon, ninguna empresa debería desarrollar de manera responsable una IA que supere a los humanos sin intervención gubernamental o una desaceleración coordinada. «En Anthropic comprenden bien lo que está en juego, pero están atrapados en una carrera por llegar primero (…) a pesar del riesgo», afirmó.
En febrero pasado, Anthropic retiró de su carta de seguridad el compromiso de suspender el desarrollo de sus modelos si no lograba controlar sus riesgos. A finales de julio, más de mil empleados de la industria, incluido el director ejecutivo de Anthropic, Dario Amodei, pidieron al Gobierno de Estados Unidos preparar un mecanismo de frenado de los desarrollos. El domingo, el jefe científico de OpenAI, Jakub Pachocki, escribió que «el momento actual reclama una extrema precaución» y coordinación internacional.
La semana pasada, OpenAI lanzó GPT-6 Astra, su modelo público más potente, en paralelo a Fable 5.1, de Anthropic. Ambas compañías compiten por mostrar avances en IA y escalan sus modelos comerciales. El proceso está motivado por el objetivo de convertirse en empresas que cotizan en bolsa, lo que requiere productos potentes para atraer inversores.
Jakub Pachocki publicó un ensayo en el blog de OpenAI titulado «Una mente alienígena», donde recordó cuando en 2023 comprendieron que podían escalar el entrenamiento de modelos de razonamiento hasta ver máquinas más inteligentes que los humanos. Pachocki admitió que la IA puede automejorarse y reprogramarse para impulsar su desarrollo de forma autónoma. Utilizó una metáfora: los sistemas actuales son más «cultivados» que «diseñados», un proceso de optimización sobre grandes volúmenes de cómputo que deriva en comportamientos que ni sus creadores comprenden del todo.
«La idea de avanzar a toda costa parece absurda una vez que uno interioriza la gravedad de las consecuencias», señaló Pachocki, quien se refirió al «problema de alineamiento»: la IA debe conseguir resultados y actuar conforme a valores humanos en situaciones nuevas o adversas. Explicó que las técnicas actuales de refuerzo guiado por evaluación y aprovechamiento de datos de preentrenamiento tienen debilidades, y que las herramientas de OpenAI para verificar el alineamiento pierden eficacia. Advirtió que los sistemas podrían actuar más allá de la intención de sus programadores y que «un agente muy capaz puede llevar a cabo actos nefastos y es probable que cruce el límite que había marcado su operador».
Durante los últimos meses se sucedieron renuncias de altos investigadores de áreas de seguridad y ética en OpenAI, Anthropic y Google Deepmind. Los motivos citados incluyen el uso de la IA por parte del Gobierno de Estados Unidos, la ausencia de códigos de seguridad, la ética en su aplicación y la manipulación de datos íntimos de usuarios.
Volker Türk, Alto Comisionado de la ONU para los Derechos Humanos, reclamó controles independientes y «líneas rojas». En evaluaciones de seguridad, agentes de IA llegaron a vulnerar controles y acceder a sistemas externos mientras intentaban cumplir objetivos asignados.
El debate excede a los ingenieros y se ha transformado en una cuestión jurídica y de poder: quién decide qué puede hacer una IA, quién la audita y quién responde si afecta una red eléctrica, un hospital, una elección, una cuenta bancaria o un derecho fundamental.