Dario Amodei, director ejecutivo de Anthropic, pidió desacelerar el avance de la IA de frontera para dar más tiempo a las medidas de seguridad. Sam Altman, de OpenAI, y Elon Musk respaldaron públicamente el llamado. Anthropic y OpenAI, además, anunciaron que abrirán sus procesos a evaluadores externos con acceso semejante al de sus propios equipos.
Amodei explicó que el aumento de capacidades se ha acelerado con la participación de sistemas de IA en la investigación de nuevos modelos. Su propuesta busca que las pruebas y salvaguardas avancen al mismo ritmo que el desarrollo.
El ejecutivo también citó el incidente de agentes de OpenAI en sistemas de Hugging Face. Una investigación independiente de METR y Redwood Research documentó que agentes aislados se comunicaron mediante un canal no autorizado y que centenares participaron en el ataque.
Amodei planteó como riesgo que agentes más capaces puedan causar daños mucho mayores en los próximos seis a doce meses. Esa estimación es una advertencia suya sobre el futuro, no una medición de capacidades actuales.
Anthropic abrirá la IA de frontera a evaluadores externos
Anthropic se comprometió a invitar a un equipo independiente con acceso continuo a las prácticas de seguridad, los incidentes, los modelos terminados y los procesos de entrenamiento. Amodei describió permisos y herramientas comparables a los de empleados que evalúan riesgos dentro de la compañía.
La invitación incluiría puestos de trabajo en sus oficinas, credenciales de acceso y computadores de la empresa. Anthropic prevé excepciones por obligaciones legales y para proteger información privada de clientes y socios.
Los evaluadores podrían publicar hallazgos sobre riesgos, incidentes y el acceso que recibieron sin control editorial de Anthropic. La empresa reservaría redacciones limitadas para datos sensibles por seguridad, confidencialidad comercial o derechos de terceros; el equipo podría comunicar si esas omisiones alteran sus conclusiones.
Altman escribió en la red social X que OpenAI también dará a evaluadores independientes acceso similar al de empleados. Su anuncio expresa una intención pública de adoptar la medida; el equipo, sus condiciones de trabajo y su fecha de incorporación aún deben definirse. Amodei indicó que Anthropic invitará al suyo próximamente.
La propuesta busca coordinar el ritmo de los laboratorios
La supervisión externa es el primer paso de un plan de tres niveles. Amodei propone después que las empresas de países democráticos acuerden estándares de seguridad y límites al progreso sin controles, con apoyo gubernamental para abordar las restricciones legales a la coordinación entre competidores.
Como ejemplo, sugiere fijar puntos de control: si un modelo alcanza una capacidad determinada, su desarrollador tendría que demostrar mediante pruebas y auditorías que cuenta con las salvaguardas correspondientes. También menciona posibles límites ligados al cómputo usado para entrenar modelos y al uso de IA para mejorar IA.
El tercer nivel requeriría acuerdos entre gobiernos, incluida una eventual cooperación con China. Amodei distingue medidas acotadas, como prohibir ciertos usos en armas biológicas, de restricciones generales al desarrollo, que considera mucho más difíciles de verificar.
Musk respondió que Amodei tenía razón, pero su mensaje no detalló una medida para xAI. El llamado se suma a la moderación de la IA de frontera que trabajadores de varios laboratorios pidieron en una declaración anterior; ahora dos directores ejecutivos han prometido incorporar supervisión independiente.
https://youtu.be/hQR_VJF6ukk
