OpenAI, Anthropic, Google y Meta, las 4 grandes empresas de IA de EEUU, defendieron sus controles de seguridad ante el Concejo Municipal de Nueva York el 5 de octubre, pero evitaron un compromiso general de bloquear el lanzamiento de un modelo que fallara una evaluación independiente.
Julie Menin, presidenta del Concejo Municipal, encabezó las preguntas durante una audiencia pública bajo juramento. La sesión reunió al Comité del Pleno, integrado por los 51 concejales, para examinar riesgos de la Inteligencia Artificial y propuestas locales de regulación. OpenAI, Google y Anthropic aceptaron participar después de recibir advertencias de citación obligatoria.
Comparecieron Morgan Dwyer, responsable de desarrollo y operaciones de políticas de OpenAI; Logan Graham, jefe del equipo de pruebas adversariales de Anthropic; Alice Friend, representante de políticas de Google; y Shane Cahill, director de legislación sobre privacidad e IA de Meta. Menin les preguntó por evaluaciones, control humano y responsabilidad por daños.
Las empresas de IA evitaron un compromiso general ante pruebas fallidas
Dwyer sostuvo que ningún nivel de riesgo catastrófico resulta aceptable. “No deberíamos entrenar modelos si no podemos presentar un argumento extremadamente sólido de que podemos mantenerlos bajo control humano”, dijo durante la audiencia. Ante la solicitud de un porcentaje, centró su respuesta en la necesidad de preservar ese control.
Graham describió los esfuerzos de Anthropic para evaluar riesgos, pero tampoco dio una cifra. Cahill señaló que quería evitar una estimación imprecisa y ofreció una respuesta posterior. Friend sostuvo que todavía falta un método científico riguroso para asignar una probabilidad a un eventual acontecimiento catastrófico causado por IA.
Menin preguntó si las empresas aceptarían responsabilidad legal cuando un sistema causara daños financieros, expusiera información o perjudicara a una persona. “Si es ilegal sin IA, sigue siendo ilegal con IA”, respondió Friend, según recogió amNewYork. Google defendió así la aplicación de los marcos legales existentes a esta tecnología.
La presidenta también solicitó un compromiso de detener lanzamientos ante pruebas fallidas. OpenAI respondió que suspendería modelos que considerara inseguros; las cuatro empresas de IA describieron sus procesos de revisión. Sus respuestas dejaron pendiente el compromiso general solicitado sobre el resultado de una prueba interna o una validación independiente.
Nueva York propone validación externa, apagado humano y avisos de incidentes
Una propuesta impulsada por Menin exigiría validar mediante terceros los sistemas comercializados o desplegados en la ciudad. La evaluación abarcaría calidad de datos, sesgos, resultados, privacidad y seguridad. También requeriría un mecanismo que permita a una persona apagar el sistema y que el validador compruebe su existencia.
El proyecto contempla multas de US$25.000 por cada caso de comercialización o despliegue sin validación, o con una validación falsificada. Otro texto abriría una vía para demandar por daños previsibles cuando un tercero aprovechara fallas de protección que la empresa dejó sin medidas razonables.
El paquete exigiría a organismos municipales y contratistas informar en 24 horas los incidentes de seguridad de IA relacionados con esos contratos. También contempla incentivos para denunciantes. Son propuestas legislativas, todavía no nuevas obligaciones aprobadas.
La audiencia coincidió con la investigación de la FTC (Federal Trade Commission, Comisión Federal de Comercio de EEUU) sobre posibles riesgos para consumidores.
Al cerrar el panel, Menin anunció que enviaría nuevas preguntas a las empresas de IA para obtener respuestas por escrito.
