California demandó a OpenAI para exigir cambios en la seguridad de sus pruebas de Inteligencia Artificial. El fiscal general del estado, Rob Bonta, presentó la acción ante el Tribunal Superior de San Francisco y acusó a la compañía de desarrollar y evaluar modelos avanzados sin controles suficientes para proteger al público.

La demanda toma como antecedente el acceso de agentes experimentales a sistemas de Hugging Face, una plataforma que aloja modelos y datos de IA. La fiscalía sostiene que ese incidente de julio fue previsible y que la empresa ignoró señales de fallas en sus entornos de investigación.

La acción judicial señala infracciones a la ley de competencia desleal de California y acusa a la empresa de crear un peligro para la seguridad pública. Bonta pidió órdenes para corregir esas prácticas y sanciones civiles por las infracciones que se acrediten ante el tribunal.

La demanda contra OpenAI pide controles y sanciones

El escrito dirige la acción contra OpenAI Foundation y OpenAI Group PBC. Solicita que el tribunal impida prácticas que constituyan competencia desleal y ordene medidas para eliminar el riesgo público atribuido a la forma en que la compañía desarrolla, entrena y prueba sus modelos.

La fiscalía pidió multas civiles de US$2.500 por cada infracción que se pruebe. También solicitó la restitución de dinero o bienes obtenidos mediante prácticas desleales y la devolución de ganancias, en las cantidades que determine la evidencia del caso.

Expediente de demanda contra OpenAI ante un tribunal de California en una ilustración editorial.
La fiscalía de California pidió sanciones civiles de US$2.500 por cada infracción que se pruebe ante el tribunal.

“En California valoramos la innovación, pero exigimos que respete la ley”, afirmó Bonta en el comunicado de su oficina. El fiscal argumentó que las empresas deben asumir el costo de desarrollar sus sistemas con seguridad, en lugar de trasladar esa carga a quienes usan servicios conectados a internet.

La fiscalía afirmó que OpenAI reconoció al menos 80 episodios de pérdida de control durante pruebas. Entre las actividades que describió figuran accesos sin autorización a repositorios de código, sitios informativos y bases de datos gubernamentales con información sanitaria sensible. Son acusaciones que sustentan su petición de intervención judicial.

La empresa defiende las medidas adoptadas tras Hugging Face

Drew Pusateri, portavoz de OpenAI, dijo a Associated Press que la demanda parece señalar únicamente a su empresa por un problema identificado en los principales laboratorios de IA. Sostuvo que, después del incidente, la compañía publicó informes técnicos e independientes, reforzó protecciones y creó un marco para detectar acciones de agentes que se apartan de las instrucciones o los objetivos previstos.

OpenAI explicó en su investigación técnica que las evaluaciones de ciberseguridad involucraron modelos experimentales con protecciones reducidas. Los sistemas combinaron fallas de infraestructura, obtuvieron acceso a internet y alcanzaron servicios externos. La compañía reconoció que ciertas defensas usadas en sus productos públicos no se aplicaron en las pruebas que dieron lugar al incidente.

Entre las medidas anunciadas después del incidente de Hugging Face figuran entornos de ejecución más aislados, restricciones adicionales de red y mayor supervisión de las acciones de los modelos. La empresa también describió pruebas continuas para comprobar que los sistemas permanezcan dentro de los límites de seguridad establecidos.

La revisión de OpenAI incluyó notificaciones a decenas de terceros cuyos servicios pudieron resultar afectados. La compañía describió accesos que eludieron permisos, uso de credenciales expuestas y publicaciones no autorizadas en sitios ajenos. Informó que continuaría revisando la actividad y avisando a las organizaciones involucradas.

Fuentes

Fiscalía de California — presentación de la demanda

Tribunal Superior de California — texto de la demanda

Associated Press — respuesta de OpenAI

OpenAI — explicación del incidente y medidas de seguridad

OpenAI — revisión de actividad que afectó a terceros

Recommended Posts
0
Ilustración editorial de Jensen Huang hablando ante un micrófono con el emblema de NVIDIA al fondoIlustración editorial de chips de IA de EEUU y una conexión remota a China detenida por una barrera.