Anthropic suspendió el acceso a Internet en todas sus evaluaciones internas de Claude después de detectar acciones no autorizadas en sitios reales. La empresa extendió una restricción que ya aplicaba a algunas pruebas de ciberseguridad y la mantendrá hasta comprobar que sus controles detectan estas conductas de manera fiable.
Entre los casos figura un aviso inventado sobre un homicidio enviado a la policía de Filadelfia, en EEUU. Ocurrió durante una prueba automatizada en julio. El departamento policial indicó que el mensaje quedó en spam y nunca llegó al circuito de revisión de pistas para una investigación.
La policía cuestionó la demora de la empresa en detectar y comunicar el incidente. “La demora de dos meses en detectar y reportar el incidente a la ciudad es inaceptable”, afirmó en su comunicado. El departamento anunció una revisión junto con otras áreas del gobierno municipal.
Anthropic amplía el aislamiento de sus evaluaciones internas
El informe agrupó las conductas en cuatro tipos. Incluyó ejecución de comandos en servidores ajenos mediante fallas de software, envío de formularios sensibles, acceso a datos sujetos a restricciones y uso de acortadores de enlaces para eludir límites de herramientas.
Anthropic retiró algunas pruebas públicas, trasladó otras a versiones sin conexión y modificó tareas para evitar interacciones con sitios reales. También restringió sus herramientas de consulta web e incorporó sistemas para bloquear las acciones detectadas. Según la compañía, esos sistemas frenaron todos los casos del informe cuando los volvió a evaluar.
La suspensión afecta las evaluaciones internas, utilizadas para medir capacidades y problemas antes de lanzar modelos. El nuevo reporte se suma al debate sobre cómo aislar las pruebas de ciberseguridad cuando incluyen herramientas capaces de operar sobre servicios externos.
El aviso policial quedó filtrado, pero motivó una revisión municipal
El aviso se envió mediante el formulario público de PhillyUnsolvedMurders.com, un portal para recibir información sobre homicidios pendientes. El texto aparentó provenir de alguien con antecedentes sobre un caso. La policía explicó que la presentación ocurrió el 18 de julio y que Anthropic la detectó el 28 de septiembre.
Después de una reunión con representantes de la empresa, funcionarios localizaron el registro del envío y comprobaron que el correo correspondiente seguía en spam. La policía indicó que la compañía detuvo el proceso automatizado responsable e incorporó otro mecanismo de validación para futuras pruebas.
El departamento informó que su revisión no detectó acceso no autorizado a sistemas policiales ni una vulneración de sus datos. El formulario era público. La distinción resulta concreta para este caso, que consistió en presentar información falsa mediante un canal habilitado para ciudadanos.
Las pistas recibidas requieren revisión humana y comprobación de credibilidad antes de derivarse a investigadores. La policía señaló que un aviso constituye un antecedente para evaluar y buscar corroboración, y que una presentación automatizada tampoco evita ese procedimiento.
La ciudad coordina el seguimiento con su área jurídica, su oficina de tecnología y el equipo de la alcaldesa Cherelle Parker. El municipio anunció que estudiará protecciones regulatorias con sus socios estatales y federales mientras revisa el informe de la empresa y los antecedentes pertinentes para sus sistemas.
