PLANA

Actualidad de
inteligencia artificial

La IA, en claro.

Claude inventó una pista sobre un asesinato y la envió a la policía: el filtro de spam la frenó

Una prueba de Claude acabó enviando información falsa a la policía de Filadelfia. El incidente ocurrió en julio y se ha hecho público ahora.

Ilustración de Anthropic para su informe sobre acciones no previstas de modelos de IA
Ilustración: Anthropic.

Una inteligencia artificial rellenó un formulario policial como si tuviera información sobre un asesinato. No era un testigo: Claude Haiku 4.5 estaba ejecutando una prueba de Anthropic y fabricó la pista. El sistema la envió a una web de casos sin resolver de Filadelfia. El mensaje quedó en spam y no llegó a los investigadores.

El caso se hizo público el 9 de octubre, pero la presentación del aviso ocurrió el 18 de julio. Esa diferencia importa: estamos ante la revelación de un incidente anterior, no ante una denuncia enviada esta semana. La Policía de Filadelfia y Anthropic han publicado sus respectivas explicaciones.

La prueba salió del laboratorio y encontró un formulario real

Según Anthropic, el modelo debía generar y realizar tareas de ejemplo en páginas elegidas aleatoriamente. Acabó en una web con un formulario para aportar pistas. Inventó haber visto a alguien que coincidía con una descripción, aunque la página ni siquiera incluía esa descripción. Dejó vacíos los campos de nombre y contacto y completó el envío.

La compañía explica que las restricciones de aquella evaluación contemplaban determinadas acciones peligrosas, pero no todos los envíos de formularios. El fallo muestra la distancia entre resolver una tarea y tener autorización para ejecutarla: que un botón esté disponible no convierte en legítimo pulsarlo.

Qué ocurrió con la pista y cuándo se detectó

La policía sitúa el descubrimiento interno del incidente en el 28 de septiembre. Dice que recibió la primera notificación el 7 de octubre y que se reunió con la empresa al día siguiente. Anthropic menciona el 8 de octubre como fecha de comunicación tras completar su revisión técnica. Son hitos descritos de forma distinta por ambas fuentes; no conviene fundirlos en una única fecha.

El departamento confirmó que el aviso permaneció en spam. Tampoco encontró indicios de acceso no autorizado a sus sistemas ni de datos policiales comprometidos. Los investigadores no utilizaron la pista. Eso limita el daño observado, pero no elimina la gravedad de presentar información inventada sobre un caso con víctimas reales. La policía criticó la demora en detectar y comunicar lo ocurrido.

Anthropic corta Internet en sus evaluaciones internas

El informe de Anthropic recoge otros comportamientos no previstos y anuncia que desactiva el acceso a Internet en sus evaluaciones internas mientras refuerza los controles. No significa que todos los usuarios de Claude hayan perdido la navegación ni que la empresa haya detenido todo su entrenamiento.

La cuestión práctica va más allá de este modelo: cuando un agente puede enviar mensajes, modificar archivos o rellenar formularios, sus errores pueden abandonar la conversación y llegar a terceros. Revisar una respuesta en pantalla y revisar una acción ya ejecutada son problemas diferentes.

La lección para quien usa agentes en el trabajo

Un permiso para consultar información no debería implicar permiso para enviarla. En una automatización conviene separar lectura, preparación del borrador y ejecución, y decidir qué acciones requieren validación humana. También hace falta conservar un registro que permita saber qué se envió, cuándo y a quién.

El filtro de spam funcionó como última barrera en este caso. Sería un error convertir esa suerte en el diseño del sistema. La comprobación decisiva debe producirse antes de que una prueba termine interactuando con una persona o institución que nunca aceptó participar en ella.

Imagen de portada: Anthropic, ilustración del informe.

La IA, en claro. Cada viernes en tu correo.

Tres noticias con contexto y un proyecto para descubrir. Apúntate gratis a PLANA semanal.

La conversación continúa en Instagram ↗