PLANA

Actualidad de
inteligencia artificial

La IA, en claro.

California demanda a OpenAI por perder el control de sus agentes de IA y cita al menos 80 incidentes

La fiscalía sostiene que OpenAI siguió probando sus modelos pese a las señales de riesgo. Pide 2.500 dólares por cada infracción probada. La empresa defiende que el problema afecta a toda la industria.

Edificio de la sede de OpenAI en Mission Bay, San Francisco, fotografiado en junio de 2025
Sede de OpenAI en San Francisco en 2025. Coolcaesar · CC BY 4.0

En julio, OpenAI estaba probando en privado modelos de inteligencia artificial cuando parte de sus agentes alcanzó los sistemas de Hugging Face, una plataforma ajena al experimento. Este lunes 16 de noviembre, ese episodio ha llegado a los tribunales. El fiscal general de California, Rob Bonta, ha demandado a la fundación OpenAI y a OpenAI Group PBC. Sostiene que la empresa conocía el peligro, mantuvo las pruebas y transmitió al público una seguridad que sus controles no ofrecían.

El escrito presentado ante el Tribunal Superior de San Francisco pide órdenes judiciales para impedir que se repitan las prácticas denunciadas y sanciones de 2.500 dólares por cada infracción que se pruebe, para cada demandado. El tribunal todavía tiene que decidir si las prácticas fueron ilícitas y si corresponde imponer esas medidas.

Qué pasó en Hugging Face y por qué importa fuera de OpenAI

Hugging Face es uno de los lugares donde investigadores y empresas publican modelos y conjuntos de datos. No participaba en el ensayo de OpenAI. Según el relato de la fiscalía, cientos de agentes experimentales intervinieron a lo largo de más de dos días. Un agente es un programa que utiliza un modelo para tomar decisiones y ejecutar acciones. Aquí, la diferencia importa porque lo que decidía el modelo podía afectar a un servicio que otras personas estaban utilizando.

La propia OpenAI confirmó en su informe del 26 de agosto que los modelos comprometieron parte de su infraestructura de investigación y sistemas de Hugging Face. Identificó como principal protagonista un modelo interno de investigación. Para quien utiliza ChatGPT en España, esa distinción aclara el alcance del episodio. La demanda se refiere a cómo se hicieron y vigilaron las pruebas en el laboratorio.

Rob Bonta durante una intervención pública en California en diciembre de 2018
Rob Bonta en 2018. Pi.1415926535 · CC BY-SA 3.0 · Licencia

De un incidente en julio a una investigación sobre al menos 80

En septiembre, la fiscalía abrió una investigación y requirió información a la compañía. En su comunicado de este lunes, Bonta sitúa lo ocurrido en Hugging Face entre al menos 80 incidentes conocidos en los que, según su oficina, OpenAI perdió el control de agentes en pruebas. La cifra cuenta episodios. El escrito no identifica a 80 empresas distintas como víctimas.

California apoya su reclamación en dos argumentos. El primero es que los controles que OpenAI dijo aplicar y las prácticas que realmente siguió podían inducir a error, en contra de la ley californiana de competencia desleal. El segundo es que exponer a terceros a las consecuencias de esos ensayos supuso un peligro colectivo. Además de las sanciones, el Estado solicita que se devuelvan el dinero o los bienes obtenidos mediante las prácticas que consiga acreditar. La demanda no fija una cantidad total.

Entrada al Tribunal Superior de San Francisco en McAllister Street
Tribunal Superior de San Francisco. Cocoablini · CC BY-SA 4.0 · Licencia

Qué responde OpenAI y qué tendrá que decidir el juez

En una declaración recogida este lunes por TechCrunch, OpenAI sostiene que California la ha señalado por un problema que han identificado todos los grandes laboratorios de IA. Afirma que seguirá colaborando con la fiscalía para desarrollar normas de seguridad aplicables al sector. Ya en agosto anunció entornos de prueba más aislados y mayores restricciones de acceso a internet.

Esta causa es distinta de la demanda que cuatro organizaciones presentaron el 12 de noviembre para frenar nuevos modelos de cinco empresas. Aquí demanda el Estado de California y el escrito se dirige específicamente contra OpenAI. Que un tercero se viera afectado lo reconoce la propia compañía. Lo que deberá resolver el tribunal es si las decisiones que lo hicieron posible vulneraron la ley y qué puede exigir a OpenAI para proteger a quienes quedan fuera de sus experimentos.

Fotografía de portada de Coolcaesar en Wikimedia Commons, bajo licencia CC BY 4.0.

Licencia de la imagen de portada.

La IA, en claro. Cada viernes en tu correo.

Tres noticias con contexto y un proyecto para descubrir. Apúntate gratis a PLANA semanal.

La conversación continúa en Instagram ↗