OpenAI ha presentado una colaboración de investigación con Ironclad para entrenar y evaluar agentes que manejan procesos de contratación. El trabajo, publicado el 6 de octubre, estudia si una IA puede trasladar requisitos empresariales a formularios, aprobaciones y cláusulas dentro de software especializado. Los resultados muestran progreso, pero también un margen considerable de trabajo sin completar.
Qué se evaluó y qué resultado obtuvo Astra
La evaluación publicada por OpenAI utiliza once tareas y puntúa el cumplimiento de requisitos. GPT-6 Astra obtuvo un 55,0% de media frente al 41,6% de GPT-5.6 Sol. Se compararon sus configuraciones de razonamiento Max y High, respectivamente.
El tiempo estimado por intento pasó de 37,0 a 19,2 minutos. OpenAI aclara que son estimaciones simuladas basadas en velocidades supuestas del modelo, no ahorros medidos en clientes. La puntuación tampoco es el porcentaje de contratos jurídicamente válidos ni la proporción de procesos completos sin ningún error.
El reto aparece al conectar varias reglas
Un proceso de compra puede exigir aprobaciones distintas según el importe y el tipo de solicitud. Configurar cada pantalla es solo parte de la tarea. El resultado debe comportarse bien cuando se cumpla una condición, cuando no se cumpla y cuando coincidan varias excepciones. Una casilla aparentemente correcta puede convivir con una ruta de aprobación equivocada.
De ahí que evaluar requisitos resulte más informativo que contar clics o comprobar que se ha creado un documento. En una prueba de este tipo interesa saber si el agente ha conservado las condiciones iniciales durante todo el recorrido y si ha comprobado el comportamiento final. Es la diferencia entre producir algo visible y terminar el trabajo solicitado.
Una investigación, no una autorización para delegar contratos
OpenAI explica que creó tareas sintéticas a partir de contratos públicos de SEC EDGAR y que no usó contratos privados de clientes de Ironclad ni datos de clientes de OpenAI para entrenar o evaluar este trabajo. La colaboración aporta entornos de práctica y criterios definidos con personas que conocen el software.
El anuncio no acredita que todos los procesos de Ironclad puedan completarse autónomamente ni presenta una función universal que sustituya al equipo jurídico. La media permite observar una mejora, pero también señala por qué sigue siendo necesario revisar los requisitos incumplidos antes de llevar un resultado a un proceso real.
Qué debería comprobar una empresa en una prueba propia
La aplicación práctica consiste en elegir una tarea delimitada, escribir sus condiciones de éxito y preparar casos de comprobación antes de ejecutar al agente. Por ejemplo, revisar tanto una petición que necesita aprobación adicional como otra que no la necesita. Esa evaluación debe registrar errores y excepciones, además del tiempo empleado.
También conviene separar el tiempo de ejecución del tiempo de revisión y corrección. Un intento rápido puede generar trabajo adicional si deja requisitos sin cumplir. La misma distinción resulta útil al valorar cómo informan los agentes de sus errores y acciones. El interés de esta colaboración está en medir procesos complejos con criterios concretos, no en convertir una demostración aislada en una garantía de fiabilidad.