PLANA

Actualidad de
inteligencia artificial

La IA, en claro.

JEPA4R lleva a un brazo robótico real una política entrenada en simulación

El modelo permite visualizar sus predicciones en nubes de puntos y, según sus autores, funciona en un brazo físico sin entrenamiento adicional en el robot.

Una pinza robótica junto a una zanahoria y una representación de la escena en nube de puntos.
Una pinza robótica junto a una zanahoria, con la nube de puntos de la misma escena a la derecha. · Fotograma del vídeo de Jiarui Dong y su equipo.

Un brazo robótico puede ejecutar una política entrenada en simulación sin entrenamiento adicional en el propio robot. Es el resultado que describen los autores de JEPA4R, un modelo que utiliza nubes de puntos de una cámara de profundidad para predecir y planificar. La propuesta también permite visualizar esas predicciones en forma de nubes de puntos. JEPA4R: Embodied JEPA World Models with 4D Point Planning.

De la cámara a una predicción visible

JEPA4R recibe información de una única cámara de profundidad en forma de nube de puntos. El modelo predice y planifica en un espacio latente, una representación interna de esos datos. Una política utiliza esa representación para actuar sobre el robot.

Un decodificador convierte las predicciones en nubes de puntos, lo que permite examinar qué anticipa el modelo. Según los autores, el error medio de los puntos se mantuvo dentro de 1,1 centímetros durante 200 pasos. La cifra corresponde a esa evaluación de la predicción y no garantiza la precisión de cualquier movimiento de un robot.

La diferencia entre observación y predicción importa: la nube captada por la cámara es la información que recibe el modelo, mientras que la generada por el decodificador representa lo que este anticipa. Ver una nube de puntos de la escena no equivale, por sí solo, a ver una predicción futura.

Del gemelo digital al brazo físico

Los autores indican que entrenaron el modelo y sus políticas únicamente en un gemelo digital y después los ejecutaron en un brazo real, tanto con una pinza como con una mano robótica, sin entrenamiento adicional en el robot. La prueba explora así el traslado de una política aprendida en simulación a un dispositivo físico.

En las comparaciones descritas en el artículo, JEPA4R supera a modelos JEPA basados en píxeles en varias tareas de OGBench. También ocupa el primer puesto entre los modelos comparados en MetaWorld y Adroit Relocate, con resultados del 98,4 % y el 88 %, respectivamente. En esas dos pruebas, el segundo modelo obtuvo el 96 % y el 65,3 %.

Son resultados comunicados por los propios autores; el expediente no recoge una evaluación independiente. La ejecución en un brazo real muestra el alcance de esa prueba concreta, pero no basta para concluir que el sistema funcionará en cualquier robot o tarea.

Vídeo de Jiarui Dong y su equipo.

La IA, en claro. Cada viernes en tu correo.

Tres noticias con contexto y un proyecto para descubrir. Apúntate gratis a PLANA semanal.

La conversación continúa en Instagram ↗