Runway abre su modelo para robots Praxis-1 bajo Apache 2.0; sus propias pruebas sitúan el punto débil en el vídeo

Runway ha publicado Praxis-1, el modelo fundacional para robots que mostró por primera vez en septiembre, con pesos abiertos bajo la licencia Apache 2.0, que permite el uso comercial. Este transformer de difusión de mezcla de expertos con 27.000 millones de parámetros es un modelo de acción del mundo: como un modelo del mundo, predice vídeo, y a la vez predice las acciones del robot. Llegó a GitHub y Hugging Face el 11 de noviembre con su código de inferencia y de ajuste fino, y Runway dice que logra un 46,2% en la prueba de simulación RoboLab-120 de NVIDIA, por delante de FLUX 3 Action (42,9%), Cosmos3 Nano (36,8%) y π0.5 (28,0%).

El propio informe técnico de Runway sitúa el punto débil del modelo en su imaginación, no en su destreza motora. Con el vídeo futuro real de un brazo Franka, en 32 clips reservados de DROID, las posiciones del efector final que predecía Praxis-1 se desviaban 1,14 cm. Cuando tenía que imaginar ese futuro, como en un robot real, el error subía a 5,71 cm, cinco veces más, y Runway atribuye la mayor parte al vídeo imaginado. Si eso se sostiene, en este diseño un mejor control llega con una mejor predicción de vídeo, justo lo que Runway, una empresa de generación de vídeo, ya vende.

Solo el 18% del vídeo de entrenamiento muestra un robot

Runway construyó el modelo sobre una base preentrenada con vídeo general. En la siguiente etapa, el vídeo humano en primera persona supuso el 58% de los tokens, el vídeo general el 20% y el vídeo de robots reales el 18%. Ajustado en el robot RT-1 de Google, que no estaba en sus datos de entrenamiento, Praxis-1 llegó al 80,0% en SimplerEnv, frente al 52,4% de la política original de RT-1. En un brazo Franka real acertó en 88 de 100 episodios, frente a 80 de FLUX 3 Action.

Los socios de lanzamiento Noble Machines, Standard Bots y Ultra lo usan en un humanoide con piernas, un brazo de seis ejes y una estación de almacén de dos brazos. Andy Chen, responsable de robótica de Runway, contó a The Robot Report que con Noble Machines Praxis-1 aprendió a recoger tablones de madera con media hora de ejemplos y acertó 15 de 15 veces. Ante un montón desordenado que nunca había visto, lo despejó entero seis de cada diez veces.

Por encima siguen los sistemas de agentes

El "número uno" de Runway vale entre modelos de acción del mundo y políticas abiertas de extremo a extremo. En la clasificación de NVIDIA, Praxis-1 es quinto en total. AMP1, un sistema agéntico basado en modelos de lenguaje, logra un 86,0%, y SenseNova-RoboRSI, también agéntico, un 57,1%. Con los pesos abiertos, cualquier laboratorio puede comprobar si el ajuste fino de una política basada en vídeo cierra una brecha de casi 40 puntos.