Runway abre o modelo para robôs Praxis-1 sob Apache 2.0; testes próprios põem o ponto fraco no vídeo

A Runway publicou o Praxis-1, o modelo fundacional para robôs que mostrou pela primeira vez em setembro, com pesos abertos sob a licença Apache 2.0, que permite uso comercial. O transformer de difusão de mistura de especialistas com 27 bilhões de parâmetros é um modelo de ação do mundo: como um modelo de mundo, prevê vídeo, e ao mesmo tempo prevê as ações do robô. Ele chegou ao GitHub e ao Hugging Face em 11 de novembro com o código de inferência e de ajuste fino, e a Runway diz que marca 46,2% no benchmark de simulação RoboLab-120 da NVIDIA, à frente de FLUX 3 Action (42,9%), Cosmos3 Nano (36,8%) e π0.5 (28,0%).

O próprio relatório técnico da Runway põe o ponto fraco do modelo na imaginação, não na coordenação motora. Com o vídeo futuro real de um braço Franka, em 32 clipes reservados do DROID, as posições do efetuador previstas pelo Praxis-1 erravam por 1,14 cm. Quando ele precisava imaginar esse futuro, como num robô real, o erro subia para 5,71 cm, cinco vezes mais, e a Runway atribui a maior parte ao vídeo imaginado. Se isso se confirmar, nesse desenho um controle melhor vem de uma previsão de vídeo melhor, justamente o que a Runway, empresa de geração de vídeo, já vende.

Só 18% do vídeo de treino mostra um robô

A Runway construiu o modelo sobre uma base pré-treinada em vídeo geral. Na etapa seguinte, vídeo humano em primeira pessoa somou 58% dos tokens, vídeo geral 20% e vídeo de robôs reais 18%. Ajustado no robô RT-1 do Google, que não estava nos dados de treino, o Praxis-1 chegou a 80,0% no SimplerEnv, contra 52,4% da política original do RT-1. Num braço Franka real, acertou 88 de 100 episódios, contra 80 do FLUX 3 Action.

Os parceiros de lançamento Noble Machines, Standard Bots e Ultra o rodam num humanoide com pernas, num braço de seis eixos e numa estação de armazém de dois braços. Andy Chen, chefe de robótica da Runway, contou à The Robot Report que, com a Noble Machines, o Praxis-1 aprendeu a pegar tábuas de madeira com meia hora de exemplos e acertou 15 de 15 vezes. Diante de uma pilha bagunçada que nunca tinha visto, limpou a pilha inteira seis em dez vezes.

Sistemas de agentes ainda ficam acima

O "primeiro lugar" da Runway vale entre modelos de ação do mundo e políticas abertas de ponta a ponta. No ranking da NVIDIA, o Praxis-1 é o quinto no geral. O AMP1, um sistema agêntico baseado em modelo de linguagem, marca 86,0%, e o SenseNova-RoboRSI, também agêntico, 57,1%. Com os pesos abertos, qualquer laboratório pode testar se o ajuste fino de uma política baseada em vídeo fecha uma diferença de quase 40 pontos.