AgiBot LIFE, 로봇에 하루치 기억 심었다…9분 걸리던 답을 80초에

AgiBot이 작업과 작업 사이에도 로봇이 계속 관찰하고 기억하도록 하는 프레임워크 LIFE를 공개하고, 무엇을 기억할지 정하는 부분인 RoboBeats를 오픈소스로 공개했다. RoboBeats는 0.8B, 2B, 4B 세 가지 크기로, Qwen3.5 위에 얹는 LoRA 어댑터다. 카메라 화면을 1초에 한 장씩 읽으며 "엘리베이터 문이 열렸나" 같은 조건이 충족됐는지, 새 사건이 생겼는지 판단한다. 기억에 기록되는 건 이렇게 표시된 순간뿐이다. 중국 매체들은 베이징 시간 11월 11일 이 소식을 보도했고, 기술 보고서는 10월 30일부터 arXiv에 올라 있다.

보고서에서 가장 눈에 띄는 결과는 실제 로봇 실험인데, 차이는 지능보다 비용에서 났다. 같은 답변 모델을 쓴 조건에서 LIFE는 사무실의 하루에 관한 질문에 30점 만점에 29.5점을 받았다. 같은 기억을 넘겨받은 범용 코딩 에이전트는 28.5점이었지만 문항당 554.7초가 걸렸고, LIFE는 80.6초였다. 입력 토큰은 306만 대 17만 2800이었다. 모든 걸 기억하는 로봇은 무엇을 기억할지 싸게 정해 주는 부품이 있을 때만 감당할 수 있고, 그 부품이 RoboBeats다.

하루치 녹화로 사무실 기억을 다시 짜다

실험에는 A3 Ultra 로봇의 전면 카메라가 10월 21일 21시부터 22일 21시까지 찍은 영상이 쓰였다. 업무 공간, 회의실, 탕비실이 담겼다. 게이트와 사전 필터가 256개 구간을 골라 더 큰 모델에 설명을 맡겼고, 최종 기억에는 키프레임 1296장이 남았다. 여섯 문항에는 회의가 끝난 뒤 남은 컵의 주인, 재킷을 마지막으로 본 곳, 점심시간이 끝난 시각 등이 포함됐고, 각 문항을 세 번씩 물었다. 기억 없이 원본 영상만 받은 코딩 에이전트는 24점에 문항당 961.5초가 걸렸다.

저자들 스스로 이를 "규모가 제한된 사례 연구"라고 부른다. 기억은 녹화본으로 사후에 오프라인 구축한 것이고, 로봇이 현장에서 실시간으로 만든 것은 아니다.

같은 기록 예산이면 균등 샘플링보다 14%포인트 높다

벤치마크에서 RoboBeats는 바탕 모델을 크게 앞섰다. StreamingBench 능동 출력 과제에서 RoboBeats-4B가 정확한 순간 앞뒤 2초 안에 반응한 비율은 **64.0%**로, 바탕 모델 Qwen3.5-4B의 **21.2%**보다 높았다. 보고서는 Claude Fable 5를 71.6%, Gemini 3.7 Flash를 **80.0%**로 적었는데, 각 모델이 공개한 자체 방식으로 잰 수치다. AgiBot이 함께 공개한 SSS-Bench(영상 171개, 질문 618개)에서는 RoboBeats-2B가 고른 기억으로 **60.5%**를 맞혔고, 같은 수의 프레임을 일정 간격으로 뽑았을 때는 **46.5%**였다.

RoboBeats의 학습 데이터에는 평가 벤치마크 중 하나인 Charades-STA가 들어 있다. 짧은 영상으로 다듬은 게이트가 처음 보는 공장이나 가정에서도 맞는 순간을 고를 수 있을까. 가중치는 공개됐고 코드는 Apache 2.0으로 풀렸으니, 로봇이 있는 누구나 직접 확인할 수 있다.