로보틱스 · 시뮬레이션 · 원격조작

RoboPlayground on Telearms

피지컬 AI에는 데이터 문제가 있습니다. 모델이 필요로 하는 실제 매니퓰레이션 데이터의 양은 연구실이 만들어낼 수 있는 규모를 훨씬 넘고, 한 시간마다 장비와 공간과 사람의 시간이 듭니다. RoboPlayground는 그 수집을 브라우저 탭에서 누구나 할 수 있는 일로 바꿉니다.

성과

01MuJoCo로 시뮬레이션한 양팔 매니퓰레이션 미션, 하드웨어 없이 브라우저에서 실행
0220Hz 고정 주기로 입력을 전송하는 1초 미만 제어 루프
03키보드, 게임패드, WebHID 기반 닌텐도 조이콘, WebXR 기반 Meta Quest 등 4가지 입력 방식
04RoboEval 벤치마크 기반 과제 설계: 8개 양팔 태스크, 3,000건 이상의 전문가 시연 데이터
05최대 동시 접속자, 원격조작 시간, 미션별 성공률 분석

브라우저만 있으면 누구나

매니퓰레이션 연구에는 연구실과 GPU, 파이썬 환경이 필요했습니다. 그것을 URL 뒤로 옮겼습니다. 이제 기여하는 데 로봇을 소유하거나 세팅할 줄 아는 것이 전제가 되지 않습니다.

놀이가 곧 학습 데이터

운영자에게 미니게임으로 보이는 것이 반대편에서는 재현 가능한 평가 에피소드가 됩니다. 모든 세션이 지금 이 모델들에게 정확히 부족한 종류의 데이터를 만들어냅니다.

내 손처럼 느껴져야 한다

로봇 팔이 늦게 반응하면 사람들은 기여를 멈추고 데이터도 끊깁니다. 영상과 제어를 분리해 영상이 혼잡해도 명령이 지연되지 않게 했고, 루프는 1초 아래로 유지됩니다.

브라우저에서 실물 로봇으로

시뮬레이션은 끝이 아니라 진입점입니다. 같은 과제 세트가 실물 양팔 로봇에서 그대로 돌아가고 같은 인터페이스가 실물 하드웨어를 구동하므로, 여기서 익힌 것이 무언가를 망가뜨릴 수 있는 기계로 이어집니다.