2025.01.08 - #21 - Gaussian Belief Propgation paper, NVIDIA 50xx GPU, Open X-embodiment, DROID, Genesis, Robogen, Foundation model survey

[changh95]

Interesting papers

https://youtube.com/playlist?list=PLQ_yig6ETZrstxRJmaprRMfJ2abJcNIsR&si=bD2gDyaAPh9Zfq82

Gaussian Belief Propagation (GBP) paper list

• FutureMapping: The Computational Structure of Spatial AI Systems
• FutureMapping 2: Gaussian Belief Propagation for Spatial AI
• Visual introduction to Gaussian Belief Propagation
• Bundle adjustment on a graph processor
• Incremental Abstraction in Distributed Probabilistic SLAM graphs
• Visual Odometry using a Focal-Plane sensor-processor
• BIT-VO: Visual Odometry at 300 FPS using Binary Features from the Focal Plane
• A Robot web for distributed many-device localisation
• Learning in deep factor graphs with Gaussian Belief Propagation
• Distributed Simultaneous Localisation and Auto-Calibration using Gaussian Belief Propagation
• PixRO: Pixel-Distributed Rotational Odometry with Gaussian Belief Propagation

https://gaussianbp.github.io/

Focal-plane sensor-processor (FPSP) paper list

• FutureMapping: The Computational Structure of Spatial AI Systems
• Visual Odometry using a Focal-Plane sensor-processor
• BIT-VO: Visual Odometry at 300 FPS using Binary Features from the Focal Plane
• PixRO: Pixel-Distributed Rotational Odometry with Gaussian Belief Propagation

SLAM with optimisable representations

• CodeSLAM - Learning a Compact, Optimisable Representation for Dense Visual SLAM
• SceneCode: Monocular Dense Semantic Reconstruction using Learned Encoded Scene Representations
• DeepFactors: Real-Time Probabilistic Dense Monocular SLAM
• CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
• Learning Depth Covariance Function
• COMO: Compact Mapping and Odometry

NVIDIA 50xx GPU

5070, 5070Ti, 5080, 5090

• RTX 5090: 32GB VRAM
• 레퍼런스 카드는 3.5 슬롯 예정. 비-레퍼 카드는 보통 +1 (i.e. 4.5 슬롯 정도 차지할 예정)
• 575W 파워 필요. 파워 서플라이 업그레이가 필요할수도.
• "AI TOPS" -> FP4 Trillion operations per second

Jetson Thor

• '로봇 컴퓨터'
• '많은 양의 센서 카메라, 라이다, 레이더 데이터를 처리' -> 토큰으로서 처리 (Transformer?)
• Orin 보다 20배 높은 처리량

DIGITS

• 고성능 GPU 탑재가 된 엔비디아의 첫 미니 PC
• Unified memory 128GB. 20-core ARM Grace CPU. Blackwell GPU
• $3000 시작
• ConnectX를 통해 클러스터링 가능. 405B 모델 서빙도 가능.

[chae2chae]

[25/01/08] Open X-embodiment, DROID, Genesis, Robogen, Foundation model survey

Open X-embodiment

https://robotics-transformer-x.github.io/

DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset

• Page
• visualizer
  
  
  

GENESIS

• https://genesis-world.readthedocs.io/en/latest/

• 범용 physics platform 으로 광범위한 소재와 물리적 현상을 시뮬레이션 할 수 있음

• 가볍고, 초고속이고, 파이썬으로 바로 사용하기 쉬움

• 강력하고 빠른 사진처럼 사실적인 렌더링 시스템

• 사용자가 입력한 자연어 설명을 다양한 형태의 데이터로 변환하는 생성 데이터 엔진

• 물리엔진은 로봇 및 그 이상을 위한 완전 자동화된 데이터 생성을 목표로 함

• 현재는 기본 물리엔진과 시뮬레이션 플랫폼을 오픈 소스로 제공하고 있음 , 생성 프레임워크는 가까운 미래에 출시된다고 함!

  라이센스

  The Genesis source code is licensed under Apache 2.0.

  Genesis's development has been made possible thanks to these open-source projects:

  • Taichi: High-performance cross-platform compute backend. Kudos to the Taichi team for their technical support!
  • FluidLab: Reference MPM solver implementation.
  • SPH_Taichi: Reference SPH solver implementation.
  • Ten Minute Physics and PBF3D: Reference PBD solver implementations.
  • MuJoCo: Reference for rigid body dynamics.
  • libccd: Reference for collision detection.
  • PyRender: Rasterization-based renderer.
  • LuisaCompute and LuisaRender: Ray-tracing DSL.
  예제

  

Papers

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

Yufei Wang [email protected]

https://github.com/Genesis-Embodied-AI/RoboGen : 공식페이지

chae2chae/PaperReview-and-Practices#10 : 리뷰

citation :59

요약

생성 시뮬레이션을 통해 다양한 기술을 자동으로 학습하는 생성 로봇 에이전트로 인간의 도움이 거의 필요하지 않음. 다양한 작업, 환경을 만들고 필요한 기술을 학습하는 로봇 시스템.

1. 학습할 Task, Learning 제안
2. Simulation 환경 생성
3. 제안 작업에 대한 하위 작업 분해
4. 최적 학습 방법 선택 Training Supervision 생성 -> 정책 학습

Foundation Models in Robotics: Applications,
Challenges, and the Future
Roya Firoozi1, Johnathan Tucker1, Stephen Tian1, Anirudha Majumdar2,6, Jiankai Sun1,Weiyu Liu1, Yuke Zhu3,4, Shuran Song1, Ashish Kapoor5, Karol Hausman1,6,Brian Ichter6, Danny Driess6,7, Jiajun Wu1, Cewu Lu8, Mac Schwager1
1Stanford University,2Princeton University,3UT Austin,4NVIDIA,
5Scaled Foundations,6Google DeepMind,7TU Berlin,8Shanghai Jiao Tong University

• Github

요약

• Foundation Model이 로보틱스 분야에 적용되는 사례를 조사

• 기존의 로보틱스 테스크들은 소규모 데이터 학습 → 제한적인 분야에 적용되었음

• 반면 인터넷 규모의 방대한 데이터로 사전 학습된 파운데이션 모델은 더 뛰어난 일반화 능력을 보임.
  (학습 데이터에 없는 문제를 제로샷 방식으로 해결하는 것처럼 보이는 새로운 능력이 발현되기도 함)

• Robot Autonomy stack 에서 다양한 요소를 향상 시킬 가능성을 지님(지각, 의사결정, 제어 등)

  • ex : LLM → code 생성 및 상식 추론 가능, VLM → Open Vocabulary 기반 시각 인식을 가능하게 함.

• However : Particularly around the scarcity of robot-relevant training data, safety guarantees and uncertainty quantification, and real-time execution.

• We explore how foundation models contribute to improving robot capabilities in the domains of perception, decision-making, and control.

• 내용

  • Foundation Models Background
    

  • Robotics
    

  • Perception
    
    

  • Embodied AI

    • Generalist AI
    • Simulators

  • Challenges and Future Directions