2024.11.13 - #15 - CoVLA, Accelerated image processing for VSLAM, 2024 3D object & view generation overview

[changh95]

Interesting papers

CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving

• https://arxiv.org/pdf/2408.10845v1

Gotta go fast

KFAST

• Rosten 2006 의 FAST feature를 AVX2 가속
• 기존 방식에 비해 6 배 빠름
• https://github.com/komrad36/KFAST

RGB2Y

• rgb2gray
• OpenCV 보다 2-4배 빠름
• https://github.com/komrad36/RGB2Y

KfNN

• float vector Nearest neighbor matching (SIFT 매칭할 때...)
• https://github.com/komrad36/KfNN

FeatureAngle

• Fast feature angle direction 계산할 때
• https://github.com/komrad36/FeatureAngle

KLERP

• Bilinear interpolation을 OpenCV 보다 빠르게!
• https://github.com/komrad36/KLERP

K2NN

• Brute force matching을 빠르게
• https://github.com/komrad36/K2NN

BoxBlur

• Box blurring을 빠르게!
• https://github.com/komrad36/BoxBlur

---

가짜연구소

• Gaussian Belief Propagation, Coded-SLAM에 관심 있으신 분들
• 텐스토렌트 서버에서 LLM 추론하는거 보고 싶으신 분들
• https://umoh.io/ko/pseudo-1st-gg

[james-joobs]

3D 객체 생성과 3D 뷰 생성 기술 트렌드

1. 3D 객체 생성

DreamGaussian

• 특징:
  • 3D 가우시안의 프로그레시브 덴시피케이션을 통해 빠르게 수렴
  • 메시 추출 및 UV 공간에서의 텍스처 정제를 통해 고품질 3D 객체 생성
  • 단일 이미지 입력으로부터 2분 내에 고해상도 텍스처를 가진 3D 객체 생성
• 링크: DreamGaussian 프로젝트 페이지

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

• 특징:
  • 하이브리드 표현을 통해 3D 가우시안의 위치와 외형 속성 분리 학습
  • 코스 생성기와 슈퍼 해상도 모듈을 결합한 계단식 파이프라인 도입
  • 기존 방법들에 비해 수십 배 빠른 속도로 고품질 3D 객체 생성
• 링크: AGG 프로젝트 페이지

Large Multi-View Gaussian Model

• 특징:
  • 다중 뷰 이미지를 활용한 3D 가우시안 모델 학습
  • 고해상도 3D 객체 생성을 위한 효율적인 파이프라인 구축
  • 다양한 응용 분야에서의 활용 가능성 제시
• 링크: LGM GitHub 저장소

Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting

• 특징:
  • 텍스트 기반 3D 생성: 사용자가 입력한 텍스트 설명에 따라 해당하는 3D 객체를 자동으로 생성
  • 표면 정렬 가우시안 스플래팅: 가우시안 스플래팅 기법을 표면에 정렬하여 적용함으로써, 더 정확하고 세밀한 3D 구조를 표현
  • 효율적인 처리: 기존 방법들에 비해 빠른 처리 속도로 고품질의 3D 객체를 생성
• 링크: GitHub 저장소

GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

• 특징:

  • Gaussian Splatting 기반: 3D 장면을 가우시안 분포로 표현하여, 복잡한 장면을 효율적으로 렌더링하고 편집할 수 있음
  • Gaussian Semantic Tracing: 편집 대상의 위치를 추적하여, 원하는 부분만 정확하게 수정 가능
  • Hierarchical Gaussian Splatting (HGS): 2D 확산 모델의 무작위적인 생성 지침 하에서도 안정적이고 정밀한 결과를 얻기 위해 계층적 구조를 도입
  • 빠른 처리 속도: 단일 V100 GPU에서 약 20분 이내에 학습이 완료되며, 이는 기존 방법보다 두 배 이상 빠름

• 활용 사례:

  • 객체 제거 및 추가: 장면에서 특정 객체를 제거하거나 새로운 객체를 추가하는 작업을 효율적으로 수행 가능
  • 세밀한 편집: 장면의 특정 부분만을 선택적으로 수정하여, 원하는 결과를 정확하게 얻을 수 있음

• 링크: GaussianEditor 프로젝트 페이지

2. 3D 뷰 생성

Instruct-GS2GS: Editing 3D Gaussian Splatting Scenes with Instructions

• 특징:
  • 사용자가 입력한 텍스트 지시에 따라 3D 장면을 일관되게 수정
  • 3DGS의 효율성을 활용하여 기존 방법보다 빠른 학습과 추론 실현
  • Nerfstudio 플랫폼과 통합되어 사용자가 편리하게 편집 결과를 실시간으로 확인
• 링크: Instruct-GS2GS 프로젝트 페이지

LargeSpatialModel: End-to-end Unposed Images to Semantic 3D

• 특징:
  • 카메라의 위치나 각도에 대한 정보 없이도 3D 장면을 재구성 가능
  • 빠른 처리 속도로 즉각적인 3D 재구성 실현
  • 장면의 기하학적 구조뿐만 아니라, 각 객체의 의미적 정보도 함께 추출
  • 텍스트 명령을 통해 3D 장면을 수정하거나 조작 가능
• 링크: LargeSpatialModel 프로젝트 페이지

PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

• 특징:
  • 물리 기반 통합: 뉴턴 역학을 3D 가우시안에 통합하여 현실감 있는 동적 움직임을 구현
  • 통합된 시뮬레이션 및 렌더링: 동일한 3D 가우시안 커널을 시뮬레이션과 렌더링에 사용하여, 삼각형 또는 사면체 메싱과 같은 추가적인 지오메트리 변환 없이 일관된 결과를 제공
  • 다양한 소재 표현: 탄성체, 금속, 비뉴턴 유체, 입자 물질 등 다양한 소재의 동적 특성을 효과적으로 시뮬레이션하고 렌더링
• 링크: [PhysGaussian 프로젝트 페이지] (https://xpandora.github.io/PhysGaussian/)

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

• 특징:

• 시간-공간 통합 표현: 시간(동적 변화)과 공간(3D 구조)을 통합적으로 표현하는 4차원 가우시안을 사용하여 움직이는 객체나 씬의 변화를 세밀하게 추적하고 처리

• 동적 객체 렌더링: 가우시안 변형 필드를 활용하여 시간에 따라 변화하는 객체의 모양, 위치, 속성 등을 정확히 표현하며, 움직임이 많은 장면에서도 자연스러운 결과 제공

• 실시간 처리: 동적 장면의 변화를 실시간으로 렌더링할 수 있어, 가상 현실(VR), 증강 현실(AR), 게임과 같은 인터랙티브 응용 분야에서 활용이 가능

• 활용 사례:

  • 움직이는 객체 시뮬레이션: 자동차, 사람, 동물 등의 움직임을 포함한 동적 객체를 사실적으로 표현하여 시뮬레이션 환경을 더욱 몰입감 있게 만듬
  • 복잡한 동적 씬 처리: 바람에 흔들리는 나뭇잎, 물결의 움직임, 사람들의 동작과 같은 동적 요소를 포함한 씬을 효율적으로 처리하고 렌더링
  • 가상 환경 생성: 실시간으로 움직이는 객체와 장면을 렌더링하여 VR/AR 콘텐츠나 게임의 동적 환경을 구축

• 링크: [4D Generation 프로젝트 페이지] (https://guanjunwu.github.io/4dgs/)