2024.10.22 - #12 - PROSAC, Efficient descriptors, PhD/professor hiring, UniTR, DSVT, BEVFusion, MaskBEV

[changh95]

Interesting papers

Survey on Embodied AI (Aligning Cyber Space with Physical World: A

Comprehensive Survey on Embodied AI)

• Paper Link
• GitHub Link

---

Old, but gold

Matching with PROSAC – Progressive Sample Consensus

Revisiting Binary Local Image Description for Resource Limited Devices

Hiring

• Hong Kong University of Science and Technology (HKUST) Faculty position
  • CV, Statement of contribution to 3-5 leading published works, statement of teaching and research, name and addresses of 3 refrees to [email protected] . Review begins 1 Nov 2024. Before 31 Dec 2024.
• PhD at Uni Bonn / Lamarr Institude
  • Continula learning, domain adaptation, representation learning for robot planning, foundation models in robotics, open-set and anomaly detection
  • https://cloud.vi.cs.uni-bonn.de/index.php/apps/forms/s/krPjagxoEBKr3y95k7cpg9ic
• Full professor position in Osaka university
  • https://www.es.osaka-u.ac.jp/en/recruitment/2024/images/20241008_Recruitment.pdf
• PhD studentship at Oxford
  • The Institute of Biomedical Engineering at University of Oxford is seeking highly motivated doctoral/MSc research students with a strong background in [Mechanical/electronics], [ML] and [Robotics].
    

[rubidiumchain]

Interesting papers

UniTR: A Unified and Efficient Multi-Modal Transformer for Bird’s-Eye-View Representation
-3D Object Detection
-BEV Map Segmentation

DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets)
-Lidar 3D Detection model중 하나로 Transformer를 활용
-Dynamic Sparse Window Attention


-Attention-style 3D Pooling

BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation
-Camera-lidar multi-modal 3D Detection
-lidar, image 각각의 feature를 BEV space로 보내 fusion하는 방법을 제시

Source code for "MaskBEV: Joint Object Detection and Footprint Completion for Bird's-eye View 3D Point Clouds"
-new 3D object detection paradigm for point clouds, based on BEV masks instead of bounding boxes.
-combining a PointPillars encoder with Mask2Former

InformedRRT Path Planning을 구현하는 코드에서 Perception에서 3D Detection하는 부분에서 디텍션결과를 Path Planning에 반영할수 있을까?

(
InformedRRT* 경로 계획 알고리즘에 3D 객체 감지 결과를 통합하여 경로 계획을 개선방안

3D 감지 결과 통합
객체 표현
3D 감지 결과를 경계 상자(bounding box)나 점군(point cloud) 형태로 표현합니다.
각 객체에 대해 위치, 크기, 방향 정보를 저장합니다.
장애물 맵 업데이트
감지된 객체를 InformedRRT*의 장애물 맵에 추가합니다.
정적 장애물과 동적 장애물을 구분하여 처리합니다.
샘플링 전략 수정
감지된 객체 주변에 추가적인 여유 공간을 두어 안전한 경로를 계획합니다.
동적 객체의 경우, 예측된 이동 경로를 고려하여 샘플링 영역을 조정합니다.

)
구현 방안
(

class InformedRRTStar:
def init(self, start, goal, obstacle_map):
self.start = start
self.goal = goal
self.obstacle_map = obstacle_map
# 기타 초기화 코드...

def update_obstacles(self, detected_objects):
    for obj in detected_objects:
        # 감지된 객체를 장애물 맵에 추가
        self.obstacle_map.add_obstacle(obj)

def sample_free_space(self):
    # 기존 샘플링 로직
    sample = self.original_sampling()
    
    # 감지된 객체 주변에 추가 여유 공간 확보
    while self.is_near_detected_object(sample):
        sample = self.original_sampling()
    
    return sample

def is_near_detected_object(self, sample):
    # 샘플이 감지된 객체 근처인지 확인
    for obj in self.obstacle_map.detected_objects:
        if distance(sample, obj) < SAFETY_MARGIN:
            return True
    return False

def plan_path(self, detected_objects):
    # 감지된 객체로 장애물 맵 업데이트
    self.update_obstacles(detected_objects)
    
    # InformedRRT* 알고리즘 실행
    path = self.informed_rrt_star_algorithm()
    
    return path

)

news

Claude | Computer use for orchestrating tasks
-Claude 3.5 Sonnet 최신 버전 공개.
-Computer use라는 기능이 새로 추가.
-컴퓨터 스샷을 찍어서 화면을 이해하고, 직접 마우스와 키보드를 조작해서 사용자가 원하는 작업을 수행
-LAM(Large Action Model)이 Computer use와 거의 유사
-ChatGPT의 Function calling보다 훨씬 범용적
-Langchain의 LangGraph로 정교한 Agent를 Program하는작업을 대체가능?