2stage-deformable_detr

[kmouleejunhyuk]

https://arxiv.org/pdf/2010.04159.pdf
deformable DETR 논문에서는 저자가 성능 향상을 위해 RPN네트워크를 추가한 모델(2stage)
그리고 iterative bounding box refinement mechanism을 제안합니다.

지금은 RPN네트워크를 추가한 모델이 복잡한 bbox를 더 잘 예측할 것 같아 2stage model을 시험합니다.

[jaehwan-AI]

혹시 다음 질문에 대해서 설명 가능하시면 부탁드리겠습니다.

1. 저번에 학습한 deformable DETR 구조에서 어느 부분에 RPN 네트워크를 추가한 것인가요?
2. iterative bounding box refinement mechanism은 어떤 것이며, RPN 네트워크를 추가하면 자동으로 수행이 되는 것인가요?
   아니면 따로 구현해야 하는 것인가요?

[kmouleejunhyuk]

요약하면, encoder only detr를 RPN으로 활용해 디코더 이전에 feed해주는 것 같습니다
또한, mmdetection에 따로 구현되어 있습니다(추가 개발 필요 x, 간단한 코드 옵션 변경으로 가능)

덧. 왜 재환님 deformable과 제 deformable은 성능 차이가 클까요?(valid-search의 def-detr 결과 참조 부탁드립니다)

[jaehwan-AI]

저는 deformable을 돌린 적이 없는 것 같은데 어떤 것을 말씀하시는 걸까요?
valid-search에는 [jkj_03]def_detr_pretrained 만 존재하는 것으로 알고 있습니다

[kmouleejunhyuk]

@jaehwan-AI 죄송합니다. 카톡에 swin-detr-softteacher순으로 성능이 좋다고 하시길래 model프로젝트의 결과가 재환님 꺼인줄 알았네요