KNN project (Convolutional Neural Networks) at FIT (B|V)UT. 2023/2024 summer semestr.
- Zuzana Hrkľová xhrklo00
- Martin Kneslík xknesl02
- Vojtěch Vlach xvlach22
Libovolnou segmentační úlohu lze změnit na interaktivní tím, že na vstup sítě nedám jen obraz, ale i uživatelský vstup, třeba jako další "barevný" kanál s místy, které uživatel označil. Podobně to jde u bodových mrače. Můžete využít existující datasety (např. KITTI, NYU Depth V2, NYU Depth V2 - Kaggle), nebo si i můžete pujčit LIDAR Livox Horizon, přípdaně nějakou RGB-D kameru typu Kinect. Ning Xu, Brian Price, Scott Cohen, Jimei Yang, and Thomas Huang. Deep Interactive Object Selection. CVPR 2016. https://sites.google.com/view/deepselection
- paperswithcode.com/dataset/s3dis
- point cloud dataset
- 6 vnitřních komplexůs 271 místnostmi
- prostor je rozdělen do 13 sémantických kategorií
Použili jsme předtrénovaný MinkUnet (Minkowski Engine), což je síť na styl Unetu, ale využívající sparse konvoluce a sparse tensory vhodné pro řídce uložená data.
Článek, ze kterého vycházíme: Interactive Object Segmentation in 3D Point Clouds, článek
Minkowski engine (torch extension): docu GitHub
Kód ve složce src/InterObject3D byl převzat a následně upraven z repozitáře github.com/theodorakontogianni/InterObject3D