[Seg] Day2_0427

피어세션 요약

• 클래스 불균형 + 일반화 고민합시다!!
  부족한 클래스 보충 (특히 배터리)
  CutMix : 어차피 픽셀 단위 예측인데 컷믹스가 효과가 있을지 미지수.
  컷믹스 적용했는데 객체 위에 붙어버리면 어떡하죠??

• 클래스별로 스코어 측정 (utils.py 약간 수정)
  특정 클래스를 유독 많이 틀리는지 확인해보자. 특히, UNKNOWN이나 배터리!!

• Label smoothing

• 캐글 솔루션 참고: 다양한 이미지 크기로 앙상블

• Loss function 섞어보기!!
  성능 잘 나오는 순서: CrossEntropy > Dice Loss > Focal Loss (현재까지는 그러함)

• Optimizer
  SOTA 논문은 거의 sgd로 2000 에폭 돌린다. ASGNet도 sgd.
  무난하게 할 때는 Adam, CosineAnnealing(WarmRestarts)

• 모델 아키텍쳐
  현재까지 실험에 의하면 DeepLabV3 & Plus, EMANet 성능 좋음

• 최적의 augmentation 조합 찾기 (모델 먼저 정하고 나서)
  ⇒ 최대한 많은 transform을 넣고 하나씩 빼보면서
  실험에 큰 영향을 끼치는 요소를 파악한다.
  https://github.com/JeongMyeong/lotte-visionAI-competition/

• k-fold cv (학습 오래 걸리니 마지막에)
  기본적인 방법으로 할지? 클래스 불균형 고려해서 나눌지?

---

[실험 내용 및 결과 공유]

준철님

• EMANet. input_size = 256 & focal loss 실험 중

• 트랜스포머 계열
  데이터가 많을 때 유리 → 1에폭에 바로 학습 로스 낮게 나옴. lr 줄여서 해보기
  context 강점. 배경 부분을 매끄럽게 잘 예측하는 편. ex) 배경이 박스 → 종이로 라벨링
  단점: 파라미터 너무 많아서 오래 걸림.

• 데이터 난장판
  비닐이 너무 강력!! 비닐봉지에 쌓여있으면 다 비닐. 포장된 빨대도.
  배경이 박스 → 종이로 라벨링.
  페트병에 붙은 비닐 → 플라스틱
  배경에 물체가 있어도 배경으로 라벨링 된 경우가 있다.

     Q. 그러면 texture를 무시하는 경향이 있는 걸까요??
  

• 드론 classifier 논문: RandomRotation (augmentation)으로 성능 크게 향상
  → 상하 반전이나 90도 회전도 적용해보면 좋을 듯!

---

형민님

• [LB 2위 - mIOU = 0.5823]
  DeepLabV3Plus (SE_ResNet101, batch=16, image_size=512)
  Adam (default), lr scheduler는 안 썼음
  2에폭 mIOU = 0.37 → 3에폭 mIOU = 0.41
  ⇒ 20에폭 쯤 멈춤 loss = 0.29, mIOU = 0.46 (학습 120~150분 소요)

• PSPNet, UNet 성능 낮음. (PSPNet은 스토리텔링 기반이므로 우리 문제에는 안 맞는 듯)

• DeepLabV3Plus (resnet34, batch=16, image_size=512) → 학습 30분~1시간 소요

• Augmentation : 정규화 했더니 너무 어두워지는 경향 → 기민님은 정규화 제외시킴.
  정규화 + horizontal flip 로 실험 : mIOU = 0.434

# Stage 1 그대로 적용 -> 현 리더보드 2위
train_transform = A.Compose([
                  #Resize(height=CFG['resize'], width=CFG['resize'], p=1.0),
                  HorizontalFlip(p = 0.5),
                  VerticalFlip(p = 0.5),
                  #CLAHE(clip_limit=4.0, tile_grid_size=(8, 8), always_apply=False, p=0.5),
                  IAAPerspective(scale=(0.05, 0.1), keep_size=True, always_apply=False, p=0.5),
                  HueSaturationValue(hue_shift_limit=0.2, sat_shift_limit=0.2, val_shift_limit=0.2, p = 0.5),
                  RandomBrightnessContrast(brightness_limit=(-0.1, 0.1), contrast_limit = (-0.1, 0.1), p = 0.5),
                  Normalize(mean = [0.485, 0.456, 0.406], 
                            std = [0.229, 0.224, 0.225],
                            max_pixel_value=1.0 ,
                            p = 1.0
                           ),
                  Cutout(p=0.5),
                  ToTensorV2(p=1.0),
      ], p = 1.0)

---

기민님

• 어제 실험결과: valid mIOU 0.46 (best_epoch=12) → Public LB = 0.5599
  DeepLabV3 (resnet101, batch=5)
  DataLoader → num_worker=0으로 해야 cpu 안 터짐!!

• Dice Loss : mIOU 엄청 느리게 상승. 60에폭에 mIOU=0.32 → Public LB 0.5099 (민정님 제출)

• 오늘의 실험
  현재 focal loss + dice loss 실험 중. 모델은 계속 DeepLabV3 (resnet101)
  시도할 예정 : Label smoothing + 클래스 마다 스코어 뽑기
  인코더 전체를 학습하지 말고 앞쪽 몇 단이라도 freeze하면 어떨지 고민 중.

• 학습할 때는 고해상도가 유리하므로 보통 down sizing하면 손해다.
  그런데, 256도 크게 차이가 없으면 RandomCrop을 써서 데이터 증강 효과를 내보는 게 어떨까??

• CRF layer https://pypi.org/project/crfseg/ (boundary 후처리, 최후의 수단)
  인퍼런스 때만 추가하는 건지 학습할 때 같이 끼워넣는 건지 잘 모르겠다.
  RNN + crf랑 동시에 사용 → 테두리를 찾아내는 end-to-end 모델이 PASCAL 성능 75% 나옴.

---

주영님

• 캐글이랑 똑같은 하이퍼 파라미터로 실험 중
  UNet + EfficientNet, batch_size=16, accumulation_step=2
  Dice Loss. 10에폭 째 돌리는 중.

---

민정님

• 깃 사용법 pdf 1~7페이지
  private repo라서 서버에 ssh 등록 안 해두면 git clone할 때마다 에러 발생!!

• 무조건 git pull origin - commit - git push 본인브랜치 하는 습관!! main은 건드리지 말자!!
  git remote add origin [repo주소]
  git push origin(=repo주소) 본인브랜치

• Wiki에 실험 결과 올릴 때 어떤 부분이 좋아졌는지, 나빠졌는지 같이 작성하기

• ASGNet https://github.com/Reagan1311/ASGNet (최신 논문, weight도 있음)

• HRNet https://github.com/HRNet/HRNet-Semantic-Segmentation
  COCO(우리 데이터랑 유사)에 대해 성능 좋은 편
  sgd, RMI loss

• Region Mutual Information (RMI) Loss for Semantic Segmentation
  https://arxiv.org/pdf/1910.12037.pdf
  https://github.com/ZJULearning/RMI

---

누리님 (대리실험)

• DeepLabV3 (resnet101, batch=5, image_size=512)
  CrossEntropy
  AdamW(lr=1e-4, weight_decay=4e-2)
  CosineAnnealingWarmRestarts(optimizer, T_0=5, eta_min=1.2e-5)
  Transform : ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.2, always_apply=False, p=0.5) + HorizontalFlip()
  ====================================
  5에폭 CEloss = 0.2758, mIOU = 0.4415
  10에폭 CEloss = 0.2532, mIOU = 0.4498 (best)
  14에폭 CEloss = 0.2563, mIOU = 0.4518
  15에폭 CEloss = 0.2602, mIOU = 0.4650
  20에폭 CEloss = 0.2608, mIOU = 0.4455
  ===================================
  학습시간 : 총 5시간 소요
  1-7에폭 : 에폭당 12분 40초
  8-11에폭 : 25분 (2배로 증가)
  12에폭 : 16분
  13-20에폭 : 다시 12분 40초

• DeepLabV3 (resnet101, batch=5, image_size=512)
  FocalLoss(gamma=2)
  AdamW(lr=1e-4, weight_decay=4e-2)
  CosineAnnealingWarmRestarts(optimizer, T_0=5, eta_min=1.2e-5)
  Transform : ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.2, always_apply=False, p=0.5) + HorizontalFlip()
  ====================================
  5에폭 FocalLoss = 0.1572, mIOU = 0.4413
  9에폭 (best) FocalLoss = 0.1534, mIOU = 0.4333
  10에폭 FocalLoss = 0.1555, mIOU = 0.4350
  ============ 진행 중 ============