[Seg] Weekend_0502

피어세션 요약

• 심플하게 k-fold, TTA 추가합시다!!!

• 현재 1등 안현진 님 솔루션 (노션 염탐)
  기존 mIoU 방법 + 새로운 mIoU 방법으로 로컬에서 가장 높았던 거 앙상블
  CrossEntropy. DeepLabV3Plus(resnext101_16d swsl weight). CutMix 적용
  TTA(flip만)가 점수가 가장 많이 오름!!

• DeepLabV3Plus - backbone
  EfficientNet 계열보다 ResNet 계열이 좋은 듯.

• Augmentation
  Normalize. Gaussian noise는 별로임.
  flip. cutout 꼭 넣기!! cutMix도 효과가 있을 것 같다.
  TTA는 flip만!!!

---

[실험 내용 및 결과 공유]

준철님 (EMANet - 트랜스포머 계열)

• 약간 과소 적합일 때 성능이 잘 나올지도 모른다. 최적화가 아닌 일반화를 목표로!!!
  → 대체로 맞는 양상을 띠었다. 오버피팅이 적고 mIoU가 높을수록 리더보드가 높다.
  배치가 작을수록 valid와 Lb가 비슷해짐. 배치별로 평균내는 옛날 mIoU 방식이니까.
  augmentation 없이 최대 0.59까지 나옴.
  aug는 cutout. flip. randomscale(TTA) 추가해봤음.
• 지금 소타 논문 : 질감이랑 물질을 구별하는 데이터에 특화됨.
  → colorjitter를 넣는 게 색깔에 둔감해지는 방법
  → elastic transform 너무 느려서 고민 중..
• swin transformer
  TTA는 randomscale만 쓰는 것 같다.
  우퍼넷이랑 연결하려고 하는데 너무 어려움.
• 모델의 크기와 데이터 양이 비례해야 한다.
  큰 모델을 사용하려면 augmentation을 더 빡세게 줘야 하지 않을까??
  augmentation을 잘 주고 학습을 끝까지 시키는 게 맞는 것 같다.

---

형민님

• batch=4가 확실히 좋다. 로컬에서 한 폴드당 최고 0.65까지 나옴. lr도 절반으로 줄임.
  한 폴드당 6시간 걸려서 아직 4폴드 째. DeepLabV3Plust(SE_ResNet101)

---

기민님

• unknown만 거의 0에 가깝게 웨이트 줬는데 성능 차이 없음.
  의존성 있는 클래스들이 있음. 하나 올라가면 하나 떨어진다.
• aux parameter, freezee 안 쓰는 게 낫다.
• 오늘은 k-fold, resnext, TTA, cutout, cutmix 로 binary classification으로 실험할 예정.

---

주영님

• DeeplabV3Plus(efficient_b4)
  batch 8, accumulation step=2, dice + CE loss.
  → CE loss로 바꿔보기
• cross-validation 했는데 LB=0.25 나와서 미궁에 빠짐.
• test 함수 TTA 깃에 올리심 → 0.02 정도 오름. 0.64

---

민정님

• ASGNet - train 이미지 반으로 나눠서 support 로 넣어줘야 함.
  binary 성능은 좋은데 multclass로 바꾸기 어려워서 클래스별로 따로 학습할 예정.
  UNet으로도 해보겠음.

---

누리님

• Augmentation 실험 결과 (256)
  → random crop이 너무 데이터를 많이 손실하는 듯.
  → cutout 빼면 0.03정도 떨어짐
• 512로 augmentation 실험하기. (주영님 코드!!!)
  → 백본 se_resnext50_32x4d, resnext101_16d swsl)
  → 배치 4. Adam에 weight decay 없이. 스케줄러는 고민.
  → TTA flip만!! k-fold 추가하기
  → Fast AutoAugmentation 논문 공부해보기.