김준철의 실험 일지

Day 1

2021.04.26

활동

• Segmentation Model Survey논문 정리 및 방향성 제시

• 현재 Sota논문 Rethinking Pre-training and Self-training 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v01)	0.29/	-	FCN8s	Link

• v01 실험
  batch : 16
  lr = 1e-4

---

2021.04.27

활동

• FocalLoss 논문 Focal Loss for Dense Object Detection 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v02)	0.35/	-	EMANet	Link

• v02 실험
  batch : 4
  num_epochs = 20
  lr = 1e-6
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

EMANet 512이미지 사이즈 20epoch validation score 0.35까지 꾸준하게 올랐다. -> 40 epoch정도로 확인 해 볼 예정

---

2021.04.28

활동

• Weight Decay 논문 Simple Weight Decay Can Improve Generalization 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v03)	0.48/0.612	-	EMANet	Link
2(v04)	0.32/	-	EMANet	Link

• v03 실험
  batch : 4
  num_epochs = 60
  lr = 1e-6
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

• v04 실험
  batch : 4
  num_epochs = 40
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

learning_rate가 높은 경우에 loss값은 빠르게 줄지만 mIoU는 잘 오르지 않는 현상이 발생

---

2021.04.29

활동

• CosineAnealingWarmup 도입 전 SGDR:Stochastic Gradient Descent with Warm Restarts 논문 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v04)	0.48/0.48	-	EMANet	Link

• v04 재실험
  batch : 4
  num_epochs = 60
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

v04 (normalize 코드 부분에서 오류로 인한 문제 발견)

---

2021.04.30

활동

• Swin Transformer : Hierarchical Vision Transformer using Shifted Windows 논문 정리

Trials	mloU	Augmentation	Model	Code
1(v05-t)	-	-	EMANet	-
2(v05)	-	-	EMANet	Link

• v05-test 실험

  • normalize 문제 해결 이후 실행
    batch : 4
    num_epochs = 60
    lr = 5e-5
    SEED = 21
    weight_decay = 1e-6
    input_size = 512

• v05 실험

  • CosineAnealingScheduler 도입
    batch : 8 num_epochs = 130 lr = 5e-5 weight_decay = 1e-6 T_0 = 10 T_mult = 2

v05-1 은 normalize 문제 해결 후 재실험

v05-2 는 batch를 늘리고 cosine 스케쥴러 도입

• v05가 훨씬 안정적이고 빠른데 cosine 때문인지 batch때문인지 확인 필요

---