김준철의 실험 일지

Day 1

2021.04.26

활동

• Segmentation Model Survey논문 정리 및 방향성 제시

• 현재 Sota논문 Rethinking Pre-training and Self-training 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v01)	0.29/	-	FCN8s	Link

• v01 실험 batch : 16 lr = 1e-4

---

2021.04.27

활동

• FocalLoss 논문 Focal Loss for Dense Object Detection 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v02)	0.35/	-	EMANet	Link

• v02 실험
  batch : 4
  num_epochs = 20
  lr = 1e-6
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

EMANet 512이미지 사이즈 20epoch validation score 0.35까지 꾸준하게 올랐다. -> 40 epoch정도로 확인 해 볼 예정

---

2021.04.28

활동

• Weight Decay 논문 Simple Weight Decay Can Improve Generalization 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v03)	0.48/0.612	-	EMANet	Link
2(v04)	0.32/	-	EMANet	Link

• v03 실험 batch : 4
  num_epochs = 60
  lr = 1e-6
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

• v04 실험 batch : 4
  num_epochs = 40
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

learning_rate가 높은 경우에 loss값은 빠르게 줄지만 mIoU는 잘 오르지 않는 현상이 발생

---

2021.04.29

활동

• CosineAnealingWarmup 도입 전 SGDR:Stochastic Gradient Descent with Warm Restarts 논문 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v04)	0.48/0.48	-	EMANet	Link

• v04 재실험 batch : 4
  num_epochs = 60
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

v04 (normalize 코드 부분에서 오류로 인한 문제 발견)

---

2021.04.30

활동

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows 논문 정리

Trials	mloU	Augmentation	Model	Cpde
1(v05)	-	-	EMANet	Link
2(v05)	-	-	EMANet	Link

• 첫번째 v05 실험

• normalize 문제 해결 이후 진행 중 batch : 4
  num_epochs = 60
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

• 두번째 v05 실험

• CosineAnealingScheduler 도입 batch : 8 num_epochs = 130 lr = 5e-5 weight_decay = 1e-6 T_0 = 10 T_mult = 2

첫 번째 v05은 normalize 문제 해결 후 재실험

두 번째 v05는 batch를 늘리고 cosine 스케쥴러 도입

---