김준철의 실험 일지

Day 1

2021.04.26

활동

• Segmentation Model Survey논문 정리 및 방향성 제시

• 현재 Sota논문 Rethinking Pre-training and Self-training 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v01)	0.29/0.327	-	FCN8s	Link

• v01 실험
  batch : 16
  lr = 1e-4

---

2021.04.27

활동

• FocalLoss 논문 Focal Loss for Dense Object Detection 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v02)	0.35/0.471	-	EMANet	Link

• v02 실험
  batch : 4
  num_epochs = 20
  lr = 1e-6
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

결과 및 방향성

• EMANet 512이미지 사이즈 20epoch validation score 0.35까지 꾸준하게 올랐다. -> 40 epoch정도로 확인 해 볼 예정

---

2021.04.28

활동

• Weight Decay 논문 Simple Weight Decay Can Improve Generalization 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v03)	0.48/0.612	-	EMANet	Link
2(v04)	0.32/	-	EMANet	Link

• v03 실험
  batch : 4
  num_epochs = 60
  lr = 1e-6
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

• v04 실험
  batch : 4
  num_epochs = 40
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

결과 및 방향성

• learning_rate가 높은 경우에 loss값은 빠르게 줄지만 mIoU는 잘 오르지 않는 현상이 발생 -> lr 조정 필요

---

2021.04.29

활동

• CosineAnealingWarmup 도입 전 SGDR:Stochastic Gradient Descent with Warm Restarts 논문 정리

실험

Trials	mloU	Augmentation	Model	Code
1(v04)	0.48/0.48	-	EMANet	Link

• v04 재실험
  batch : 4
  num_epochs = 60
  lr = 5e-5
  SEED = 21
  weight_decay = 1e-6
  input_size = 512

결과 및 방향성

• v04 (normalize 코드 부분에서 오류로 인한 문제 발견)

---

2021.04.30

활동

• Swin Transformer : Hierarchical Vision Transformer using Shifted Windows 논문 정리
• Stratified K-Fold 코드 구현

Trials	mloU	Augmentation	Model	Code
1(v05-t1)	0.50/	-	EMANet	-
2(v05)	0.572/0.58	-	EMANet	Link
3(v05-t2)	-	-	EMANet	-

• v05-t1 실험

  • normalize 문제 해결 이후 실행
    batch : 4
    num_epochs = 60
    lr = 5e-6
    SEED = 21
    weight_decay = 1e-6
    input_size = 512

• v05 실험

  • CosineAnealingScheduler 확인
    batch : 8
    num_epochs = 130
    lr = 5e-6
    weight_decay = 1e-6
    T_0 = 10
    T_mult = 2

• v05-t2 실험

  • 목적 : batch와 scheduler 성능 확인 batch : 4
    num_epochs = 130
    lr = 5e-6
    weight_decay = 1e-6
    T_0 = 10
    T_mult = 2

결과 및 방향성

• v05가 훨씬 안정적이고 빠른데 cosine 때문인지 batch때문인지 확인 필요 -> batch가 학습속도에 영향이 가장 컸다.
• lr 너무 작아 수렴이 늦다. 비슷한 성능을 빠르게 내는 lr 탐색 5e-5 테스트 예정
• CNN기반 모델은 배터리를 잘 학습하지 못하는 문제점이 있었지만 transformer기반의 모델은 배터리를 비교적 잘 학습했다.
• Learning Rate

---

2021.05.01

활동

• stratified cv 실행

Trials	mloU	Augmentation	Model	Code
1(v06)	0.58/0.56	-	EMANet	-

• v06 실험
  • validation set이 높음에도 과적합 상태는 좋지 못하다. batch : 4
    num_epochs = 60
    lr = 5e-6
    SEED = 21
    weight_decay = 1e-6
    input_size = 512

결과 및 방향성

• validation 점수가 높은 것이 좋은 점수를 보장하지는 않는다. (segmentation의 특징인지 모르겠지만 과적합 되더라도 validation set이 꾸준히 증가한다.)
  -> 과적합 상태가 안되면서 mIoU점수가 높은 것을 고려하기 or augmentation, regularization을 여러가지 반영하고 validation set점수 고려

---

2021.05.02

활동

• stratified cv 실행

Trials	mloU	Augmentation	Model	Code
1(v07)	0.55/0.55	-	EMANet	-

• v07 실험
  • augmentation, regularization 주고 cv적용 batch : 4
    num_epochs = 60
    lr = 5e-6
    SEED = 21
    weight_decay = 1e-6
    input_size = 512

결과 및 방향성

• cv 적용하니 validation set 신뢰도가 높다.
• 잘못된 라벨링 등 데이터에 문제가 있지만 가장 큰 문제는 데이터의 수가 적다는 점이다.
  -> validation set에 맞는 augmentation을 가장 많이 찾는 것이 중요하다. 이후 regularization적용 후 학습 잘 시키는 것이 중요하다.

---