김형민의 실험 일지

Day 1

2021.04.26 첫날 GPU 서버가 할당되지 않아서 실험을 진행하지 못함. 전반적인 Model들에 대한 공부를 진행, 조원들과 자기소개를 하고 Ground Rule을 정함

---

Day 2

2021.04.27

Trials	mloU	Augmentation	Model	Epochs
1	0.4927	None	PSPNet + Default	16
2	0.5823	All_Augmentation	DeepLabV3Plus + ResNet101	15
3	0.6203	All_Augmentation	DeepLabV3Plus + SE_Net101	24
4	0.6172	All_Augmentation	DeepLabV3Plus + SE_Net101	15
5	0.6174	All_Augmentation	DeepLabV3Plus + SE_Net101	20

All_Augmentation = ShiftScaleRotate(border_mode=1), GridDistortion(border_mode=1), Blur(blur_limit=1), HorizontalFlip(p=0.5), Rotate(border_mode=1), RandomBrightnessContrast(), Cutout(p=0.5),

Trial 3에서 최고점이 나왔다. DeepLabV3Plus를 사용하는 것이 좋은 결과를 내는 것을 확인, BackBone과 Optimizer를 계속 수정해볼 계획

Day 3

2021.04.28

Trials	mloU	Augmentation	Model	Epochs
6	0.6093	All_Augmentation	DeepLabV3Plus + SE_Net101 + AdamW, CosineAnnealingWarmRestarts(T_0 = 5)	50
7	0.6138	All_Augmentation	DeepLabV3Plus + SE_Net101 + AdamW, CosineAnnealingWarmRestarts(T_0 = 5)	34
8	0.6132	All_Augmentation	DeepLabV3Plus + SE_Net101 + AdamW, CosineAnnealingWarmRestarts(T_0 = 5)	24
9	0.6163	All_Augmentation	DeepLabV3Plus + SE_Net101 + CustomLoss(Dice + CE)	15
10	0.6161	All_Augmentation	DeepLabV3Plus + SE_Net101 + CustomLoss(Dice + CE)	25

AdamW와 Schedular를 사용해봤지만 오히려 성능이 떨어졌음. T_0를 5로 너무 낮게 설정해서 문제가 생긴 것으로 예상됨 추후에 15정도의 높은 수치로 진행해볼 예정

기민님이 주신 CustomLoss를 적용해봄. 기민님의 경우 성능이 올랐다고 하셨는데 나의 경우는 떨어졌음. 이유는 불명....

---

Day 4

2021.04.29

Trials	mloU	Augmentation	Model	Epochs
11	0.6042	All_Augmentation	DeepLabV3Plus + tf-efficientNet-b4	25
12	0.6078	All_Augmentation	DeepLabV3Plus + tf-efficientNet-b4	34

Stage1에서 좋은 성능을 보여줬던 Tf-EfficientNet-B4를 사용해봤으나, 시간만 더 오래걸리고 효율이 안좋음... 혹자가 B7을 쓰면 점수가 높게 나온다고 하던데 너무 오래걸릴것같음.