[피어세션] 2021-05-27

[nureesong]

오늘 제출 5회 : 베이스라인 Attention 50에폭 (8시간 반 소요)

🚨 내일 오전 7시반~8시에 제출하기

🧑🏻‍💻 준구's 새벽 제출 VLOG

• [누리] Random split
• 준철's validation set 확인 ( data_info.txt 참고 → random shuffle 안 되어있음 )
  [준철] train: fold 0-3 & val: fold 4
  [준구] train: fold 0-2,4 & val: fold 3
  [주영] 코랩. train: fold 0,1,3,4 & val: fold 2 (제출 후보)
• [누리] 코랩. Random split. vocab 추가
• [지형] 코랩. 이미지 기반 validation set 만들기
  준철이 validation + 이미지 ratio 고려하기???

# 준철이 validation set 사용할 때 추가하기!!!!

import pandas as pd

root = os.path.join(os.path.dirname(groundtruth), "images")    
####----------------------    
print(root)    
print(os.path.dirname(groundtruth))    
df = pd.read_csv(os.path.join(os.path.dirname(groundtruth), 'data_info.txt'))    
val_image_names = set(df[df['fold']==2]['image_name'].values)    
train_image_names = set(df[df['fold']<2]['image_name'].values)    
####----------------------    
with open(groundtruth, "r") as fd:        
	data=[]        
	for line in fd:            
		data.append(line.strip().split("\t"))        
		random.shuffle(data)        
		dataset_len = round(len(data) * proportion)        
		data = data[:dataset_len]    
####--------------        
train_data = [[os.path.join(root, x[0]), x[1]] for x in data if x[0] in train_image_names]        
val_data = [[os.path.join(root, x[0]), x[1]] for x in data if x[0] in val_image_names]    
####-------------        
# data = [[os.path.join(root, x[0]), x[1]] for x in data]    
return train_data, val_data

---

현재 실험 중

• 빠른 실험: 4만 장만 학습 (제출X)
  [형민] Attention
  train: fold 0,1 & val: fold 4 (준철이 결과랑 비교하기)
  → 실험 빨리 끝나면 여러 조합 돌려보기!!
• [지형] SATRN
  5에폭에 4시간. Random split
  6에폭: validation sentence_acc = 0.2 WOW!!

📌 실험 꿀팁

• VScode extension: git history 설치 → 커밋한 코드 알 수 있음
• tmux 사용법
  세션 종료: ctrl + b → d (학습은 돌아가는 상태)
  세션 접속: tmux attach
  세션 완전종료: ctrl + d (⛔️진짜 끄겠다는 거⛔️)

---

베이스라인 코드 리뷰

• 모듈화의 제왕 ✨빛주영✨
• train.py
  run_epoch 대신 train_one_epoch 함수로 수정
  get_train_transforms → torchvision말고 albumentation으로 바꿈
  lr scheduler는 epoch, iteration 중 어떤 기준인지?
  save_checkpoint가 매 에폭으로 되어 있어서 best sentence acc를 달성했을 때 저장하도록 수정함.
• dataset.py
  PIL보다 opencv가 이미지 처리 속도가 더 빠르다!!
  adaptiveThreshold 적용했더니 오히려 학습이 방해되는 것 같아 제거함
  h/w>2이면 rotate해버림
• utils.py 에서 optimizer 수정할 수 있음
  AdamP 다운받아서 utils.py에 import 하기 (elif로 추가하면 됨)
• lr scheduler 에폭 안에 들어있는 게 맞는지 다시 확인해보자!
  → CircularLRBeta 는 linear로 증가했다가 감소하는 형태
• criterion: loss 함수 밖으로 빼기
• metric: (1-wer)로 수정해야 함!!

---

💡 실험 아이디어

• 최대한 많은 외부 데이터로 pretrained weight 만들기
  → 원데이터 13G + 캐글 10G + 캐글 깔끔한 수식 등등
  [누리] 주말 내내 돌리기??
• width 실험 (제출X)
  필요성: EAD 결과, aspect_ratio = 평균 4 인데 resize하면 square 이미지 되면서 정보 손실 발생.
• 데이터 전처리 - 주영오빠.준철이.준구오빠
  image preprocessing 관련 논문 읽기
  베이스라인 dataset.py 에서 crop=True : 이미지 가장자리의 흰 부분 자르기
  → grayscale로 변환한 뒤 bounding box 자름
• ASTER - Bi-Directional LSTM 추가해보기
• 학습 이미지는 전부 똑바로 돌려서 학습시키고 inference 할 때 90,180,270 돌려서
  네 가지에 대해 score를 측정하고 가장 높은 confidence 하나를 선택하면
  평균으로 앙상블하는 거보다 좋지 않을까?? (직접 만들어야해서 조금 까다롭긴 하다.)
• validation 보면서 주로 틀리는 이미지를 보강하기!!
• 🧑🏻‍🏫 준철이의 GAN 강의 기대 중!!

---

📄 SATRN 논문 리뷰

• encoder : CNN은 가볍게. 뽑아낼 피처가 많지 않다고 본 거 같다.
  글씨와 배경의 경계만 구별하는 역할. 다른 논문을 봐도 무거워봤자 denseNet 쓴다.
  이미지를 보기만 하면 되니까 도수 높은 안경이 필요하지 않은 셈!
• decoder : transformer에 보낼 때 2D positional encoding (연산량이 많아서 트랜스포머 사용)
• 1D vector: GRU LSTM
• SATRN : yaml 파일을 보면 1채널로 되어 있음. RGB로 넣는 게 데이터 손실이 없을 듯.
  → swin을 쓰면 CNN보다 색상 검출이 잘 되지 않을까??