Typed Entity Marker 실험 결과입니다.

[sangHa0411]

Typed Entity Marker 실험에 대해서 정리해봤습니다.

Training Environment

PLM : monologg/koelectra-base-v3-discriminator
epochs : 10
learning rate : 5e-5
warmup_steps : 500
weight_decay : 1e-4
train_batch_size : 16
eval_batch_size : 16

1. Sentence Structure

• Normal : 파란색
  • Sen : 인물 박용오 (朴容旿, 날짜 1937년 4월 29일 (음력 3월 19일)(음력 3월 19일) ~ 2009년 11월 4일)는 서울에서 태어난 대한민국의 기업인으로 두산그룹 회장, KBO 총재 등을 역임했다.
• Type Entity : 녹색
  • Sen : [PER] 박용오 [PER] (朴容旿, [DAT] 1937년 4월 29일 [DAT] (음력 3월 19일)(음력 3월 19일) ~ 2009년 11월 4일)는 서울에서 태어난 대한민국의 기업인으로 두산그룹 회장, KBO 총재 등을 역임했다.
• Punct : 갈색
  • Sen : ▲ ▫ 인물 ▫ 박용오 ▲ (朴容旿, ◈ ☆ 날짜 ☆ 1937년 4월 29일 ◈ (음력 3월 19일)(음력 3월 19일) ~ 2009년 11월 4일)는 서울에서 태어난 대한민국의 기업인으로 두산그룹 회장, KBO 총재 등을 역임했다.

2. F1 Score Result

• Type Entity 및 Punct를 적용한 것이 Normal 보다 성능이 더 좋았습니다.
• 초반부에는 Pucnt이 성능이 좋았으나 후반부에는 Type Entity가 성능이 더 좋았습니다. (Validation Dataset 기준)

3. Auprc Result

• 전체적으로 Type Entity 및 Normal이 Punct보다 성능이 좋았습니다.

4. 제출 결과

직접 제출하고 결과를 확인해봤습니다.

1. Punct
   • F1 : 63.190
   • Auprc : 64.557
2. Typed Entity
   • F1 : 61.024
   • Auprc : 56.416

Validation Set에서의 결과와는 달리 실제 제출결과 Punct가 성능이 더 좋은 것으로 파악이 되었습니다!

[j961224]

깔끔한 정리 감사합니다!

[sangHa0411]

감사합니다!