Entity Special Token 결과 공유

[zgotter]

Entity Special Token을 추가하는 기법을 적용한 결과를 공유합니다!!

실험 내용은 ./viz/sunghan/exp02_add entity info_시퀀스에 entity 정보 추가.ipynb 에서 보실 수 있습니다.

---

적용전 토크나이즈된 문장

['[CLS]', '비틀즈', '[SEP]', '조지', '해리', '##슨', '[SEP]', '〈', 'So', '##me', '##th', '##ing', '〉', '는', '조지', '해리', '##슨', '##이', '쓰', '##고', '비틀즈', '##가', '1969', '##년', '앨범', '《', 'Ab', '##be', '##y', 'Ro', '##ad', '》', '에', '담', '##은', '노래', '##다', '.', '[SEP]']

적용후 토크나이즈된 문장

['[CLS]', '[S:ORG]', '비틀즈', '[/S:ORG]', '[SEP]', '[O:PER]', '조지', '해리', '##슨', '[/O:PER]', '[SEP]', '〈', 'So', '##me', '##th', '##ing', '〉', '는', '[O:PER]', '조지', '해리', '##슨', '[/O:PER]', '이', '쓰', '##고', '[S:ORG]', '비틀즈', '[/S:ORG]', '가', '1969', '##년', '앨범', '《', 'Ab', '##be', '##y', 'Ro', '##ad', '》', '에', '담', '##은', '노래', '##다', '.', '[SEP]']

---

먼저 entity special token 적용 전 validation split만 하고 제출 시 점수는 다음과 같았습니다.
2 epoch 에서의 학습된 모델의 성능이 가장 좋았습니다.

• micro f1 = 59.572
• auprc = 64.580

entity special token 적용 후 제출 시 점수는 다음과 같았습니다.
이 경우도 마찬가지로 2 epoch 에서의 학습된 모델의 성능이 가장 좋았습니다.

• micro f1 = 53.430
• auprc = 51.101

---

결과적으로 위와 같은 방법의 entity special token 적용 시 오히려 테스트 데이터에 대해 성능이 떨어진 것을 확인해볼 수 있었습니다.
스페셜 토큰을 추가하는 방식을 다르게 하는 등의 새로운 방법을 적용해볼 필요가 있어 보입니다.