훈련 방법 제안 - Guessing subject/object entity

[nannullna]

혹시 subject entity 혹은 object entity 중 하나를 <UNK>로 가려놓고,

해당 <UNK>에 들어갈 말을 추론하게 하는 방법은 어떨까요?

예를 들면...

원문: 스타벅스에 근무하고 있는 홍길동 씨는 최저 시급 인상안에 대해 불만을 토로했다.

훈련 input: <UNK>에 근무하고 있는 <SEP>홍길동</SEP> 씨는 최저 시급 인상안에 대해 불만을 토로했다.

정답 label: 스타벅스

예상하는 output: 직장

loss function: word2vec 공간 상에 <UNK> 처리된 단어와 예측된 단어 사이의 거리 (L2 or L1 norm)

이런 식으로요! MLM 모델에서 아이디어를 가져와봤습니당

[zgotter]

음~ 그럼 저렇게 가리는 방식으로 pre-training이 한 번 더 진행되야 하는거 맞나요??

[nannullna]

네네! 일종의 warmup 같이 진행하거나, 아니면 두 개 트레이닝을 번갈아 진행해도 좋을 듯 합니다!