조사 교정하는 기능 제안

[tndls9304]

오타 수정 기능에서 사전에 등록되지 않는 단어를 교체해버리는 경우가 있어서, 조사만 교정하는 기능이 있으면 좋을 거 같습니다.

이미 template에서 조사 맞춤 기능이 구현되어 있어서 큰 이슈 없이 구현할 수 있을 것 같아서 제안해 봅니다. (typo 모델 없이)

하지만 특정 조사 표현에 대해서 되고 안 되고 차이가 있어서 이를 해결해야 할 필요가 보입니다. (특정 조사는 잘 안 됨)

from kiwipiepy import Kiwi
kiwi = Kiwi()
tpl = kiwi.template("{}이 {}으로 돌아갔다.")
print(tpl.format("너", "서울"))
# 너가 서울로 돌아갔다. ("이/JKS" 조사가 "가/JKS" 로 바뀜, "으로/JKB" 조사가 "로/JKB" 로 바뀜)

tpl = kiwi.template("{}가 {}으로 돌아갔다.")
print(tpl.format("사람", "대구"))
# 사람가 대구로 돌아갔다. ("가/JKS" 조사가 바뀌지 않음, "으로/JKB" 조사가 "로/JKB" 로 바뀜)

As-Is

조사를 잘못 적은 사례에는 조사가 조사로 적혀있는지 판별하는 방법이 필요해 보입니다.

from kiwipiepy import Kiwi
kiwi = Kiwi()
print(kiwi.tokenize("너이 인천로 돌아갔다."))
# [
#     Token(form='너', tag='NP', start=0, len=1), 
#     Token(form='이', tag='MM', start=1, len=1),       <- 이/JKS
#     Token(form='인천', tag='NNP', start=3, len=2), 
#     Token(form='로', tag='XSM', start=5, len=1),     <- 로/JKB
##   뒷부분 생략
]
print(kiwi.tokenize("사람가 대구으로 돌아갔다."))
# [
#     Token(form='사람', tag='NNG', start=0, len=2), 
#     Token(form='가', tag='VV', start=2, len=1),        <- 가/JKS
#     Token(form='대구', tag='NNP', start=4, len=2), 
#     Token(form='으', tag='NNG', start=6, len=1), 
#     Token(form='로', tag='JKB', start=7, len=1),       <- 으로/JKB 로 붙어야 함.
##   뒷 부분 생략
]

To-Be

다음 처럼 잘못 적힌 조사에 대해서 알맞는 것을 선택할 수 있으면 좋겠습니다.
선택하는 기능도 괜찮을 거 같습니다.

print(kiwi.josa_fix("너이 인천로 돌아갔다."))
# 너가 인천으로 돌아갔다.
print(kiwi.josa_fix("사람가 대구으로 돌아갔다."))
# 사람이 대구로 돌아갔다.

print(kiwi.josa_select("나(은/는) 키위(이/가) 좋다."))
# 나는 키위가 좋다.

이 기능이 추가되면 텍스트 교정 시 조사만 정확하게 수정할 수 있어서 유용할 것 같습니다.

[bab2min]

@tndls9304 안녕하세요~ 좋은 기능 제안해주셔서 감사합니다.
일단 이 이슈는 크게 두 가지로 나눠서 볼 수 있겠네요.

1. template 기능의 오류

from kiwipiepy import Kiwi
kiwi = Kiwi()
tpl = kiwi.template("{}가 {}으로 돌아갔다.")
print(tpl.format("사람", "대구"))
# 사람이 대구로 돌아갔다.

Kiwi v0.21.0 기준으로는 문제 없이 사람이 대구로 돌아갔다.로 처리되고 있습니다. "가"가 제대로 교체되지 않고 있다면 특정 모델이나 예전 버전의 문제일수 있는데, 이 경우 {}가의 "가"가 조사가 아니라 다른 품사로 오분석되었기 때문에 발생한 것으로 추정되며, 정확하게 버전과 사용 모델을 알려주시면 확인하여 추후 업데이트에서 교정하도록 하겠습니다~

2. josa_fix / josa_select 기능의 추가
   조사를 잘못 적은 경우를 판단하는게 생각보다 간단하지가 않습니다. "포은"이라는 표현은 맥락에 따라 "포"라는 명사에 조사를 잘못 붙인것일수도 있지만, 정몽주의 호 "포은"을 나타낼수 있는것처럼요. 따라서 어찌저찌 개발한다고 해도 Precision과 Recall을 모두 높이는 것은 어렵고 둘 중 하나만 선택해야 하는데 이게 사람이 원하는 결과와는 다를 가능성이 높습니다.

반면 josa_select 기능은 애초에 입력할때 명사와 조사의 경계를 특정한 포맷으로 입력하기 때문에 훨씬 예측 가능하고 잘 작동할 것으로 보입니다. 그리고 사실 Kiwi 내부에는 조사별 이형태 정보(은과 는이, 또 이와 가가 동일한 형태소가 음성 환경에 따라서만 다르게 나타나는 것이라는 정보)를 가지고 있기에, 은/는을 다 적지 않고 둘 중 하나만 적어도 나머지 짝을 쉽게 찾아낼 수 있습니다. 그래서 편의성까지 생각한다면

print(kiwi.josa_select("나(은/는) 키위(이/가) 좋다."))
print(kiwi.josa_select("나(은) 키위(이) 좋다."))

처럼 하나만 적도록 하는게 가능할것이구요. 근데 여기까지 오게 된다면 이 기능이 사실 template과 거의 동일하다는 사실을 알 수 있습니다.

print(kiwi.template("{}은 {}이 좋다.").format("나", "키위"))

이런 점들을 고려해볼 때 저는 josa_select를 새로 추가하는 것보다는 template를 사용하는 게 더 좋다고 생각합니다.
혹시 제가 놓친 필요성이나 편의성 측면 등이 있으면 얼마든지 피드백해주시면 감사드리겠습니다~