-
Notifications
You must be signed in to change notification settings - Fork 8
誤変換かな?と思ったら
Tokuhiro Matsuno edited this page Jan 12, 2023
·
5 revisions
ユーザー辞書による学習によるものの可能性があります。
cd akaza-data/ && make && cargo run -- check せんたくもの のようにして、検索結果がユーザー辞書によるものではないことを確認してください。
原因によっていくつか対応方法があります。
卿 のように、Wikipedia コーパスベースのスコアがおかしいという場合は↓このへんをいじってください。
たとえば "日本"というワードに対して、vibrato などの形態素解析機は常に同じ読みを返します。"日本/にほん" ばっかり帰ってくるので、"日本/にっぽん"の方はスコアがつかないということになります。
ここはテでチューニングする必要があります。↓このへんに登録してください。
ipadic での形態素解析に失敗していてスコア付与に失敗しているケースもあります。 現在、ipadic を利用しているのであたらしめの単語は形態素解析器に登録されていないことがあるので、単語の登録を行うと良いです。
https://github.com/tokuhirom/akaza/blob/master/akaza-data/mecab-user-dict.csv
↑コードの特定の場所を指定させるよりも、ちゃんと CSV ファイルかなにかにかけるようにした方がよい。