about_jieba_index_jieba_search.md

结巴两种分词的说明: jieba_index, jieba_search

有关搜索引擎的概念

实现一个搜索引擎，分词主要是两个环节使用：

• 查询分词
• 索引分词

通常，索引分词倾向于分出更多的可能，这样可以在查询的环节进行控制，召回更多的结果，使用中就是:jieba_index。 查询的分词，更在意词之间的语义关系，比如顺序、比如距离等，所以查询的分词希望找到一个合适的切分，不是找到更多的结果，这时候用jieba_search。

示例

新建POST请求: http://localhost:9200/_analyze

请求body：

{
  "analyzer" : "jieba_index",
  "text" : "美国伊拉克"
}

jieba_index

当analyzer为jieba_index时候，结果为:

{
    "tokens": [
        {
            "token": "美国",
            "start_offset": 0,
            "end_offset": 2,
            "type": "word",
            "position": 0
        },
        {
            "token": "伊拉",
            "start_offset": 2,
            "end_offset": 4,
            "type": "word",
            "position": 1
        },
        {
            "token": "伊拉克",
            "start_offset": 2,
            "end_offset": 5,
            "type": "word",
            "position": 1
        },
        {
            "token": "拉克",
            "start_offset": 3,
            "end_offset": 5,
            "type": "word",
            "position": 1
        }
    ]
}

jieba_search

当analyzer为jieba_search：

结果为:

{
    "tokens": [
        {
            "token": "美国",
            "start_offset": 0,
            "end_offset": 2,
            "type": "word",
            "position": 0
        },
        {
            "token": "伊拉克",
            "start_offset": 2,
            "end_offset": 5,
            "type": "word",
            "position": 1
        }
    ]
}

如上两个例子，index和search的position是不同的，search更倾向于完整、顺序的切分。

在实际应用中，如果某些场景，对position敏感，建议采用jieba_search。