Django項目中使用haystack全文檢索框架時改變分詞方式

? ? ???在Django項目中，當(dāng)我們用到全文檢索框架時，如果想要很好的支持中文分詞方式，我們可以使用“結(jié)巴”分詞。

1.安裝jieba分詞模塊

pip install jieba

2.找到你項目環(huán)境下的haystack目錄，下面是我的項目環(huán)境路徑。

/home/michael/.virtualenvs/Django_test/lib/python3.5/site-packages/haystack/backends/

3.在上面的那個目錄中創(chuàng)建一個ChineseAnalyzer.py文件

import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=False, removestops=True,
                 start_pos=0, start_char=0, mode='', **kwargs):
        t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
        seglist = jieba.cut(value, cut_all=True)
        for w in seglist:
            t.original = t.text = w
            t.boost = 1.0
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t

def ChineseAnalyzer():
    return ChineseTokenizer()

4.復(fù)制whoosh_backend.py文件并改名whoosh_cn_backend.py（注：我這里使用的是whoosh全文檢索引擎）

cp whoosh_backend.py whoosh_cn_backend.py

5.打開whoosh_cn_backend.py文件，引入中文分析類，內(nèi)部采用jieba分詞。

from .ChineseAnalyzer import ChineseAnalyzer

6.更改詞語分析類

找到
analyzer=StemmingAnalyzer()
改為
analyzer=ChineseAnalyzer()

7.修改settings.py文件中的配置項

HAYSTACK_CONNECTIONS = {
    'default': {
        # whoosh_cn_backend就是復(fù)制出來的那個文件
        'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
        'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
    }
}

8.重建創(chuàng)建索引文件

python manage.py rebuild_index