混合检索算法使用示例- 自定义分词器
class CustomTokenizer(ChineseTokenizer):def tokenize(self, text: str) -> List[str]:# 自定义分词逻辑# 例如:使用领域词典words jieba.lcut(text)return [w for w in words if self.is_meaningful(w)]def is_meaningful(self, word: str) -> bool:# 判断…
2026/8/19 23:03:32