jieba 分词源代码研读(1)

从github上下载源代码后，打开 文件夹 jieba，找到__init__.py，结巴分词最主要的函数 cut 就定义在这个文件中。

这个函数的前半部分主要是根据用户指定的模式 用 正则表达式 将输入的文本 分块(block)。然后针对每一块进行分词，默认情况(精确模式)下使用的 块的分词函数叫 __cut_DAG 。

__cut_DAG 函数调用了 get_DAG(sentence)，这是用来生成每一块(sentence)的有向无环图DAG。要生成DAG就必须有语料库的辅助了，所以在 同样在 文件夹 jieba 下，可以找到一个文件：dict.txt。语料库的有3列，第一列是词，第二列是词频，第三列是词性。在程序中初始化语料库的动作在函数  initialize(DICTIONARY) 中，它通过一个包装器 require_initialized 在 get_DAG 函数被调用的时候才执行。代码如下：

def require_initialized(fn):@wraps(fn) #wraps的作用是保留被包装函数的一些属性,比如__doc__def wrapped(*args, **kwargs):global initializedif initialized:return fn(*args, **kwargs)else:initialize(DICTIONARY)return fn(*args, **kwargs)return wrapped

语料库加载后是要保存在 trie 树中的，让我们来看看作者是怎么实现中文的 trie 树的。

在 initialize 函数的最开头可以看到作者用with关键词优雅的获取了当前线程的RLock，with 的用法有点类似C#里的关键词using，详见:http://blog.csdn.net/largetalk/article/details/6910277

jieba 分词为了加快语料库的加载使用了缓存技术，它会将生成好的语料库数据结构用 marshal 序列化，然后存放在系统的临时目录（用到了 tempfile 库）下。如果找不到 缓存的 .cache 文件，调用 gen_trie 函数来生成 trie 树。该函数的代码如下：

def gen_trie(f_name):lfreq = {}trie = {}ltotal = 0.0with open(f_name, 'rb') as f:lineno = 0 for line in f.read().rstrip().decode('utf-8').split('\n'):lineno += 1try:word,freq,_ = line.split(' ')freq = float(freq)lfreq[word] = freqltotal+=freqp = triefor c in word:if c not in p:p[c] ={}p = p[c]p['']='' #ending flagexcept ValueError, e:logger.debug('%s at line %s %s' % (f_name,  lineno, line))raise ValueError, ereturn trie, lfreq,ltotal