“唯之与阿，相去几何？
善之与恶，相去何若？
人之所畏，不可不畏。
荒兮，其未央哉!
众人熙熙，如享太牢，如春登台。
我独泊兮，其未兆，如婴儿之未孩；傫傫兮，若无所归！
众人皆有余，而我独若遗。
我愚人之心也哉!”1
在用scikit-learn做增量训练的时候，一般都会事先实现一个文件流迭代器，将一个大数据文件分多次使用2，会用到yield关键字，当一个函数或方法中出现了yield之后，这个函数或方法就会被看作一个生成器（generators）了，可以使用.next()方法获取内容。
通常意义上的函数或者方法，在程序的其他部分调用一旦返回，函数的生命周期也就结束，再次调用的时候，函数会重新被执行。而今天要介绍的yield最大的特点就是，函数的执行会被多次调用，下一次调用总是从上一次yield返回的地方开始执行，也就是多次被调用的函数拥有了记忆功能。
被赋予生成器的函数，只会被“完整”的调用一次，也即执行到函数体的最后一行指令。
1.函数第一次调用，会在函数体中yield的地方返回。
2.函数第二次调用，程序会从上次返回的地方接着往下继续执行，直到再次遇到yield
文件流迭代器
1 | def iter_minibatches(data_stream, minibatch_size=1000): |
2 | ''' |
3 | 迭代器 |
4 | 给定文件流（比如一个大文件），每次输出minibatch_size行，默认选择1k行 |
5 | 将输出转化成numpy输出，返回X, y |
6 | ''' |
7 | X = [] |
8 | y = [] |
9 | cur_line_num = 0 |
10 | |
11 | csvfile = file(data_stream, 'rb') |
12 | reader = csv.reader(csvfile) |
13 | for line in reader: |
14 | y.append(float(line[0])) |
15 | X.append(line[1:]) # 这里要将数据转化成float类型 |
16 | |
17 | cur_line_num += 1 |
18 | if cur_line_num >= minibatch_size: |
19 | X, y = np.array(X), np.array(y) # 将数据转成numpy的array类型并返回 |
20 | yield X, y # 每次调用，如迭代未结束，则都是在此处返回 |
21 | X, y = [], [] |
22 | cur_line_num = 0 |
23 | csvfile.close() |
24 | |
25 | # 生成测试文件 |
26 | minibatch_test_iterators = iter_minibatches(test_file, minibatch_size=5000) |
27 | X_test, y_test = minibatch_test_iterators.next() # 得到一份测试文件 |
使用文件流迭代器进行增量训练
1 | from sklearn.linear_model import SGDClassifier |
2 | sgd_clf = SGDClassifier() # SGDClassifier的参数设置可以参考sklearn官网 |
3 | minibatch_train_iterators = iter_minibatches(data_part_file, minibatch_size=2000) # 文件批量迭代器 |
4 | |
5 | for i, (X_train, y_train) in enumerate(minibatch_train_iterators): |
6 | # 使用 partial_fit ，并在第一次调用 partial_fit 的时候指定 classes |
7 | sgd_clf.partial_fit(X_train, y_train, classes=np.array([0, 1])) |
8 | print("{} time".format(i)) # 当前次数 |
9 | print("{} score".format(sgd_clf.score(X_test, y_test))) # 在测试集上看效果 |
关于 yield 和 generators的概念 ，我觉得下面两篇帖子讲的挺好的，可以移步去看看：
提高你的Python: 解释 yield 和 Generators（生成器）
彻底理解Python中的yield
1 :老子《道德经》第二十章，老子故里，中国鹿邑。
2 :文件大到你一次性load到内存，会报内存不足而无法进行机器训练的时候。