K折交叉验证

如何确定合适的k值

• K 值越小，偏误越大，所以越不推荐。(K 值小，则会变得像“验证集法”)
• K 值太大，所得结果会变化多端。(K 值大，则会变得像“留一法”（LOOCV)）
• 通常建议的值是 k=10 。

from sklearn import cross_validation
model = RandomForestClassifier(n_estimators=100)
#简单K层交叉验证，10层。
cv = cross_validation.KFold(len(train), n_folds=10, indices=False)
results = []
# "Error_function" 可由你的分析所需的error function替代
for traincv, testcv in cv:
        probas = model.fit(train[traincv], target[traincv]).predict_proba(train[testcv])
        results.append( Error_function )
print "Results: " + str( np.array(results).mean() )

1. 应该使用较大比例的数据集来训练模型，否则会导致失败，最终得到偏误很大的模型。
2. 验证用的数据点，其比例应该恰到好处。如果太少，会导致验证模型有效性时，得到的结果波动较大。
3. 训练和验证过程应该重复多次。训练集和验证集不能一成不变。这样有助于验证模型有效性。