超级会员免费看
本文探讨了在机器学习和强化学习中衡量特征重要性的多种方法，包括Gini Importance、Permutation Importance、Shapley Values、State visitation frequency、TD-error、Sensitivity analysis等。在神经网络中，通过Deep Taylor Decomposition、Layer-wise Relevance Propagation和Input × Gradient等方法评估输入特征对输出的影响。注意，不同方法适用于不同模型和场景，选择时需谨慎考虑。
特征重要度是指在机器学习模型中，不同特征对模型预测结果的影响程度。在许多机器学习模型中，如决策树、随机森林、GBDT等，都有特征重要度的概念。
下面介绍一些常用的方法来衡量每个特征的重要度：
-
Gini Importance：该方法适用于基于决策树的模型。Gini Importance是基于分裂节点时特征Gini不纯度的变化来计算特征重要度的。
-
Permutation Importance：该方法适用于任何模型。Permutation Importance是通过随机重排数据集中的某个特征来评估特征的重要性。
-
Feature Importance based on Shapley Values：Shapley Values是一个集合博弈理论中的概念，可以用于计算每个特征对最终结果的贡献。Shapley Values可以应用于任何模型。
-
Coefficients of Linear Models：线性模型中的特征重要度可以通过特征系数的绝对值来衡量。这种方法只适用于线性模型。
-
Random Drop Importance：该方法通过随机删除某个特征，再重新训练模型来评估该特征的重要性。
需要注意的是，不同的衡量方法会对不同的模型和数据集产生不同的结果。因此，建议在使用这些方法时，要根据具体的情况进行选择和权衡。
强化学习
在强化学习中，特征重要度的评价可以通过以下方法：
-
State visitation frequency: 衡
订阅专栏 解锁全文
扫一扫
906
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
