综合实训周报八

最新推荐文章于 2025-07-30 11:35:15 发布

原创最新推荐文章于 2025-07-30 11:35:15 发布 · 247 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

数据挖掘

当前文章被收录于：

数据挖掘

8 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本周进行数据挖掘学习，理论上了解数据集信息，因多数数据缺失严重且难填补，决定丢弃大部分数据，查找参数选择和填补缺失值资料收获少；实践上初步处理数据，未正式提交，删除缺失值多和单一值多的数据集，使用了lgb模型。

目录标题

理论学习
实践学习

理论学习

本周了解了数据集中的信息，大致知道每列数据的大致意思和作用，发现大多数信息都丢失严重，并且不是很好填补缺失值，故决定将大多数数据都直接丢弃不用。
此外还上网查找了相关的资料，还是主要学习了如何选择参数，以及在填补缺失值方面有什么比较好的借鉴资料，不过收获较少。

实践学习

本周只是初步的处理数据，还没有进行正式的提交。
主要是删除了一些数据集。

有一些是缺失值太多舍弃。

drop = ['enttypeitem', 'opto', 'empnum', 'compform', 'parnum',
       'exenum', 'opform', 'ptbusscope', 'venind', 'enttypeminu',
       'midpreindcode', 'protype', 'reccap', 'forreccap',
       'forregcap', 'congro']

还有一些是单一值过多。

del base['dom'], base['opscope']
del base['oploc']

使用了lgb模型。

lgb_model = lgb.LGBMRegressor(
    num_leaves=64, reg_alpha=0., reg_lambda=0.01, metric='rmse',
    max_depth=-1, learning_rate=0.05, min_child_samples=10, seed=2020,
    n_estimators=2000, subsample=0.7, colsample_bytree=0.7, subsample_freq=1,
)