数据分析--模型选择流程

最新推荐文章于 2026-03-24 00:01:15 发布
原创 最新推荐文章于 2026-03-24 00:01:15 发布 · 4.8k 阅读 · 31 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#数据分析流程 #模型选择 #数据预处理
Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

分析小麦数据时的模型选择

一、模型总结

1）分类问题

1、knn

缺点：
时间复杂度 空间复杂度高
优点：
实现简单，易于理解
总结：适合样本最小，分类边界不明显的情况

2、逻辑回归

优点：
分类时计算量非常小，速度很快，存储资源低
缺点：
容易欠拟合，准确度不高
总结：适合样本量大的情况

3、决策树

优点：
对于有明确业务逻辑的数据分类效果好，分类效果可解释性强，容易提取出规则
缺点：
容易过拟合和欠拟合
总结：适合有业务逻辑的数据

4、贝叶斯

总结：主要用于自然语言处理

5、svm（支持向量机）

优点：
样本量最小的情况下，效果好，不容易过拟合
缺点：
当观测样本很多时，效率并不是很高
总结：
适合样本最小，分类边界比较明显的情况

2）回归问题

1、线性回归

缺点：
和svm相比容易欠拟合
优点：
实现简单，计算简单
总结：
回归时，样本量大 用线性回归

2、岭回归

总结：用于图片之类的特征维度很多的回归预测

3、lasso回归

总结：用于需要去除部分不重要特征的回归预测

4、svm（支持向量机）

总结：回归时，样本量小 用svm

3）聚类

1、kmeas

优点：
当簇是密集的、球状或者团状的，且蔟与簇中间区别明显的时候，聚类效果较好
缺点：
最大的问题就是K的选取
总结：
不知道该分几类的时候，可以用聚类来看效果

二、业务流程

1）数据获取

一般业务会给数据 / 爬虫自己爬取

2）数据预处理

特征选择、归一化、二值化、数值映射、2vector、PCA LDA、清洗和过滤

3）算法选择

检验、测试、交叉验证、svm、logistic、decition Tree

4）算法调优

网格搜索（对参数进行筛选）

5）算法评价

精确率 - 查准率
召回率 - 查全率

6）分析报告

三、获取数据

1）获取数据

1、导包导入数据

import numpy as np
import pandas as pd

df = pd.read_table('./data/wheats.tsv',header=None)
df

2、处理数据

data = df.iloc[:,:-1]
target = df.iloc[:,-1]

2）

3）

4）

5）

6）

四、数据预处理

1）导包

# sklearn官网
# MinMaxScaler 区间归一化 (当前值-最小值)/(最大值-最小值)
# StandardScaler 标准化 (当前值-平均值)/标准差
# Normalizer 归一化 (当前值-平均值)/(最大值-最小值)
# Binarizer 二值化 （这里就不尝试了 主要用来处理图片）
from sklearn.preprocessing import MinMaxScaler,Normalizer,StandardScaler,Binarizer

2）创建模型-训练模型-用模型转化数据

minmax_data = MinMaxScaler().fit_transform(data)
normal_data = Normalizer().fit_transform(data)
standard_data = StandardScaler().fit_transform(data)

3）拆分训练集和测试集

先按照 0.25的 比例 对 各种预处理方式 转换后的数据 进行学习
（各种机器学习模型都尝试一下） 看看效果

X_train1, X_test1, y_train1, y_test1 = train_test_split(data,target,test_size=0.25)  # 没有处理的数据
X_train2, X_test2, y_train2, y_test2 = train_test_split(minmax_data,target,test_size=0.25)
X_train3, X_test3, y_train3, y_test3 = train_test_split(normal_data,target,test_size=0.25)
X_train4, X_test4, y_train4, y_test4 = train_test_split(standard_data,target,test_size=0.25)

4）使用一些分类模型去处理

使用一些分类模型去尝试 knn lgc dtree nb svc

1、导包

from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC

2、获取模型

knn = KNeighborsClassifier()
lgc = LogisticRegression()
dtree = DecisionTreeClassifier()
gnb = GaussianNB()
svc = SVC()

3、定义函数 选择使用 哪一种 预处理方式

使用各种模型 对 各种处理后的 数据 进行测试

def select_preprocessor(model,name,X_train, X_test, y_train, y_test):
    model.fit(X_train,y_train)
    score = model.score(X_test,y_test)
    print("{}模型 {}处理的数据 得分是{}".format(model.__class__.__name__,name,score))


# knn.__class__.__name__   以这种方式提取模型名称
# 'KNeighborsClassifier'

4、使用各个模型进行数据预测

使用KNN模型进行预测
select_preprocessor(knn,'未',X_train1, X_test1, y_train1, y_test1 )
select_preprocessor(knn,'minmax',X_train2, X_test2, y_train2, y_test2 )
select_preprocessor(knn,'normal',X_train3, X_test3, y_train3, y_test3 )
select_preprocessor(knn,'standard',X_train4, X_test4, y_train4, y_test4 )


KNeighborsClassifier模型 未处理的数据 得分是0.8867924528301887
KNeighborsClassifier模型 minmax处理的数据 得分是0.9433962264150944
KNeighborsClassifier模型 normal处理的数据 得分是0.9056603773584906
KNeighborsClassifier模型 standard处理的数据 得分是0.8867924528301887
使用lgc模型进行预测
select_preprocessor(lgc,'未',X_train1, X_test1, y_train1, y_test1 )
select_preprocessor(lgc,'minmax',X_train2, X_test2, y_train2, y_test2 )
select_preprocessor(lgc,'normal',X_train3, X_test3, y_train3, y_test3 )
select_preprocessor(lgc,'standard',X_train4, X_test4, y_train4, y_test4 )


LogisticRegression模型 未处理的数据 得分是0.9245283018867925
LogisticRegression模型 minmax处理的数据 得分是0.9245283018867925
LogisticRegression模型 normal处理的数据 得分是0.7735849056603774
LogisticRegression模型 standard处理的数据 得分是0.8490566037735849
使用决策树模型进行预测
select_preprocessor(dtree,'未',X_train1, X_test1, y_train1, y_test1 )
select_preprocessor(dtree,'minmax',X_train2, X_test2, y_train2, y_test2 )
select_preprocessor(dtree,'normal',X_train3, X_test3, y_train3, y_test3 )
select_preprocessor(dtree,'standard',X_train4, X_test4, y_train4, y_test4 )


DecisionTreeClassifier模型 未处理的数据 得分是0.9056603773584906
DecisionTreeClassifier模型 minmax处理的数据 得分是0.9245283018867925
DecisionTreeClassifier模型 normal处理的数据 得分是0.8490566037735849
DecisionTreeClassifier模型 standard处理的数据 得分是0.9056603773584906
使用gnb（高斯）模型进行预测
select_preprocessor(gnb,'未',X_train1, X_test1, y_train1, y_test1 )
select_preprocessor(gnb,'minmax',X_train2, X_test2, y_train2, y_test2 )
select_preprocessor(gnb,'normal',X_train3, X_test3, y_train3, y_test3 )
select_preprocessor(gnb,'standard',X_train4, X_test4, y_train4, y_test4 )

GaussianNB模型 未处理的数据 得分是0.8679245283018868
GaussianNB模型 minmax处理的数据 得分是0.8867924528301887
GaussianNB模型 normal处理的数据 得分是0.8867924528301887
GaussianNB模型 standard处理的数据 得分是0.9433962264150944
使用svc模型进行预测
select_preprocessor(svc,'未',X_train1, X_test1, y_train1, y_test1 )
select_preprocessor(svc,'minmax',X_train2, X_test2, y_train2, y_test2 )
select_preprocessor(svc,'normal',X_train3, X_test3, y_train3, y_test3 )
select_preprocessor(svc,'standard',X_train4, X_test4, y_train4, y_test4 )



SVC模型 未处理的数据 得分是0.8679245283018868
SVC模型 minmax处理的数据 得分是0.9056603773584906
SVC模型 normal处理的数据 得分是0.24528301886792453
SVC模型 standard处理的数据 得分是0.9056603773584906

观察可以得出normal肯定是不用了 #其他方式都差不多 就可以不处理了

五、选择模型

选择模型主要是选择比较稳定的模型

1）获取数据

使用不处理的数据对模型进行训练，查看准确率

data
target

2）定义模型测试函数

定义函数

def select_model(model,data,target,rate):
    X_train, X_test, y_train, y_test = train_test_split(data,target,test_size=rate)
    model.fit(X_train,y_train)
    score = model.score(X_test,y_test)
    print(model.__class__.__name__+':'+str(score))
    return score

# 传入一个列表 列表里面都是 各种模型
def select_model2(models,data,target):
    for model in models:
        score1 = select_model(model,data,target,0.1)
        score2 = select_model(model,data,target,0.2)
        score3 = select_model(model,data,target,0.3)
        # 主要想看的是 平均分 和 标准差
        nd = np.array([score1,score2,score3])
        print('平均分:%f 标准差:%f'%(nd.mean(),nd.std()))
        print('\n')

调用函数

select_model2([knn,lgc,dtree,gnb,svc],data,target)

KNeighborsClassifier:0.9047619047619048
KNeighborsClassifier:0.8333333333333334
KNeighborsClassifier:0.9206349206349206
平均分:0.886243 标准差:0.037970


LogisticRegression:1.0
LogisticRegression:0.9523809523809523
LogisticRegression:0.9047619047619048
平均分:0.952381 标准差:0.038881


DecisionTreeClassifier:0.9523809523809523
DecisionTreeClassifier:0.9047619047619048
DecisionTreeClassifier:0.8888888888888888
平均分:0.915344 标准差:0.026979


GaussianNB:0.8095238095238095
GaussianNB:0.8571428571428571
GaussianNB:0.9047619047619048
平均分:0.857143 标准差:0.038881


SVC:0.9523809523809523
SVC:0.8571428571428571
SVC:0.873015873015873
平均分:0.894180 标准差:0.041661

3）

4）

5）

6）

六、

1）

2）

3）

4）

5）

6）

七、

1）

2）

3）

4）

5）

6）

1、

2、

3、

4、

5、

6、

7、

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

机器学习实战17-高斯朴素贝叶斯(GaussianNB)模型的实际应用，结合生活中的生动例子帮助大家理解
微学AI的博客
04-01 4886
大家好，我是微学AI，今天给大家介绍一下机器学习实战17-高斯朴素贝叶斯(GaussianNB)模型的实际应用，结合生活中的生动例子帮助大家理解。GaussianNB，即高斯朴素贝叶斯模型，是一种基于概率论的分类算法，广泛应用于机器学习领域。该模型假设特征之间相互独立，并且每个特征服从高斯分布（正态分布），通过学习训练数据集中的先验概率和条件概率来实现对未知数据的预测。
2-如何选择模型？-机器学习
kakazai.cn
05-31 1882
由模型可以得到预测值，而预测值和真实值之间是存在差异的。接下来，我们需要回答以下问题：当可用的模型有多个时，应该选哪一个？    这称之为模型选择(model selection)问题。答案是，当然选择最优秀的那个模型。那问题来了，模型的优秀程度具体指什么？    优秀程度指的是模型对数据集的预测准确程度，亦称为泛化能力(generalization ability)。也就是，在给定数据集上，真实...
Python机器学习从零开始（四）选择模型
靖墨c的博客
08-21 787
从零开始，深入浅出，从入门到入狱。
【大模型】大模型学习总结之机器学习-3.模型评估
最新发布
lw的博客
03-24 1069
摘要 模型评估与选择是机器学习的关键环节。模型评估关注单一模型性能（如准确率、F1分数），而模型选择侧重不同模型的比较。由于无法获得真实误差，只能基于有限样本计算经验误差（训练误差）。损失函数（如0-1损失、平方损失等）是衡量模型好坏的基础工具。欠拟合（高偏差）和过拟合（高方差）是模型复杂度不匹配的表现：欠拟合模型简单导致训练/测试误差都高，过拟合则训练误差低但测试误差高。解决策略包括调整模型复杂度、正则化等。通过多项式回归示例可直观展示不同复杂度模型的拟合效果差异。
朴素贝叶斯模型
qq_51934529的博客
09-01 1355
.
朴素贝叶斯的原理与实践（python学习笔记）
CavalierJHC的博客
12-06 1625
# 朴素贝叶斯的原理 ## 贝叶斯定理 1. 贝叶斯定理： $$ P(A|B)=\frac{P(A)*P(B|A)}{P(B)} $$ 其中： * P(A|B)为B发生后A发生的概率即A的后验概率 P(A)为A发生的概率即A的先验概率 P(B|A)为A发生后B发生的概率即B的后验概率 P(B)为B发生的概率即B的先验概率 2. 分类问题概率模型 * 概率模型分类器是一个条件概率模型$p(C|F_1,...,F_n)$ * 独立的类别变量C，条件依赖于若干特征变量$F_1,...,F_n$ 3. 根据贝
数据分析知识介绍，数据分析模型选择和数据分析流程的介绍
多智时代的博客
12-05 1786
相比于数据挖掘，数据分析更多在于利用一定的工具和一定的专业知识分析数据。最初的数据分析来源于统计学家和经济学家的一些理论，进而结合一定的实际应用场景解决问题。数据分析更多的是偏重于业务层次的，对于大多数非计算机相关专业人士来说，掌握一般的数据分析方法是十分有用的，入门上手也相对简单。 1 数学和专业的预备知识 概率论：数据分析的重要数学基础，要熟悉常见的一些概率分布。 统计学：数据分析最早的依赖基...
【机器学习】最经典案例：房价预测（完整流程：数据分析及处理、模型选择及微调）
热门推荐
weixin_44820505的博客
07-28 4万+
完整流程：数据分析及处理、模型选择及微调、结果分析
震惊！数据分析还能这样做？
weixin_45604606的博客
07-01 408
数据分析概述 数据分析完整工作流程 关于数据分析的大体流程这里以图形的形式展现给大家，就不做过多的讲述。 数据探索与相关性分析 这一部分是直接从数据分析工作流程中的数据整理与清洗开始。 数据探索，探索性数据分析（Exploratory Data Analysis），简称EDA。传统的统计方法是先假定数据服从某种分布，然后运用这种模型进行预测，以概率论为基础，做参数检验。而EDA则是强调数据，“抛开”概率的理论，从数据出发，主要手段是汇总统计，可视化。 在进行EDA时，我们可以分为三个阶段，分别是： 数.
【数据分析】数据分析的流程是怎么样的？
2301_81133727的博客
10-17 1088
数据分析的流程可以分解为多个详细步骤，每个步骤都有其特定的目的和方法。下面我将通过一个具体的例子来说明这一流程：例子：分析一家零售商的销售数据，以提高销售额。
【手撕机器学习经典算法-02】GNB（高斯朴素贝叶斯）算法
Ryan2k的博客
03-27 831
本文介绍Gaussian Naive Bayes（GNB）算法的基本思想和代码实现。手搓一个GNB模型并与sklearn中的GNB进行了对比。
机器学习：朴素贝叶斯
weixin_52416594的博客
12-27 1595
机器学习：朴素贝叶斯1 朴素贝叶斯应用场景2 朴素贝叶斯相关公式3 sklearn库中朴素贝叶斯运用3.1 伯努利朴素贝叶斯3.2 多项式朴素贝叶斯3.3 高斯朴素贝叶斯 1 朴素贝叶斯应用场景 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。而常见朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯主要运用于文本分类，垃圾邮件分类，信用评估，钓鱼网站检测等领域。 2 朴素贝叶斯相关公式 条件
8大数据分析思维，解决90%的分析困境
Penglaixiaoke的博客
05-09 1028
任何模型都有其产生的历史背景、数据基础、使用范围，也不是所有模型的目的都是精准。简单、好用、省事，是更多时候的考虑。
2022年最该收藏的8个数据分析模型
Leo的博客
01-14 4469
大家在工作中是不是经常要做各种分析，但又常常遇到无从下手，抓不住重点，搞不清关键数据的情况。俗话说“工欲善其事，必先利其器。”一个好用的数据分析模型，能给我们提供一种视角和思维框架，从而帮我们理清分析逻辑，提高分析准确性。 那老李研究数据分析也很多年了，今天特意为大家整理出了8大常用数据分析模型，帮助大家快速提高数据分析能力。 1、AARRR模型 AARRR模型又叫海盗模型，这个模型把实现用户增长拆分成了 5 个指标：获客、激活、留存、收益、传播。分别对应“用户如何找到我们？”、“用户的首次体验如何？”、“
十种常用数据分析模型
数据爬坡ing的博客
05-28 3974
介绍十种常用数据分析模型，每一个模型都有适用场景，优点，缺点，概念，公式， 具体代码示例。
七大步骤，详解预置算法构建模型的全过程
华为云官方博客
12-30 4367
摘要：针对有一定AI基础的AI初学者，ModelArts基于业界的主流引擎提供了预置算法，无需关注模型开发过程，直接使用预置算法对已有数据进行训练，并快速部署为服务。预置算法可用于物体类别和位置、图像分类等场景。本次实验提供了一个花卉图像分类应用的样例，帮助您快速熟悉使用ModelArts预置算法构建模型的过程。 此样例针对预置的花卉图像数据集，对已有图像数据进行标注，然后使用预置的“ResNet_v1_50”算法对数据进行训练，得到一个可用的模型，最后，将此模型部署为在线服务。部署完成后，用户可通过在线
如何根据项目特点选择过程模型并以此制定软件项目管理计划
weixin_57375608的博客
05-03 1067
如何根据项目特点选择过程模型并以此制定软件项目管理计划 软件过程模型是跨越整个软件生存周期的软件开发、运行和维护所实施的全部工作和任务的结构框架，它给出了软件开发活动个阶段之间的关系。对于软件项目的开发，都要选择一个合适的软件过程模型，这种选择基于项目和应用的性质、采用的方法、需要的控制，以及要交付产品的特点。 一．软件的过程模型 瀑布模型 1. 瀑布模型，核心思想是按工序将问题简化，将功能的实现与设计分开，便于分工协作，即采用结构化的分析与设计方法将逻辑实现与物理实现分开。 2. 瀑布模
数据分析中常见的数据模型
zhaocen_1230的博客
03-20 7332
1.行为事件分析法 行为事件分析法来研究某行为事件的发生为企业组织价值的影响以及影响程度。企业借此来追踪或记录的用户行为或业务过程。，如用户注册、浏览产品详情页、成功投资、提现 等，通过研究与事件发生关联的所有因素来挖掘用户行为事件背后的原因、交互影响等。 2.漏斗分析模型 漏斗分析模型是一套流程分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析。 例如在一款
stick-learn朴素贝叶斯的三个常用模型：高斯、多项式、伯努利
weixin_30457065的博客
08-26 834
朴素贝叶斯是一个很不错的分类器，在使用朴素贝叶斯分类器划分邮件有关于朴素贝叶斯的简单介绍。 若一个样本有n个特征，分别用x1,x2,...,xn表示，将其划分到类yk的可能性P(yk|x1,x2,...,xn)为： P(yk|x1,x2,...,xn)=P(yk)∏ni=1P(xi|yk) 上式中等号右侧的各个值可以通过训练得到。根据上面的公式可以求的某个数据属于各个分类的可能性（这些可能性...
「超级干货大放送」机器学习十二种经典模型实例
闭关修炼——暂退
07-12 1万+
目录 实例一：线性回归波士顿房价 实例二：KNN实现电影分类 实例三：基于线性回归预测波士顿房价 ​实例四：sklearn完成逻辑回归鸢尾花分类 实例五：支持向量机完成逻辑回归鸢尾花分类 实例六：使用决策树实现鸢尾花分类 实例七：使用随机森林实现鸢尾花分类 实例八：使用朴素贝叶斯进行鸢尾花分类 实例九：使用Kmeans来进行鸢尾花分类 实例十：K最近邻的使用方式 实例十一：kmeans的其他展示方式 实例十二：Kmeans实现鸢尾花聚类 实例一：线性回归波士顿房价 ''' .
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值