python数据可视化一课一得

标题：深入解析：使用Python进行大学申请成功概率预测的线性回归分析

引言

在数据科学领域，线性回归是一种基础且强大的工具，用于预测连续型目标变量。在本博客中，我们将通过一个实际案例——大学申请成功概率预测，来详细解析如何使用Python进行线性回归分析。我们将逐步解读每一行代码，并解释其背后的逻辑和目的。

数据集介绍

我们使用的数据集名为Admission_Predict.csv，其中包含了多个与大学申请相关的特征，如GRE分数、TOEFL分数、大学评级、研究经验等，以及一个目标变量——申请成功的概率（Chance of Admit）。

"Admission_Predict.csv"是一个包含数千条记录的数据集，每条记录代表一个大学申请者及其相关信息，如GRE和TOEFL成绩、大学评级、个人陈述和推荐信的质量评分、累计平均绩点以及研究经验等，目标变量是申请成功的概率。通过分析这些数据，可以构建回归模型来预测新申请者的录取概率，并探究哪些因素对录取结果影响最大。

代码实践

1. 导入必要的库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_squared_error

• andas：用于数据操作和分析。

• numpy：用于数值计算。

• matplotlib.pyplot：用于数据可视化。

• sklearn.model_selection.train_test_split：用于划分训练集和测试集。

• sklearn.linear_model.LinearRegression：用于创建线性回归模型。

• sklearn.metrics.r2_score, mean_squared_error：用于评估模型性能。

2. 读取数据

df = pd.read_csv('Admission_Predict.csv')

使用pandas读取CSV文件到DataFrame中。 

3. 查看数据信息

print(df.info())
print(df.head())

• df.info()：查看数据集的基本信息，包括列名、非空值数量和数据类型。

• df.head()：查看数据集的前几行数据。

 4. 数据可视化

plt.scatter(df['GRE Score'], df['Chance of Admit'])
plt.xlabel('GRE Score')
plt.ylabel('Chance of Admit')
plt.title('GRE Score vs Chance of Admit')
plt.show()

plt.scatter(df['TOEFL Score'], df['Chance of Admit'])
plt.xlabel('TOEFL Score')
plt.ylabel('Chance of Admit')
plt.title('TOEFL Score vs Chance of Admit')
plt.show()

       使用matplotlib创建散点图，展示GRE分数和TOEFL分数与申请成功概率之间的关系。

5. 选择特征和目标变量

features = df.drop(['Serial No.', 'Chance of Admit'], axis=1)
target = df['Chance of Admit']

features：选择除Serial No.和Chance of Admit之外的所有列作为特征变量。

target：将Chance of Admit作为目标变量。

6. 划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(features, target, test_size=0.2, random_state=42)

• 使用train_test_split将数据集划分为训练集和测试集，测试集占比20%。

7. 创建线性回归模型并训练 

lr_model = LinearRegression()
lr_model.fit(X_train, y_train)

创建线性回归模型实例

使用训练集训练模型

8. 在训练集和测试集上进行预测

train_pred = lr_model.predict(X_train)
test_pred = lr_model.predict(X_test)

 使用训练好的模型对训练集和测试集进行预测。

9. 计算评价指标

train_r2 = r2_score(y_train, train_pred)
test_r2 = r2_score(y_test, test_pred)
train_mse = mean_squared_error(y_train, train_pred)
test_mse = mean_squared_error(y_test, test_pred)

计算训练集和测试集的R-squared值和均方误差（MSE）。

10. 输出评价指标

print(f"训练集 R-squared：{train_r2}")
print(f"测试集 R-squared：{test_r2}")
print(f"训练集均方误差：{train_mse}")
print(f"测试集均方误差：{test_mse}")

打印训练集和测试集的R-squared值和均方误差。

11. 模拟新申请者数据并进行预测

new_applicant = {'GRE Score': 320, 'TOEFL Score': 110, 'University Rating': 4, 'SOP': 4.5, 'LOR': 4.0, 'CGPA': 9.0, 'Research': 1}
new_applicant_df = pd.DataFrame([new_applicant])
predicted_chance = lr_model.predict(new_applicant_df)
print(f"新申请者的申请成功概率预测为：{predicted_chance[0]}")

 模拟一个新申请者的数据，使用训练好的模型对新申请者数据进行预测。

 12.本博客所有代码

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_squared_error

# 读取数据
df = pd.read_csv('Admission_Predict.csv')

# 打印数据信息
print(df.info())
print(df.head())

# 可视化部分特征与申请成功概率的关系
plt.scatter(df['GRE Score'], df['Chance of Admit'])
plt.xlabel('GRE Score')
plt.ylabel('Chance of Admit')
plt.title('GRE Score vs Chance of Admit')
plt.show()

plt.scatter(df['TOEFL Score'], df['Chance of Admit'])
plt.xlabel('TOEFL Score')
plt.ylabel('Chance of Admit')
plt.title('TOEFL Score vs Chance of Admit')
plt.show()

# 选择特征和目标变量
features = df.drop(['Serial No.', 'Chance of Admit'], axis=1)
target = df['Chance of Admit']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(features, target, test_size=0.2, random_state=42)

# 创建线性回归模型并训练
lr_model = LinearRegression()
lr_model.fit(X_train, y_train)

# 在训练集和测试集上进行预测
train_pred = lr_model.predict(X_train)
test_pred = lr_model.predict(X_test)

# 计算评价指标
train_r2 = r2_score(y_train, train_pred)
test_r2 = r2_score(y_test, test_pred)
train_mse = mean_squared_error(y_train, train_pred)
test_mse = mean_squared_error(y_test, test_pred)

# 打印评价指标
print(f"训练集 R-squared：{train_r2}")
print(f"测试集 R-squared：{test_r2}")
print(f"训练集均方误差：{train_mse}")
print(f"测试集均方误差：{test_mse}")

# 模拟新申请者数据
new_applicant = {'GRE Score': 320, 'TOEFL Score': 110, 'University Rating': 4, 'SOP': 4.5, 'LOR': 4.0, 'CGPA': 9.0, 'Research': 1}
new_applicant_df = pd.DataFrame([new_applicant])

# 进行预测
predicted_chance = lr_model.predict(new_applicant_df)
print(f"新申请者的申请成功概率预测为：{predicted_chance[0]}")

结论

通过上述步骤，我们完成了一个完整的线性回归分析流程，从数据导入到模型评估，再到新数据的预测。线性回归模型在训练集和测试集上的R-squared值分别为0.795和0.821，表明模型对数据的拟合程度较好。均方误差（MSE）也相对较低，说明预测结果与实际值之间的误差较小。

学习心得：

在深入探索线性回归分析的过程中，我不仅获得了宝贵的技术知识，还经历了思维方式和解决问题能力的显著成长。这一旅程始于对线性回归理论基础的扎实学习，我投入时间理解最小二乘法的原理、回归系数的解释以及模型的基本假设。这些知识为我后续的实践操作打下了坚实的基础。在实际案例中，我亲手处理数据、构建模型，并解读结果，这个过程让我深刻体会到理论知识与实践技能之间的紧密联系。我学会了如何有效地进行数据预处理，包括处理缺失值和异常值，以及对数据进行标准化和归一化，这些步骤对于确保模型的准确性和可靠性至关重要。

在模型评估方面，我熟练掌握了使用R-squared、MSE等指标来衡量模型性能的方法，并理解了正则化技术如岭回归和套索回归在防止过拟合和提高模型泛化能力上的作用。此外，批判性思维的培养是我在这次学习旅程中的一大收获。我学会了质疑模型的假设，检查数据是否符合模型的假设条件，并不断寻找改进模型的方法。这种思维方式不仅适用于线性回归，也适用于解决其他复杂问题。

持续学习和知识分享是我在数据科学领域不断进步的动力。我通过阅读最新的研究论文、参加在线课程和加入数据科学社区来扩展我的知识和技能。同时，通过撰写博客、参与讨论和教学，我不仅巩固了自己的学习成果，还帮助了他人。这种交流和分享的过程，让我对线性回归分析有了更深入的理解。

总结来说，学习线性回归分析是一段充实而有意义的旅程。它不仅提升了我的技术能力，还锻炼了我的思维方式和问题解决能力。我相信，这些收获将对我未来的数据科学职业生涯产生深远的影响。