pandas数据预处理

读取数据集

从csv文件中加载原始数据集，我们导入pandas包并调用read_csv函数。

import pandas as pd
data=pd.read_csv(data_file)
print(data)

处理缺失值

NaN项代表缺失值。处理缺失的数据的典型方法包括插值法和删除法，插值法用一个替代值弥补缺失值，删除法则直接忽略缺失值。

这里介绍插值法：通过位置索引iloc，将data分成inputs和outputs，其中前者为数据的前两列，后者为数据的最后一列。对于inputs中的缺失值，用同一列的均值替换NaN项。

inputs,outputs=data.iloc[:,0:2],data.iloc[:,2]
inputs=inputs.fillna(inputs.mean())
print(inputs)

将缺失值填为0：

inputs=inputs.fillna(value=0)

用前一个非空值填充：

inputs=inputs.fillna(method='ffill')

用后一个非空值填充：

inputs=inputs.fillna(method='bfill')

中位数填充：

inputs=inputs.fillna(inputs.median())

删除缺失值：

inputs=inputs.dropna()

对于inputs中的类别值或离散值，我们将NaN视为一个类别。Alley列只接受两种类型的类别值Pave和NaN,pandas可以自动将此列转换为两列Alley_Pave和Alley_nan。Alley列为Pave的行会将Alley_Pave的值设置为1，Alley_nan设置为0，反之相反。

inputs=pd.get_dummies(inputs,dummy_na=True)

删除缺失值最多的列：

data=data.drop(data.count(axis='index').idxmin(),axis=1)

转换为张量格式

现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。

X,y=torch.tensor(inputs.values),torch.tensor(outputs.values)