Kaggle实战入门（三）之纽约出租车价格预测New-York-City-Taxi-Fare-Prediction

今天给大家分享第三个kaggle竞赛项目，纽约出租车价格预测New-York-City-Taxi-Fare-Prediction。这个项目的特点是给到我们的数据集比较大，有5.3G，数据总量是5400W行。不过我们在做这个项目的时候并不需要这么多的数据量，下面我们就一起来看一下这个项目。

Part1.数据导入和初步分析

首先导入我们的数据集，由于数据量过大，我们只导入前500W行的数据进行建模。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

train = pd.read_csv('train.csv',nrows=5000000)
test = pd.read_csv('test.csv')
test_ids = test['key']

train.head()

可以看到我们本次的数据特征量还是比较少的，虽然数据总量大，特征只有8个。

train.info()

key：索引
fare_amount：价格
pickup_datetime：出租车接到客人的时间
pickup_longitude：出发时的经度
pickup_latitude：出发时的纬度
dropoff_longitude：到达时的经度
dropoff_latitude：到达时的纬度
passenger_count：乘客的数目

train.describe()

红圈圈住的数据当中是异常值：负的价格，乘客数目最小为0，乘客数目最大为208
而横线划出来的数据令人疑惑：什么样的旅程会产生1270的出租费用呢？

Part2.数据分析

首先观察价格特征的分布：

train.fare_amount.hist(bins=100,figsize = (16,8))
plt.xlabel("Fare Amount")
plt.ylabel("Frequency")

train[train.fare_amount <100 ].fare_amount.hist(bins=100, figsize = (16,8))
plt.xlabel("Fare Amount")
plt.ylabel("Frequency")

train[train.fare_amount >=100 ].fare_amount.hist(bins=100, figsize = (16,8))
plt.xlabel("Fare Amount")
plt.ylabel("Frequency")

train[train.fare_amount <100].shape

train[train.fare_amount >=100].shape

由上面的代码和图我们可以得到几个结论：
1、价格的分布大多数是在100以内的，少部分在100以上
2、100以内的价格大多数集中在0~20之间
3、100以外的价格大多数集中在200附近，有几个比较大的价格可能是异常值，也可能是去往机场的价格。

接下来观察乘客数目的分布：

train.passenger_count.hist(bins=100,figsize = (16,8))
plt.xlabel("passenger_count")
plt.ylabel("Frequency")

train[train.passenger_count<10].passenger_count.hist(bins=10,figsize = (16,8))
plt.xlabel("passenger_count")
plt.ylabel("Frequency"