python数据分析综合案例,python数据分析简单案例

本次分析的租房数据主要来源于上一篇博客中获取的“房天下”网站租房信息，对该数据分析主要使用了Pandas数据处理库。

数据处理

数据读取

将数据保存到MongoDB数据库后，在这里使用数据库可视化工具robo3t，将数据以表格的形式出现，可以看到北京租房数据如图1所示python笑脸编程代码。

首先需要将MongoDB的数据读取到Pandas库的DataFrame数据中，DataFrame类似于表格数据，而且有很多对数据处理有用的函数。此外并不是每条数据的所有信息都对本次分析有价值，可以筛选每条记录的city、price、rooms、area、region和titile字段，保存到一个列表中，最终将该列表转化为DataFrame，具体代码如下：

def coll_to_dataframe(coll):
table = db[coll]
    data=list(table.find())
    data_list=[]
    for d in data:
        temp={}
        temp['city']=d['city']
        temp['price']=d['price']
        temp['rooms']=d['rooms']
        temp['area']=d['area']
        temp['region']=d['region']
        data_list.append(temp)
        df = pd.DataFrame(data_list)

数据预处理

将数据放入DataFrame构造器后，各字段的内容并没有改变。如图5-1所示。求每月的平均租金需要对数字进行操作，因此，将price和area字段转变为数字，操作df如下：

df['price']=df['price'].str.replace('元/月','').astype(float)
df['area']=df['area'].str.replace('㎡','').astype(float)

这样通过将df[‘price’],df[‘area’]转变为字符串，然后将’元/月’和’㎡’通过空字符代替，就可以将price和area字段转变为float类型。

处理异常值

处理数据前，需要检查缺失值和空值，通过df.info()函数可以查看df的相关信息。如图2所示，可以看到一共48894条记录，每个字段都没有缺失，所以不需要进行缺失值处理。
图2 表格相关信息图