Pandas - Review

title: Pandas回顾及应用
category: 数据分析基础

Pandas 的应用

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['STFangsong']
plt.rcParams['axes.unicode_minus'] = False

%config InlineBackend.figure_format = 'svg'

Series

创建Series对象

# 1
ser1 = pd.Series([122,98,45,79],index = ['一季度','二季度','三季度','四季度'])  # index（*季度）可重复，但在通过该index索引数据时，得到的是一个新的Series
ser1

一季度    122
二季度     98
三季度     45
四季度     79
dtype: int64

# 2
ser2 = pd.Series({
   
   
    '一季度':999,
    '二季度':998,
    '三季度':997,
    '四季度':996,
})
ser2
# 通过字典创建数据系列时，当键（index）重复时，后者覆盖前者

一季度    999
二季度    998
三季度    997
四季度    996
dtype: int64

# 切片
# index切片时左闭右开
ser2[0:2]

一季度    999
二季度    998
dtype: int64

# 通过自己给定的索引切片时，两边均闭合
ser2['一季度':'三季度']

一季度    999
二季度    998
三季度    997
dtype: int64

# 布尔索引
ser1[ser1 > 100]

一季度    122
dtype: int64

# 花式索引
ser1[['一季度','四季度']],ser2[[1,3]]

(一季度    122
 四季度     79
 dtype: int64,
 二季度    998
 四季度    996
 dtype: int64)

Series 的属性 / 方法

# Series的值obj.values
ser2.values

array([999, 998, 997, 996], dtype=int64)

# Series 的index的值 obj.index.values
ser2.index.values

array(['一季度', '二季度', '三季度', '四季度'], dtype=object)

# Series 中的数据是否单调
ser2.is_monotonic

False

# 描述性统计信息
des = ser2.describe()
des

count      4.000000
mean     997.500000
std        1.290994
min      996.000000
25%      996.750000
50%      997.500000
75%      998.250000
max      999.000000
dtype: float64

des['min'],des['25%']

(996.0, 996.75)

ser3 = pd.Series([122,98,45,79,79,122],index = ['一季度','二季度','三季度','四季度','四季度','一季度'])
ser3

一季度    122
二季度     98
三季度     45
四季度     79
四季度     79
一季度    122
dtype: int64

# 独一无二的值
ser3.unique()

array([122,  98,  45,  79], dtype=int64)

# 不重复的值  返回个数
ser3.nunique()

4

# 删除重复值
ser3_ = ser3.drop_duplicates()
ser3_

一季度    122
二季度     98
三季度     45
四季度     79
dtype: int64

# 重复值
ser3.duplicated()

一季度    False
二季度    False
三季度    False
四季度    False
四季度     True
一季度     True
dtype: bool

# 统计频次
ser3.value_counts()

122    2
79     2
98     1
45     1
dtype: int64

ser4 = pd.Series([122,98,np.nan,45,79,np.nan],index = ['一季度','二季度','三季度','四季度','五季度','六季度'])
ser4

一季度    122.0
二季度     98.0
三季度      NaN
四季度     45.0
五季度     79.0
六季度      NaN
dtype: float64

# 是否含有空值
ser4.isnull(),ser4.notnull()

(一季度    False
 二季度    False
 三季度     True
 四季度    False
 五季度    False
 六季度     True
 dtype: bool,
 一季度     True
 二季度     True
 三季度    False
 四季度     True
 五季度     True
 六季度    False
 dtype: bool)

# 删除重复值
ser4.dropna()

一季度    122.0
二季度     98.0
四季度     45.0
五季度     79.0
dtype: float64

# 指定值填充空值
ser4.fillna(100)

一季度    122.0
二季度     98.0
三季度    100.0
四季度     45.0
五季度     79.0
六季度    100.0
dtype: float64

# 将空值填充为平均值
ser4.fillna(ser4.mean())

一季度    122.0
二季度     98.0
三季度     86.0
四季度     45.0
五季度     79.0
六季度     86.0
dtype: float64

# 用空值的前(ffill)/后(bfill)一个数据填充空值
ser4.fillna(method='ffill')

一季度    122.0
二季度     98.0
三季度     98.0
四季度     45.0
五季度     79.0
六季度     79.0
dtype: float64

ser5 = pd.Series(np.arange(1,10))
ser5

0    1
1    2
2    3
3    4
4    5
5    6
6    7
7    8
8    9
dtype: int32

# 返回满足条件的值以指定值填充不满足条件的值（默认填充为空值）
ser5.where(ser5<5),ser5.where(ser5<5,99)

(0    1.0
 1    2.0
 2    3.0
 3    4.0
 4    NaN
 5    NaN
 6    NaN
 7    NaN
 8    NaN
 dtype: float64,
 0     1
 1     2
 2     3
 3     4
 4    99
 5    99
 6    99
 7    99
 8    99
 dtype: int32)

# 返回不满足条件的值以指定值填充满足条件的值（默认填充为空值）
ser5.mask(ser5<5),ser5.mask(ser5<5,99)

(0    NaN
 1    NaN
 2    NaN
 3    NaN
 4    5.0
 5    6.0
 6    7.0
 7    8.0
 8    9.0
 dtype: float64,
 0    99
 1    99
 2    99
 3    99
 4     5
 5     6
 6     7
 7     8
 8     9
 dtype: int32)

ser6 = pd.Series(np.random.randint(30,80,50))
ser6

0     72
1     33
2     44
3     30
4     44
5     78
6     56
7     56
8     55
9     72
10    70
11    74
12    41
13    74
14    55
15    76
16    54
17    66
18    63
19    62
20    54
21    32
22    46
23    52
24    57
25    54
26    43
27    64
28    77
29    62
30    46
31    53
32    59
33    72
34    50
35    73
36    58
37    77
38    72
39    49
40    73
41    65
42    74
43    30
44    32
45    79
46    40
47    76
48    41
49    72
dtype: int32

ser6.map(lambda x: round((x ** 0.5 * 10),0))

0     85.0
1     57.0
2     66.0
3     55.0
4     66.0
5     88.0
6     75.0
7     75.0
8     74.0
9     85.0
10    84.0
11    86.0
12    64.0
13    86.0
14    74.0
15    87.0
16    73.0
17    81.0
18    79.0
19    79.0
20    73.0
21    57.0
22    68.0
23    72.0
24    75.0
25    73.0
26    66.0
27    80.0
28    88.0
29    79.0
30    68.0
31    73.0
32    77.0
33    85.0
34    71.0
35    85.0
36    76.0
37    88.0
38    85.0
39    70.0
40    85.0
41    81.0
42    86.0
43    55.0
44    57.0
45    89.0
46    63.0
47    87.0
48    64.0
49    85.0
dtype: float64

# 排序与头部值
ser7 = pd.Series([99,54,78,35,86],['apple', 'banana', 'pitaya', 'pitaya', 'durian'])
ser7

apple     99
banana    54
pitaya    78
pitaya    35
durian    86
dtype: int64

ser7.sort_values(inplace=True)
ser7

pitaya    35
banana    54
pitaya    78
durian    86
apple     99
dtype: int64

ser7.sort_index(inplace = True)
ser7

apple     99
banana    54
durian    86
pitaya    35
pitaya    78
dtype: int64

ser7.nlargest(3),ser7.nsmallest(3)

(apple     99
 durian    86
 pitaya    78
 dtype: int64,
 pitaya    35
 banana    54
 pitaya    78
 dtype: int64)

ser1.plot(figsize = (8,4), kind = 'bar', width = 0.3)   # 水平柱状图：barh
plt.grid(True,alpha = 0.3,axis = 'y', linestyle = '--')   # 设置网格线便于观察。alpha设置透明度、axis设置需要添加网格的轴
plt.xticks(rotation = 0)   # 横坐标标签水平显示
plt.yticks(np.arange(0,151,30))   # 订制纵坐标
for i in range(ser1.size):
    plt.text(i,ser1[i] + 1,ser1[i],ha = 'center')
plt.show()
    

ser1.plot(kind = 'pie',autopct = '%.2f%%',wedgeprops = dict(width = 0.4,edgecolor = 'white'),pctdistance = 0.8)
# wedgeprops = dict(width = 0.4,edgecolor = 'white'),pctdistance = 0.8
# width:环状图宽度；edgecolor：边界颜色；pctdistance：百分比显示距离（距圆心）
plt.ylabel('')
plt.title('2021各季度销售占比')
plt.show()

DataFrame

# 创建dataframe
scores = np.random.randint(60, 101, (5, 3))
courses = ['语文', '数学', '英语']
ids = [1001, 1002, 1003, 1004, 1005]
df1 = pd.DataFrame(data=scores, columns=courses, index=ids)
df1

scores = {
   
   
    '语文': [62, 72, 93, 88, 93],
    '数学': [95, 65, 86, 66, 87],
    '英语': [66, 75, 82, 69, 82],
}
ids = [1001, 1002, 1003, 1004, 1005]
df2 = pd.DataFrame(data=scores, index=ids)
df2

df3 = pd.read_csv('../files/data/2018年北京积分落户数据.csv',
                  index_col='id',
#                  quotechar='包围内容的字符（双引号自动去）',
                 )
df3.head()

df4 = pd.read_csv('../files/data/bilibili.csv',encoding='GBK')
df4.head()

# 以制表符为分隔符的文件
df5 = pd.read_csv('../files/data/chipotle.tsv',delimiter='\t')
df5.head()

df6 = pd.read_excel('../files/data/2020年销售数据.xlsx',header=1,sheet_name = 'Sheet1')
# usecols = [] - 指定列； nrows = 100 - 只读100行； skiprows = np.arange(2,102) - 去跳过前100行
df6.head()

df7 = pd.read_excel('../files/data/口罩销售数据.xlsx')
df7.head()

df8 = pd.read_excel('../files/data/某视频网站运营数据.xlsx')
df8.head()