Python常用包学习（一）NumPy包（理论+动手实践）

Python常用包学习（一）NumPy包

天我们主要来学习NumPy包常用的一些操作

官网：http://www.numpy.org/

官方文档：https://docs.scipy.org/doc/numpy/user/index.html

NumPy模块基本介绍

NumPy模块是Python的一种开源的数值计算扩展，是一个用python实现的科学计算包，主要包括：

•  一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组，称为ndarray(N-dimensional array object)
•  用于对整组数据进行快速运算的标准数学函数：ufunc(universal function object)
•  实用的线性代数、傅里叶变换和随机数生成函数。
•  NumPy和稀疏矩阵的运算包Scipy配合使用更加方便。

NumPy核心数据结构：ndarray

• NumPy的数组类被称作ndarray。通常被称作数组。注意numpy.array和标准Python库类array.array并不相同，后者只处理一维数组和提供少量功能。
•  一种由相同类型的元素组成的多维数组，元素数量是实现给定好的
•  元素的数据类型由dtype(data-type)对象来指定，每个ndarray只有一种dtype类型
•  ndarray的大小固定，创建好数组后数组大小是不会再发生改变的

ndarray创建

普通方式创建

函数创建：

• array函数：接收一个普通的python序列，并将其转换为ndarray
• zeros函数：创建指定长度或者形状的全零数组。
• ones函数：创建指定长度或者形状的全1数组。
• empty函数：创建一个没有任何具体值的数组(准备地说是创建一些未初始化的ndarray多维数组)
• arange函数: 类似python的range函数，通过指定开始值、终值和步长来创建一个一维数组，注意：最终创建的数组不包含终值
• linspace函数：通过指定开始值、终值和元素个数来创建一个一维数组，数组的数据元素符合等差数列，可以通过endpoint关键字指定是否包含终值，默认包含终值
• logspace函数：和linspace函数类似，不过创建的是等比数列数组
• 使用随机数填充数组，即使用numpy.random中的random()函数来创建0-1之间的随机元素，数组包含的元素数量由参数决定

ndarray属性

• ndim 数组轴(维度)的个数，轴的个数被称作秩
• shape 数组的维度, 例如一个2排3列的矩阵，它的shape属性将是(2,3),这个元组的长度显然是秩，即维度或者ndim属性
• size 数组元素的总个数，等于shape属性中元组元素的乘积。
• dtype 一个用来描述数组中元素类型的对象，可以通过创造或指定dtype使用标准Python类型。不过NumPy提供它自己的数据类型。
• itemsize 数组中每个元素的字节大小。例如，一个元素类型为float64的数组itemsiz属性值为8(=64/8),又如，一个元素类型为complex32的数组item属性为4(=32/8).

NumPy基本数据类型

• 创建numpy数组的时候可以通过属性dtype显示指定数据类型，如果不指定的情况下，numpy会自动推断出适合的数据类型，所以一般不需要显示给定数据类型。
•  如果需要更改一个已经存在的数组的数据类型，可以通过astype方法进行修改从而得到一个新数组。

数值型dtype的命名方式为：一个类型名称(eg:int、float等)，后接一个表示各个元素位长的数字

比如Python的float数据类型(双精度浮点值)，需要占用8个字节(64位)，因此在NumPy中记为float64

 每个数据类型都有一个类型代码，即简写方式

ndarray修改形状

• 对于一个已经存在的ndarray数组对象而言，可以通过修改形状相关的参数/方法从而改变数组的形状。
•  直接修改数组ndarray的shape值, 要求修改后乘积不变。
•  直接使用reshape函数创建一个改变尺寸的新数组，原数组的shape保持不变，但是新数组和原数组共享一个内存空间，也就是修改任何一个数组中的值都会对另外一个产生影响，另外要求新数组的元素个数和原数组一致。
•  当指定某一个轴为-1的时候，表示将根据数组元素的数量自动计算该轴的长度值。

NumPy基本操作

• 数组与标量、数组之间的运算

数组不用循环即可对每个元素执行批量的算术运算操作，这个过程叫做矢量化，即用数组表达式代替循环的做法。

 矢量化数组运算性能比纯Python方式快上一两个数据级。

 大小相等的两个数组之间的任何算术运算都会将其运算应用到元素级上的操作。

 元素级操作：在NumPy中，大小相等的数组之间的运算，为元素级运算，即只用于位置相同的元素之间，所得的运算结果组成一个新的数组，运算结果的位置跟操作数位置相同。

•  数组的矩阵积(matrix product)

矩阵积(matrix product)：两个二维矩阵(行和列的矩阵)满足第一个矩阵的列数与第二个矩阵的行数相同，那么可以进行矩阵的乘法，即矩阵积，矩阵积不是元素级的运算。也称为点积、数量积。

•  数组的索引与切片

ndarray-多维数组的索引

• 索引

• 切片

• 布尔类型索引

利用布尔类型的数组进行数据索引，最终返回的结果是对应索引数组中数据为True位置的值。

• ndarray-花式索引

花式索引(Fancy indexing)指的是利用整数数组进行索引的方式

•  数组的转置与轴对换

• 数组转置是指将shape进行重置操作，并将其值重置为原始shape元组的倒置，比如原始的shape值为:(2,3,4)，那么转置后的新元组的shape的值为: (4,3,2)f
•  对于二维数组而言(矩阵)数组的转置其实就是矩阵的转置
•  可以通过调用数组的transpose函数或者T属性进行数组转置操作

•  通用函数：快速的元素级数组成函数

• ufunc：numpy模块中对ndarray中数据进行快速元素级运算的函数，也可以看做是简单的函数(接受一个或多个标量值，并产生一个或多个标量值)的矢量化包装器。
•  主要包括一元函数和二元函数

ndarray-通用函数/常用函数(一元函数)

ndarray-通用函数/常用函数(二元函数)

•  聚合函数

聚合函数是对一组值(eg一个数组)进行操作，返回一个单一值作为结果的函数。当然聚合函数也可以指定对某个具体的轴进行数据聚合操作；常将的聚合操作有：平均值、最大值、最小值、方差等等

(这里的axis与索引图相反，需要注意)

•  np.where函数

np.where函数是三元表达式x if condition else y的矢量化版本

案例：将数组中的所有异常数字替换为0，比如将NaN替换为0

•  np.unique函数

np.unique函数的主要作用是将数组中的元素进行去重操作(也就是只保存不重复的数据)