关于python pickle模块用法与常见报错

• pickle模块用法

转自https://www.cnblogs.com/lincappu/p/8296078.html

用于序列化的两个模块
　　json：用于字符串和Python数据类型间进行转换
　　pickle: 用于python特有的类型和python的数据类型间进行转换
　　json提供四个功能：dumps,dump,loads,load
　　pickle提供四个功能：dumps,dump,loads,load

pickle可以存储什么类型的数据呢？

1. 所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。
2. 由任何原生类型组成的列表，元组，字典和集合。
3. 函数，类，类的实例

pickle模块中常用的方法有：

    1. pickle.dump(obj, file, protocol=None,)

    必填参数obj表示将要封装的对象

    必填参数file表示obj要写入的文件对象，file必须以二进制可写模式打开，即“wb”

    可选参数protocol表示告知pickler使用的协议，支持的协议有0,1,2,3，默认的协议是添加在Python 3中的协议3。　　　

• Protocol version 0 is the original “human-readable” protocol and is backwards compatible with earlier versions of Python.
• Protocol version 1 is an old binary format which is also compatible with earlier versions of Python.
• Protocol version 2 was introduced in Python 2.3. It provides much more efficient pickling of new-style classes. Refer to PEP 307 for information about improvements brought by protocol 2.
• Protocol version 3 was added in Python 3.0. It has explicit support for bytes objects and cannot be unpickled by Python 2.x. This is the default protocol, and the recommended protocol when compatibility with other Python 3 versions is required.
• Protocol version 4 was added in Python 3.4. It adds support for very large objects, pickling more kinds of objects, and some data format optimizations. Refer to PEP 3154 for information about improvements brought by protocol 4. 

    2. pickle.load(file,*,fix_imports=True, encoding="ASCII", errors="strict")

    必填参数file必须以二进制可读模式打开，即“rb”，其他都为可选参数

    3. pickle.dumps(obj)：以字节对象形式返回封装的对象，不需要写入文件中

    4. pickle.loads(bytes_object): 从字节对象中读取被封装的对象，并返回

 pickle模块可能出现三种异常：

    1. PickleError：封装和拆封时出现的异常类，继承自Exception

    2. PicklingError: 遇到不可封装的对象时出现的异常，继承自PickleError

    3. UnPicklingError: 拆封对象过程中出现的异常，继承自PickleError

应用：

# dumps功能
import pickle
data = ['aa', 'bb', 'cc']  
# dumps 将数据通过特殊的形式转换为只有python语言认识的字符串
p_str = pickle.dumps(data)
print(p_str)            
b'\x80\x03]q\x00(X\x02\x00\x00\x00aaq\x01X\x02\x00\x00\x00bbq\x02X\x02\x00\x00\x00ccq\x03e.

# loads功能
# loads  将pickle数据转换为python的数据结构
mes = pickle.loads(p_str)
print(mes)
['aa', 'bb', 'cc']

# dump功能
# dump 将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件
with open('D:/tmp.pk', 'w') as f:
    pickle.dump(data, f)

# load功能
# load 从数据文件中读取数据，并转换为python的数据结构
with open('D:/tmp.pk', 'r') as f:
    data = pickle.load(f)

•  

• pickle模块常见错误

      转自https://blog.csdn.net/lwgkzl/article/details/84316253

1. EOFError: Ran out of input

原因：load的文件为空，就会出现这种错误。

解决方案：1.如果是读取单个文件的话，一定要打开文件所在路径然后打开文件，查看文件是否为空。有可能之前不是空文件，但由于用pickle.load文件时需要打开文件操作，可能在这个过程中把文件内容清空了也未可知。

        with open(filename, 'rb') as input_file:
            return pickle.load(input_file)

2.如果是批量操作文件的话，可以抛出异常，这样就不会影响整个程序的运行。

        with open(filename, 'rb') as input_file:
            try:
                return pickle.load(input_file)
            except EOFError:
                return None

2.  TypeError: a bytes-like object is required, not 'str'

转自https://blog.csdn.net/aiynmimi/article/details/87101801

原因：python2中则无需担心这个问题，python3中pickle.load()和pickle.dump()都必须要传入二进制的格式。

解决方案：

f = open('./testwords','r')改为f = open('./testwords','rb')