UnicodeEncodeError: 'gbk' codec can't encode character '\xa0'

版权声明：本文为CSDN博主「曾记否？」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_38607035/article/details/82595170

在写爬虫爬取网页信息时，发生了以下错误：
UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’

意思大致是Unicode编码错误，gbk编解码器不能编码\xa0字符。

错误原因

当我们获取这个网页的源代码的时候，是将这个网页用utf-8的解码方式将其转换成对应的Unicode字符，当我们使用print()函数将其打印到Windows系统的DOS窗口上的时候（DOS窗口的编码方式是GBK），自动将Unicode字符通过GBK编码转换为GBK编码方式的str。

整个过程是： [用python爬取] UTF-8(str) -> [缓存中存放] Unicode(byte) -> [DOS中显示] GBK(str)

对比原网页，发现报错的位置原本要输出的文本为空，也就是目标标签内的值为 。

网页源代码中的  的utf-8 编码是：\xc2 \xa0，转换为Unicode字符为：\xa0，当显示到DOS窗口上的时候，转换为GBK编码的字符串，但是\xa0这个Unicode字符没有对应的 GBK 编码的字符串，所以出现错误。