UnicodeEncodeError: ‘latin-1‘ codec can‘t encode characters in position 35-38: ordinal not in range(

前言

Python写爬虫时,运行遇到错误UnicodeEncodeError: ‘latin-1’ codec can’t encode characters in position 35-38: ordinal not in range(256)，最后费了九牛二虎之力才弄好，这里分享下解决办法

报错原因

是因为url格式不合法（如包含汉字，空格等不合法字符）

再拓展些

URL对于不合法字符编码的方式是把不合法字符转化为 %xx 的形式。通常 URL 编码是基于 UTF-8
本文为csdn_c2所作，禁止转载
的（当然这和浏览器平台有关）。 例子： 比如『我』，unicode 为 0x6211, UTF-8 编码为 0xE6 0x88
0x91，URL 编码就是 %E6%88%91

urllib.parse中提供了quote方法，来把不合法字符转化，语法格式是这样的：

urllib.parse.quote(文本)

解决方法

只要在代码中贴上两行：

from urllib.parse import quote
quote(文本)

如把‘我’转化成url编码：

from urllib.parse import quote
quote('我')

本文为csdn_c2所作，禁止转载