python关于编码转码问题

python关于编码转码问题

python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处理非ascii编码的，此时需要自己设置将python的默认编码，一般设置为utf8的编码格式。

中文字符的Unicode编码0x0800-0xFFFF之间,(utf-8包含了部分汉字)
当你试图将该“中文字符”转成U码的utf-8时超出了其范筹
而GBK 规范收录了 ISO 10646.1 中的全部 CJK 汉字和符号，并有所补充，
所以解决方法是将.decode(‘utf-8’)改为.decode(‘gbk’)

文件头指定编码方式为utf-8，在执行代码时，将按照utf-8来解释执行代码
如果文件里有非ASCII字符（GBK编码），需要在第一行或第二行指定编码声明。
python源码print中文，会出现Non-ASCII character和UnicodeEncodeError两类错误
（GBK编码）包含汉字区域

sys.stdout.encoding#查看标准输出，即输出到屏幕的编码方式
set fileencoding,查看文件的编码方式

一、关于decode和encode

字符串在Python内部的表示是unicode编码。
因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

Decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串str1转换成unicode编码。
Encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘gb2312’)，表示将unicode编码的字符串str2转换成gb2312编码。
因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码。
代码中字符串的默认编码与代码文件本身的编码一致。

解决方法：
1.在命令行修改，仅本会话有效：
1)通过>>>sys.getdefaultencoding()查看当前编码(若报错，先执行import sys >>>reload(sys));
2)通过>>>sys.setdefaultencoding(‘utf8’)设置编码
2.较繁琐，最有效
1)在程序文件中以下三句
import sys
reload(sys)
sys.setdefaultencoding(‘utf8’)

3.修改Python本环境（推荐）
在Python的Lib\site-packages文件夹下新建一个sitecustomize.py文件，内容为：
#coding=utf8
import sys
if sys.getdefaultencoding() != ‘utf-8’:
reload(sys)
sys.setdefaultencoding(‘utf8’)

重启Python解释器，发现编码已被设置为utf8，与方案二同效；这是因为系统在Python启动的时候，自行调用该文件，设置系统的默认编码，而不需要每次都手动加上解决代码，属于一劳永逸的解决方法。

----以上内容均摘自网络，如有侵权，告知修改。
引用地址：
1.UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position xxx ordinal - bjkandy http://www.tuicool.com/articles/qiqi2i
2.UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-1: ordinal not in range(128) http://www.cnblogs.com/bluescorpio/p/3594359.html

总结

首先第一行指定中文编码
#--coding:UTF-8 --
#!/usr/bin/python
其次，出现乱码，根据报错信息，对目标信息进行转码或者解码
data.encode(‘gbk’)
data.decode(‘utf-8’)
如果还是乱码就先解码在转码
data.decode.decode(‘utf-8’)