辨析 UTF-8和Unicode的区别

辨析 UTF-8和Unicode的区别

2019-02-04 10:56:18 AM

作为一名创客，穿梭在不同而编程语言之间，例如python、JavaScript、PHP（最好的编程语言）、Golang等，免不得遇见中文显示乱码的场景。为此，我也晕过车，翻过船。特此新年之际，一起来回顾下，踩过的“坑”，挖过的“雷”。

Unicode简介：
Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

Unicode的是字符集。ASCII也是一种字符集。

字符集为每个字符分配一个唯一的ID，我们使用到的所有字符在Unicode字符集中都有唯一的一个ID对应，例如a在Unicode与ASCII中的编码都是97。“你”在Unicode中的编码为20320，但是在不同国家的字符集中，“你”的ID可能是不同的。而无论在任何情况下，Unicode中的字符的ID都是不会变化的。

新年快乐，万事如意：\u65b0\u5e74\u5feb\u4e50\uff0c\u4e07\u4e8b\u5982\u610f

Unicode是编码规则，将Unicode中字符的ID以某种方式进行编码。UTF-8的是一种可变长编码规则，从1到4个字节不等。编码规则如下：

• 0xxxxxx 表示文字符号0~127，兼容ASCII字符集。
• 从128到0x10ffff表示其他字符。

根据这个规则，拉丁文语系的字符编码一般情况下，每个字符也依然占用一个字节，而中文每个字符占用3个字节。

广义的Unicode指的是一个标准，定义字符集及编码规则，即Unicode字符集和UTF-8、UTF-16编码等。