chapter_data_structure/character_encoding/

[giscus[bot]]

chapter_data_structure/character_encoding/

一本动画图解、能运行、可提问的数据结构与算法入门书

https://www.hello-algo.com/chapter_data_structure/character_encoding/

[limuzi9806]

大佬！Fig. UTF-8 编码示例

图中的UTF-8 h和e是不是写反了？

[krahets]

是的，谢谢！

[chenjunhit]

在3.4.5中，为什么说 UTF-16是等长编码呢，它不是使用2个或者4个字符来表示字符吗~

[krahets]

是的，这个很大一部分是历史原因，以前（包括现在）大部分常用字符用 2 bytes 来表示就够了，因此称 UTF-16 是等长编码。
Java 等语言通过代理对的方式来存储 4 字符的 UTF-16 编码，此时会丧失等长编码的优势，已经属于变长编码了。

[szgz]

这样说来，python3是处理字符串最高效的？

[krahets]

这个得具体看处理哪种字符串。不过总体来说，越“新”的语言考虑的越全面，因为历史包袱少

[youngledo]

说到字符编码，我最痛恨的就是关系型数据库的字符串类型，还需要不停的设置长度，这么多年了，依旧如此！

[dlcnwoini]

懂了

[Danmushu]

感觉还是没太明白为什么UTF-16可以随机访问，编码这块都有点晕的感觉😵

[krahets]

对于等长编码，假设长度为 x ，那么第 i 个元素的起始索引应该是 (i-1) * x 。如果是变长编码，就无法轻易地计算出每个元素的位置了，需要遍历，使用 $O(n)$ 时间。

[Danmushu]

我明白了，谢谢k神

[CodingGorit]

提个建议，图片可以加个点击预览放大的功能，有的图内容要素过多，放大预览效果可能更好

[krahets]

好的，已加～

[newcakes]

我听不懂该怎末办

[krahets]

坚持看坚持听，慢慢会好的

[Hu-Said]

你当然听不懂，因为你只能看懂...

[cocowise]

上面关于Python 3 的内容貌似有误。借助GPT做了试验：

=====

以下是一些超出BMP范围的汉字示例：

𨊻（U+2A2BB，属于补充平面）
𨋾（U+2A2BE，属于补充平面）

创建一个 Unicode 字符串

mystr = "你好，>𨊻𨋾<！"

导入 chardet 模块查看字符串编码

import chardet

使用 chardet 模块检测字符串的编码

result = chardet.detect(str)

打印字符串的编码

print(result['encoding'])

输出：utf-8

在 Python 3 中，所有字符串都是 Unicode 字符串，默认编码是 UTF-8。

---

以上是Bart的输出结果，可再查证确认。

[krahets]

chartdet 用于检测一段“编码”的编码类型，因此需要输入 bytearray 而非字符串，例如：

# data 是一串 UTF-8 编码
data = b"\xe4\xbd\xa0\xe5\xa5\xbd"
result = chardet.detect(data)
print(result)

[krahets]

Python 中的 str 字符串直接用 Unicode 表示（请注意区分：读写文件默认为 UTF-8 编码）。CPython 为 str 对象使用了一种灵活的存储策略，字符长度取决于字符串中最大的字符。观察以下测试：

import sys

eng1 = "a"
eng2 = "ab"
eng3 = "abc"

chn1 = "哈"
chn2 = "哈啰"
chn2_eng1 = "哈啰a"

bmp1 = "𨊻"
bmp2 = "𨊻𨋾"
bmp2_eng1 = "𨊻𨋾a"

print("\n英文：") # 英文长度为 1
print(eng1 + ": ", sys.getsizeof(eng1))
print(eng2 + ": ", sys.getsizeof(eng2))
print(eng3 + ": ", sys.getsizeof(eng3))

print("\n中文:")
print(chn1 + ": ", sys.getsizeof(chn1))
print(chn2 + ": ", sys.getsizeof(chn2))
print(chn2_eng1 + ": ", sys.getsizeof(chn2_eng1))

print("\n补充平面:")
print(bmp1 + ": ", sys.getsizeof(bmp1))
print(bmp2 + ": ", sys.getsizeof(bmp2))
print(bmp2_eng1 + ": ", sys.getsizeof(bmp2_eng1))

可以得到以下结论：

1. 纯英文字符串的字符长度为 1 ；
2. 中文字符串下，中文和英文长度都为 2 ；
3. 补充平面字符下，英文字符长度为 4 ；

英文：
a:  50
ab:  51
abc:  52

中文:
哈:  76
哈啰:  78
哈啰a:  80

超平面:
𨊻:  80
𨊻𨋾:  84
𨊻𨋾a:  88

[cocowise]

UTF-8 是变长编码，字符长度为 1、2、4是UTF-8的设定

[krahets]

@cocowise 不一样的。例如，Python 存储中英文混合字符串时，中、英文字符长度都是 2 。但如果用 UTF-8 编码它，英文字符长度为 1 ，中文字符长度为 3 （假设都是常见字符）。

[UselessWater]

确实，我刚开始也以为python中的编码的说法和utf-8一样，为啥还要特意说是灵活编码，然后看到了评里面的解释，我才恍然大悟，差点误解了。

[serenNan]

那c++是用什么编码呢，顺便想问一下现在用c++的人很少了吗，因为现在不知道主学什么语言😢

[SayhiUnreal]

https://cloud.tencent.com/developer/article/2350500?areaId=106001

[aeilang]

一直被这些编码困惑，零星地搜索材料也是一知半解，没想到作者这么系统又简洁地解释！这种风格让我联想起了Golang的风格

[limit4ever]

一直有个疑问，为什么vscode使用utf-8编码写c/cpp的代码中出现中文就会乱码，但是用gbk编码就不会

[krahets]

是不是 Windows ？应该是因为 Windows 中文默认采用 GBK 编码。

[xiong-ZH-zq]

Windows控制台输出中文默认采用GBK编码

[HuaWang135608]

VSCode 的解决办法可以看我的博客：VSCode运行C/C++代码控制台输出中文的乱码问题

[wxi7641]

eclipse也是这样，代码中出现中文需要用gbk编码，否则就会乱码

[5710xIa]

最常见的莫过于锟斤拷了，这时候觉得秦王统一文字是多么大的功劳。

[Keekuun]

建议搞个pwa，可以安装到桌面

[HC-miss]

😁很棒！！！

[Wwh-SoEximious]

文中提到的“代理对”是什么呀？🤔

[floatDreamWithSong]

编码这一篇写的很清晰，大有收获😋

[zhishiheng]

为什么 UTF-8表示中文用3个字节，UTF-16只用2个字节。既然2个字节够用，为什么要用三个字节？

[zhishiheng]

因为10占位了

[wuditjdx]

8个占位了吧，4+2+2

[wyang0824]

unicode是全球通用，英文一个字节就够了，用utf16也多占用了内存，utf8更灵活

[Daylotve77]

这一章讲得太清楚了，真很值得一看

[luoyaocray]

the best articles of coding

[Aka-Edward]

他奶奶的孙子的！好乱！脑子疼要长脑子了！

[490273789]

之前也查过相关的知识，看的云里雾里，看着这篇文章突然的就懂了。

[WangFengtu1996]

示例解析（以汉字“算”的Unicode码点U+7B97为例）：
Unicode二进制：0111 1011 1001 0111
UTF-8编码步骤：
首字节：取高4位0111，填充到1110xxxx → 11100111（十六进制0xE7）
第二字节：取中间6位101110，填充到10xxxxxx → 10101110（十六进制0xAE）
第三字节：取低6位010111，填充到10xxxxxx → 10010111（十六进制0x97）
最终编码为E7 AE 97

[HatsuneMikuSama]

utf-16中如何判断四字节是由两个2字节组成的还是仅仅就是一个4字节的字符？

[Pengyu-Jin]

讲得很棒，感谢分享

[pyk0627]

厉害

[Lingxuan-Ye]

在庞大的 Unicode 字符集中，常用的字符占用 2 字节，有些生僻的字符占用 3 字节甚至 4 字节。

unicode 是字符与码点的映射，码点是个纯数字概念，不存在某个字符占用多少字节的说法。比如，某个字符的码点为 1，那么这个 1 仅仅只是数字 1，自然数 0 的后继；用几个字节表示、用中文还是英文表示，用什么进制表示，都与其本质无关。

相应的，utf-8 等才是编码方案，才可以说在这个编码下某个字符占用多少字节。

[krahets]

谢谢指正！已修复

[believebelief]

难

[DeanYao2014]

Unicode = 字符集（定义字符与码点）,UTF‑8 = 编码（定义码点如何转成字节）; 以前根们就没有字符集和编码的概念...

[DeanYao2014]

这个unicode是字符集 和码点一一对应, 通常16进制只时便于展示;
utf-8是编码规则,文档/ html保存的都是utf8 的字节, 如果要显示那么必须要utf8 解码 得到 码点 , 码点一一对应映射unicode字符集.
UTF‑8 文本是一串字节流。解码时从左到右扫描：看首字节的前导 1 的数量 → 知道这个字符占几个字节 → 取出这些字节 → 拼成码点 → 查 Unicode 字符集 → 得到字符。