关于字符集

news/2025/2/19 9:22:34/

字符集

编码与解码

计算机中储存的信息都是用`二进制数`表示的,而我们在屏幕上看到的数字、英文、标点符号、汉字等字符是二进制数转换之后的结果。按照某种规则,将字符存储到计算机中,称为`编码` 。反之,将存储在计算机中的二进制数按照某种规则解析显示出来,称为`解码` 。

字符编码(Character Encoding)

就是一套自然语言的字符与二进制数之间的对应规则。

字符集

也叫编码表。是一个系统支持的所有字符的集合,包括各国家文字、标点符号、图形符号、数字等。

ASCII码

- ASCII码(American Standard Code for Information Interchange,美国信息交换标准代码):上个世纪60年代,美国制定了一套字符编码,对`英语字符`与二进制位之间的关系,做了统一规定。这被称为ASCII码。

- ASCII码用于显示现代英语,主要包括控制字符(回车键、退格、换行键等)和可显示字符(英文大小写字符、阿拉伯数字和西文符号)。

- 基本的ASCII字符集,使用7位(bits)表示一个字符(最前面的1位统一规定为0),共`128个`字符。比如:空格“SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)。

- 缺点:不能表示所有字符。

ISO-8859-1字符集

* 拉丁码表,别名Latin-1,用于显示欧洲使用的语言,包括荷兰语、德语、意大利语、葡萄牙语等

* ISO-8859-1使用单字节编码,兼容ASCII编码。

GBxxx字符集

GB就是国标的意思,是为了`显示中文`而设计的一套字符集。

GB2312

简体中文码表。一个小于127的字符的意义与原来相同,即向下兼容ASCII码。但两个大于127的字符连在一起时,就表示一个汉字,这样大约可以组合了包含`7000多个简体汉字`,此外数学符号、罗马希腊的字母、日文的假名们都编进去了,这就是常说的"全角"字符,而原来在127号以下的那些符号就叫"半角"字符了。

GBK

 最常用的中文码表。是在GB2312标准基础上的扩展规范,使用了`双字节`编码方案,共收录了`21003个`汉字,完全兼容GB2312标准,同时支持`繁体汉字`以及日韩汉字等。

GB18030

最新的中文码表。收录汉字`70244个`,采用`多字节`编码,每个字可以由1个、2个或4个字节组成。支持中国国内少数民族的文字,同时支持繁体汉字以及日韩汉字等。

Unicode码

Unicode编码为表达`任意语言的任意字符`而设计,也称为统一码、标准万国码。Unicode 将世界上所有的文字用`2个字节`统一进行编码,为每个字符设定唯一的二进制编码,以满足跨语言、跨平台进行文本处理的要求。

Unicode 的缺点:这里有三个问题:

1. 英文字母只用一个字节表示就够了,如果用更多的字节存储是`极大的浪费`。

2. 如何才能`区别Unicode和ASCII`?计算机怎么知道两个字节表示一个符号,而不是分别表示两个符号呢?

3. 如果和GBK等双字节编码方式一样,用最高位是1或0表示两个字节和一个字节,就少了很多值无法用于表示字符,`不够表示所有字符`。

- Unicode在很长一段时间内无法推广,直到互联网的出现,为解决Unicode如何在网络上传输的问题,于是面向传输的众多 UTF(UCS Transfer Format)标准出现。具体来说,有三种编码方案,UTF-8、UTF-16和UTF-32。

UTF-8

Unicode是字符集,UTF-8、UTF-16、UTF-32是三种`将数字转换到程序数据`的编码方案。顾名思义,UTF-8就是每次8个位传输数据,而UTF-16就是每次16个位。其中,UTF-8 是在互联网上`使用最广`的一种 Unicode 的实现方式。

互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码。所以,我们开发Web应用,也要使用UTF-8编码。UTF-8 是一种`变长的编码方式`。它可以使用 1-4 个字节表示一个符号它使用一至四个字节为每个字符编码,编码规则:

1. 128个US-ASCII字符,只需一个字节编码。

2. 拉丁文等字符,需要二个字节编码。

3. 大部分常用字(含中文),使用三个字节编码。

4. 其他极少使用的Unicode辅助字符,使用四字节编码。

Unicode符号范围(十六进制)

UTF-8编码方式

0000 0000-0000 007F

0xxxxxxx(兼容原来的ASCII)

0000 0080-0000 07FF

110xxxxx 10xxxxxx

0000 0800-0000 FFFF

1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 注意:在中文操作系统上,ANSI(美国国家标准学会、AMERICAN NATIONAL STANDARDS INSTITUTE: ANSI)编码即为GBK;在英文操作系统上,ANSI编码即为ISO-8859-1。


http://www.ppmy.cn/news/78859.html

相关文章

C++设计模式介绍与分类

目录 一、设计模式定义 二、设计模式的优点 三、设计模式缺点 四、设计模式中的抽象思维 五、抽象的方法 六、设计模式应用场景 七、设计模式分类 附加知识 (1)C面向对象三种访问修饰符 (2)父类析构函数必须为虚函数 &…

Docker(1)

一)什么是虚拟化?容器化? 1)物理机:实际的服务器或者计算机,相对于虚拟机而言的对实体计算机的称呼。物理 机提供给虚拟机以硬件环境,有时也称为“寄主”或“宿主; 2)虚拟化:是指通过虚拟化技术将一台计算机虚拟为多台…

Kafka实时数据同步

目录 1 概述 2 捕获Oracle数据到Kafka 2.1 数据捕获设置 2.2 数据发布设置 2.3 捕获到发布数据流映射 2.4 查看任务执行日志 3 订阅Kafka数据到ClickHouse 3.1 数据订阅设置 3.2 数据加载设置 3.3 订阅到加载数据流映射 3.4 查看任务执行日志 4 校验数据一致性 1 概…

Hadoop部署本地模式

​ 本地模式,即运行在单台机器上。没有分布式的思想,使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试,确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模…

多体动力学:哈密尔顿原理的使用

参考资料: HAMILTON’S PRINCIPLE AND HAMILTON’S FORMULATION 原理已经讲得很详细了。如果看不到可以见我的资源,不用积分就可以下载。 步骤: 1.写出拉格朗日表达式 L T − V LT-V LT−V, T T T是系统的动能, V V V是系统的…

Grpc 整合 Nacos SpringBoot 日常使用(Java版本)包括 Jwt 认证

前言 最近感到有点子迷茫,天天写业务代码有点麻木,趁着有点空闲时间去了解了下 Grpc 这个框架,一方面是听说他很火,支持多种语言。另一方面也是为了将来可能需要用到他,未雨绸缪一下,当然了本文只是基于使用…

自定义HikariCP连接池

文章目录 一、简介1、概述2、地址 二、配置参数1、Hikari原生参数2、Springboot中参数 三、springboot中使用四、自定义数据源1、各模块2、完整代码3、多数据源 五、多数据源dynamic中使用1、简介2、引入依赖3、参数配置 六、XMind整理 一、简介 1、概述 官方解释&#xff1a…

数据结构选择题(难题题解) 第五章 树

5.2 14. 法1:少一个叶子再多一个叶子,欠考虑了 选B 法2: 法三: 5.3 23.选D A. 如果是根 直接找孩子就能找到后继;如果是左孩子,有孩子就找孩子,无孩子,指针是空&#xff0c…