字符集编码及转换
字符集编码及转换
字符编码（英语：Character encoding）也称字集码，是把字符集中的字符编码为指定集合中某一对象（例如：比特模式、自然数序列、8位组或者电脉冲），以便文本在计算机中存储和通过通信网络的传递。
1. ASCII码
我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从0000000到11111111。
上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码，一直沿用至今。ASCII码一共规定了128个字符的编码，比如空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的1位统一规定为0。
2、非ASCII编码
英语用128个符号编码就够了，但是用来表示其他语言，128个符号是不够的。比如，在法语中，字母上方有注音符号，它就无法用ASCII
码表示。于是，一些欧洲国家就决定，利用字节中闲置的最高位编入新的符号。比如，法语中的é的编码为130（二进制10000010）。这样一来，这些欧洲国家使用的编码体系，可以表示最多256个符号。但是，这里又出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使用256个符号的编码方式，代表的字母却不一样。比如，130在法语编码中代表了é，在希伯来语编码中却代表了字母Gimel (?)，在俄语编码中又会代表另一个符号。但是不管怎样，所有这些编码方式中，0—127表示的符号是一样的，不一样的只是128—255的这一段。
至于亚洲国家的文字，使用的符号就更多了，汉字就多达10万左右。一个字节只能表示256种符号，肯定是不够的，就必须使用多个字节表达一个符号。比如，简体中文常见的编码方式是GB2312，使用两个字节表示一个汉字，所以理论上最多可以表示256x256=65536个符号。
中文编码的问题需要专文讨论，这篇笔记不涉及。这里只指出，虽然都是用多个字节表示一个符号，但是GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。
3.Unicode
正如上一节所说，世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件常常出现乱码？就是因为发信人和收信人使用的编码方式
不一样。
可以想象，如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。Unicode当然是一个很大的集合，现在的规模可以容纳100多万个符号。每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，U+4E25表示汉字“严”。具体的符号对应表，可以查询https://www.wendangku.net/doc/c911663451.html,，或者专门的汉字对应表。
4. Unicode的问题
需要注意的是，Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。
比如，汉字“严”的unicode是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说这个符号的表示至少需要2个字节。表示其他更大的符号，可能需要3个字节或者4个字节，甚至更多。
这里就有两个严重的问题，第一个问题是，如何才能区别unicode和ascii？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。它们造成的结果是：1）出现了unicode的多种存储方式，也就是说
有许多种不同的二进制格式，可以用来表示unicode。2）unicode在很长一段时间内无法推广，直到互联网的出现。
5.UTF-8
互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种unicode的实现方式。其他实现方式还包括UTF-16和UTF-32，不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8是Unicode的实现方式之一。
UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。
UTF-8的编码规则很简单，只有二条：
1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。
下表总结了编码规则，字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
下面，还是以汉字“严”为例，演示如何实现UTF-8编码。
已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是“11100100 10111000 10100101”，转换成十六进制就是E4B8A5。
6. Unicode与UTF-8之间的转换
通过上一节的例子，可以看到“严”的Unicode码是4E25，UTF-8编码是E4B8A5，两者是不一样的。它们之间的转换可以通过程序实现。在Windows平台下，有一个最简单的转化方法，就是使用内置的记事本小程序Notepad.exe。打开文件后，点击“文件”菜单中的“另存为”命令，会跳出一个对话框，在最底部有一个“编码”的下拉条。里面有四个选项：ANSI，Unicode，Unicode big endian 和 UTF-8。1）ANSI是默认的编码方式。对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对Windows简体中文版，如果是繁体中文版会采用Big5码）。
2）Unicode编码指的是UCS-2编码方式，即直接用两个字节存入字符的Unicode码。这个选项用的little endian格式。
3）Unicode big endian编码与上一个选项相对应。我在下一节会解
释little endian和big endian的涵义。
4）UTF-8编码，也就是上一节谈到的编码方法。
选择完”编码方式“后，点击”保存“按钮，文件的编码方式就立刻转换好了。
7. Little endian和Big endian
上一节已经提到，Unicode码可以采用UCS-2格式直接存储。以汉字”严“为例，Unicode码是4E25，需要用两个字节存储，一个字节是4E，另一个字节是25。存储的时候，4E在前，25在后，就是Big endian 方式；25在前，4E在后，就是Little endian方式。
这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》。在该书中，小人国里爆发了内战，战争起因是人们争论，吃鸡蛋时究竟是从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开。为了这件事情，前后爆发了六次战争，一个皇帝送了命，另一个皇帝丢了王位。因此，第一个字节在前，就是”大头方式“（Big endian），第二个字节在前就是”小头方式“（Little endian）。
那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？
Unicode规范中定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做”零宽度非换行空格“（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。这正好是两个字节，而且FF比FE大1。
如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方
式；如果头两个字节是FF FE，就表示该文件采用小头方式。
8. 实例
下面，举一个实例。
打开”记事本“程序Notepad.exe，新建一个文本文件，内容就是一个”严“字，依次采用ANSI，Unicode，Unicode big endian 和 UTF-8编码方式保存。
然后，用文本编辑软件UltraEdit中的”十六进制功能“，观察该文件的内部编码方式。
1）ANSI：文件的编码就是两个字节“D1 CF”，这正是“严”的GB2312编码，这也暗示GB2312是采用大头方式存储的。
2）Unicode：编码是四个字节“FF FE 25 4E”，其中“FF FE”表明是小头方式存储，真正的编码是4E25。
3）Unicode big endian：编码是四个字节“FE FF 4E 25”，其中“FE FF”表明是大头方式存储。
4）UTF-8：编码是六个字节“EF BB BF E4 B8 A5”，前三个字节“EF BB BF”表示这是UTF-8编码，后三个“E4B8A5”就是“严”的具体编码，它的存储顺序与编码顺序是一致的。
字符编码的转换
C++字符串完全指南- Win32字符编码（一） 前言 字符串的表现形式各异，象TCHAR，std::string，BSTR等等，有时还会见到怪怪的用_tcs起头的宏。这个指南的目的就是说明各种字符串类型及其用途，并说明如何在必要时进行类型的相互转换。 在指南的第一部分，介绍三种字符编码格式。理解编码的工作原理是致为重要的。即使你已经知道字符串是一个字符的数组这样的概念，也请阅读本文，它会让你明白各种字符串类之间的关系。 指南的第二部分，将阐述各个字符串类，什么时候使用哪种字符串类，及其相互转换。 字符串基础 - ASCII, DBCS, Unicode 所有的字符串类都起源于C语言的字符串，而C语言字符串则是字符的数组。首先了解一下字符类型。有三种编码方式和三种字符类型。 第一种编码方式是单字节字符集，称之为SBCS，它的所有字符都只有一个字节的长度。ASCII码就是SBCS。SBCS字符串由一个零字节结尾。 第二种编码方式是多字节字符集，称之为MBCS，它包含的字符中有单字节长的字符，也有多字节长的字符。Windows用到的MBCS只有二种字符类型，单字节字符和双字节字符。因此Windows中用得最多的字符是双字节字符集，即DBCS，通常用它来代替MBCS。 在DBCS编码中，用一些保留值来指明该字符属于双字节字符。例如，Shift-JIS(通用日语)编码中，值 0x81-0x9F 和 0xE0-0xFC 的意思是：“这是一个双字节字符，下一个字节是这个字符的一部分”。这样的值通常称为前导字节(lead byte)，总是大于0x7F。前导字节后面是跟随字节(trail byte)。DBCS的跟随字节可以是任何非零值。与SBCS一样，DBCS字符串也由一个零字节结尾。 第三种编码方式是Unicode。Unicode编码标准中的所有字符都是双字节长。有时也将Unicode称为宽字符集(wide characters)，因为它的字符比单字节字符更宽(使用更多内存)。注意，Unicode不是MBCS - 区别在于MBCS编码中的字符长度是不同的。Unicode字符串用二个零字节字符结尾(一个宽字符的零值编码)。
常用字符集编码详解：ASCII 、GB2312、GBK、GB18030、...
ASCII ASCII码是7位编码，编码范围是0x00-0x7F。ASCII字符集包括英文字母、阿拉伯数字和标点符号等字符。其中0x00-0x20和0x7F共33个控制字符。 只支持ASCII码的系统会忽略每个字节的最高位，只认为低7位是有效位。HZ字符编码就是早期为了在只支持7位ASCII系统中传输中文而设计的编码。早期很多邮件系统也只支持ASCII编码，为了传输中文邮件必须使用BASE64或者其他编码方式。 GB2312 GB2312是基于区位码设计的，区位码把编码表分为94个区，每个区对应94个位，每个字符的区号和位号组合起来就是该汉字的区位码。区位码一般用10进制数来表示，如1601就表示16区1位，对应的字符是“啊”。在区位码的区号和位号上分别加上0xA0就得到了GB2312编码。 区位码中01-09区是符号、数字区，16-87区是汉字区，10-15和88-94是未定义的空白区。它将收录的汉字分成两级：第一级是常用汉字计3755个，置于16-55区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字计3008个，置于56-87区，按部首/笔画顺序排列。一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。 GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。可以用繁体汉字测试某些系统是不是只支持GB2312编码。 GB2312的编码范围是0xA1A1-0x7E7E，去掉未定义的区域之后可以理解为实际编码范围是0xA1A1-0xF7FE。 EUC-CN可以理解为GB2312的别名，和GB2312完全相同。 区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。HZ和ISO- 2022-CN是对应区位码字符集的另外两种编码，都是用7位编码空间来支持汉字。区位码和GB2312编码的关系有点像Unicode和UTF-8。 GBK GBK编码是GB2312编码的超集，向下完全兼容GB2312，同时GBK收录了Unicode基本多文种平面中的所有CJK汉字。同GB2312一样，GBK也支持希腊字母、日文假名字母、俄语字母等字符，但不支持韩语中的表音字符（非汉字字符）。GBK还收录了GB2312不包含的汉字部首符号、竖排标点符号等字符。 GBK的整体编码范围是为0x8140-0xFEFE，不包括低字节是0×7F的组合。高字节范围是0×81-0xFE，低字节范围是0x40-7E和0x80-0xFE。
字符编码方式介绍及编码方式测试
第一部分编码方式介绍 一、编码： 美国标准信息交换标准码( , ) 在计算机内部，所有地信息最终都表示为一个二进制地字符串.每一个二进制位（）有和两种状态.一个字节（）共由八个二进制位来组成，共有种状态，从到. 阿拉伯数字、英文字母、标点符号等这些字符，怎么定义才能让计算机识别呢？因为计算机只识别二进制位和，所以以上这些字符就必须与二进制位（和）建立关系，才能让计算机识别. 年代初，计算机界制定了一套统一地字符编码，来表示字符与二进制位之间地关系.这种统一地字符编码就叫做编码.码一共规定了个字符地编码，比如空格是（二进制），大写地字母是（二进制）.这个符号（包括个不能打印出来地控制符号），只占用了一个字节地后面位，最前面地位统一规定为. 在英语国家，个编码足以表达所有字符，但其它非英语国家，字符不是由英文字符组成，这样就需要增加编码以表达这些字符，对于超过个字符地编码被称为非编码.比如：在中国，我们用简体中文，字符编码方式为.个人收集整理勿做商业用途 二、编码： 看到上面地介绍后，我们了解了最早编码是码.它只用个二进制位来表示，由于那个时期生产地大多数计算机使用位大小地字节，因此用户不仅可以存放所有可能地字符，而且有整整一位空余下来.如果你技艺高超，可以将该位用做自己离奇地目地：中那个发暗地灯泡实际上设置这个高位，以指示一个单词中地最后一个字母，同时这也宣示了只能用于英语文本. 由于字节有多达位地空间，因此许多人在想：“呀！我们可以把之间地编码用做个人地应用目地.”问题在于，同时产生这种想法地人相当多，而且在之间地各个位置上应该存放什么这一问题上，真是仁者见仁智者见智.事实上，只要人们开始在美国以外地地方购买计算机，那么各种各样地不同字符集都会进入规划设计行列，并且各人都会根据自己地需要使用高位地个字符.如此一来，甚至在同语种地文档之间就不容易实现互换. 可被扩展，最优秀地扩展方案是，通常称之为.包括了足够地附加字符集来写基本地西欧语言. 最后，这个人参与地终于以标准地形式形成文件.在标准中，每个人都认同如何使用低端地个编码，这与相当一致.不过，根据所在国籍地不同，处理编码以上地字符有许多不同地方式.这些不同地系统称为代码页. 同时，甚至更为令人头疼地事情正在逐步上演，亚洲国家地字符表有成千上万个字符，这样地字符表是用位二进制无法表示地.该问题地解决通常有赖于称为（，双字节字符集）地繁杂字符系统. 不过，仍然需要指出一点，多数人还是姑且认为一个字节就是一个字符，以及一个字符就是个二进制位，并且只要确保不将字符串从一台计算机移植到另一台计算机，或者说一种以上地语言，那么这几乎总是可以凑合.当然，只要一进入，从一台计算机向另一台计算机移植字符串就成为家常便饭了，而各种复杂状况也随之呈现出来.令人欣慰地是，随即问世了.个人收集整理勿做商业用途 字符集（简称为）,国际标准组织于年月成立工作组，针对各国文字、符号进行统一性编码.年美国跨国公司成立，并于年月与达成协议，采用同一编码字集.目前是采用位编码体系，其字符集内容与地（）相同.于年月通过（），目前版本于公布，内容包含符号个，汉字个，韩文拼音个，造字区个，保留个，共计个.编码后地大小是一样地.例如一个英文字母"" 和一个汉字"好"，编码后都是占用地空间大小是一样地，都是两个字节！个人收集整理勿做商业用途 可以用来表示所有语言地字符，而且是定长双字节（也有四字节地）编码，包括英文字
常用字符集介绍和编码转换原理
常用字符集介绍和编码转换原理 目录 1. GB2312编码介绍 (2) 1.1 基本信息 (2) 1.2 GB标准 (2) 1.3 分区表示 (2) 1.4 字节结构 (2) 2. 通用字符集UCS (3) 2.1 定义 (3) 2.2 概要 (3) 2.3 实现级别 (3) 2.4 与UNICODE的兼容关系 (3) 3. unicode编码介绍 (3) 3.1 基本简介 (4) 3.2 编码实现 (4) 3.2.1 编码方式 (4) 3.2.2 实现方式 (5) 4. UTF-8介绍 (5) 4.1 基本介绍 (5) 4.2 编码原理 (5) 4. 转换原理 (7)
1. GB2312编码介绍 1.1 基本信息 1.2 GB标准 GB2312或GB2312-80是一个简体中文字符集的中国国家标准，全称为《信息交换用汉字编码字符集·基本集》，又称为GB0，由中国国家标准总局发布，1981年5月1日实施。GB2312编码通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。 GB2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，GB2312收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。 GB2312的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75%的使用频率。 对于人名、古汉语等方面出现的罕用字，GB2312不能处理，这导致了后来GBK及GB18030汉字字符集的出现。 1.3 分区表示 GB 2312中对所收汉字进行了―分区‖处理，每区含有94个汉字/符号。这种表示方式也称为区位码。 01-09区为特殊符号。 16-55区为一级汉字，按拼音排序。 56-87区为二级汉字，按部首/笔画排序。 10-15区及88-94区则未有编码。 举例来说，―啊‖字是GB2312之中的第一个汉字，它的区位码就是1601。 1.4 字节结构
字符集与编码
字符集与编码 一.字符集与编码之间的关系 1.为了在计算机中存储与处理，必须对字符进行数字化编码。 2.字符集规定了包含哪些字符，每个字符的值是什么 3.编码规定了对于这些值，如何存储 4.有些标准同时规定了字符集及其编码 如：目前使用最广泛的西文字符集及其编码是ASCII 字符集和ASCII码（ASCII是American Standard Code for Information Interchange的缩写），它同时也被国际标准化组织（International Organization for Standardization, ISO）批准为国际标准 5.有些标准同一个字符集可以有多种编码格式 二.字符集及编码 1.SBCS （single byte character set） 1.1 ASCII （1）.7位编码，范围0x00-0x7F （2）.码值32-127(0x20-0x7F) （3）.0x00-0x1F 之间的为控制字符，每个字符有一个缩写的名字 （4）.数字，大写字母，小写字母的编码都是连续的 目前使用最广泛的西文字符集及其编码是 ASCII 字符集和 ASCII 码（ ASCII 是American Standard Code for Information Interchange 的缩写），它同时也被国际标准化组织（ International Organization for Standardization, ISO ）批准为国际标准。 基本的 ASCII 字符集共有 128 个字符，其中有 96 个可打印字符，包括常用的字母、数字、标点符号等，另外还有 32 个控制字符。标准 ASCII 码使用 7 个二进位对字符进行编码，对应的 ISO 标准为 ISO646 标准。下表展示了基本 ASCII 字符集及其编码： 字母和数字的 ASCII 码的记忆是非常简单的。我们只要记住了一个字母或数字的ASCII 码（例如记住 A 为 65 ， 0 的 ASCII 码为 48 ），知道相应的大小写字母之间差 32 ，就可以推算出其余字母、数字的 ASCII 码。 虽然标准 ASCII 码是 7 位编码，但由于计算机基本处理单位为字节（ 1byte = 8bit ），所以一般仍以一个字节来存放一个 ASCII 字符。每一个字节中多余出来的一位（最高位）在计算机内部通常保持为 0 （在数据传输时可用作奇偶校验位）。 由于标准 ASCII 字符集字符数目有限，在实际应用中往往无法满足要求。为此，国际标准化组织又制定了 ISO2022 标准，它规定了在保持与 ISO646 兼容的前提下将ASCII 字符集扩充为 8 位代码的统一方法。 ISO 陆续制定了一批适用于不同地区的扩充 ASCII 字符集，每种扩充 ASCII 字符集分别可以扩充 128 个字符，这些扩充字符
Unicode、UTF-8与GB2312等编码之间是如何转换的
字符编码知识：Unicode、UTF-8、ASCII、GB2312等编码之间是如何转换的？（... 字符编码是计算机技术的基石，想要熟练使用计算机，就必须懂得字符编码的知识。不注意的人可能对这个不在意，但这些名词有时候实在让人迷惑，对想学习计算机知识的人来说，搞懂它也十分重要，我也是在学习中慢慢了解了一些这方面的知识。 1. ASCII码 在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从0000000到11111111。 上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码，一直沿用至今。 ASCII码一共规定了128个字符的编码，比如空格“SPACE”是32（十进制的32，用二进制表示就是00100000），大写的字母A是65（二进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的1位统一规定为0。下面是截图：具体的可以到这个网页上去查下： 2、非ASCII编码 英语用128个符号编码就够了，但是用来表示其他语言，128个符号是不够的。比如，在法语中，字母上方有注音符号，它就无法用ASCII码表示。于是，一些欧洲国家就决定，利用字节中闲置的最高位编入新的符号。比如，法语中的é的编码为130（二进制10000010）。这样一来，这些欧洲国家使用的编码体系，可以表示最多256个符号。 但是，这里又出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使用256个符号的编码方式，代表的字母却不一样。比如，130在法语编码中代表了é，在希伯来语编码中却代表
计算机中最常用的字符信息编码是(
练习题 第1章 1-1选择： 1.计算机中最常用的字符信息编码是（） A ASCII B BCD码 C 余3码 D 循环码 2．要MCS-51系统中，若晶振频率8MHz，一个机器周期等于( ) μs A 1.5 B 3 C 1 D 0.5 3.MCS-51的时钟最高频率是( ). A 12MHz B 6 MHz C 8 MHz D 10 MHz 4．以下不是构成的控制器部件（）： A 程序计数器、B指令寄存器、C指令译码器、D存储器 5．以下不是构成单片机的部件（） A 微处理器（CPU）、B存储器C接口适配器（I＼O接口电路） D 打印机6．下列不是单片机总线是（） A 地址总线 B 控制总线 C 数据总线 D 输出总线 7.-49D的二进制补码为.( ) A 11101111 B 11101101 C 0001000 D 11101100 8.十进制29的二进制表示为原码（） A 11100010 B 10101111 C 00011101 D 00001111 9. 十进制0.625转换成二进制数是（） A 0.101 B 0.111 C 0.110 D 0.100 10 选出不是计算机中常作的码制是（） A 原码 B 反码C补码 D ASCII 1-2填空 1.计算机中常用的码制有。 2.十进制29的二进制表示为。 3.十进制数-29的8位补码表示为. 。 4.单片微型机、、三部分组成. 5.若不使用MCS-51片内存器引脚必须接地. 6. 是计算机与外部世界交换信息的载体. 7.十进制数-47用8位二进制补码表示为. 。 8.-49D的二进制补码为. 。 9.计算机中最常用的字符信息编码是。 10．计算机中的数称为机器数，它的实际值叫。 1-3判断 1.我们所说的计算机实质上是计算机的硬件系统与软件系统的总称。（） 2.MCS-51上电复位时，SBUF=00H。（）。SBUF不定。 3.使用可编程接口必须处始化。（）。 4．8155的复位引脚可与89C51的复位引脚直接相连。（）
计算机常见编码
计算机常见编码 一．有关编码的基础知识 1. 位bit 最小的单元 字节byte 机器语言的单位 1byte=8bits 1KB=1024byte 1MB=1024KB 1GB=1024MB 2. 二进制binary 八进制octal 十进制decimal 十六进制hex 3. 字符：是各种文字和符号的总称，包括各个国家的文字，标点符号，图形符 号，数字等。 字符集：字符集是多个符号的集合，每个字符集包含的字符个数不同。 字符编码：字符集只是规定了有哪些字符，而最终决定采用哪些字符，每一 个字符用多少字节表示等问题，则是由编码来决定的。计算机要 准确的处理各种字符集文字，需要进行字符编码，以便计算机能 够识别和存储各种文字。 二．常见字符集的编码介绍： 常见的字符集有：ASCII 字符集，GB2312 字符集，BIG5 字符集，GB18030 字符集，Unicode 字符集，下面一一介绍： 1. ASCII 字符集： 定义： 美国信息互换标准代码，是基于罗马字母表的一套电脑编码系统，主要显示 英语和一些西欧语言，是现今最通用的单字节编码系统。 包含内容： 控制字符（回车键，退格，换行键等） 可显示字符（英文大小写，阿拉伯数字，西文符号） 扩展字符集（表格符号，计算符号，希腊字母，拉丁符号） 编码方式： 第0-31 号及127 号是控制字符或通讯专用字符； 第32-126 号是字符，其中48-57 号为0-9 十个阿拉伯数字，65-90 号为26 个 大写英文字母，97-122 号为26 个英文小写字母，其余为一些标点符号，运 算符号等。 在计算机存储单元中，一个ASCII 码值占一个字节（8 个二进制位），最高位 是用作奇偶检验位。【奇偶校验是指：在代码传送的过程中，用来检验是否 出错的一种方法。】奇偶校验分为奇校验和偶校验。奇校验规定：正确的代 码一个字节中1 的个数必须是奇数，若非奇数，则在最高位添1；偶校验规 定：正确的代码一个字节中 1 的个数必须是奇数，若非奇数，则在最高位添 1。
C++编译器对字符串的编码转换
C++编译器对字符串的编码转换 殷海峰 2012年07月20日
变更记录 日期作者说明2012.07.18 殷海峰完成初稿 2012.07.20 殷海峰增加了如下内容 1、研究方法； 2、MinGW gcc 处理 Unicode 字符串； 3、VC++6.0处理rc文件里的字符串； 4、VC++.NET对字符串的处理 I
目录 第1章说明 (3) 1.1 前言 (3) 1.2 MinGW gcc (3) 1.2.1 ANSI字符串 (3) 1.2.2 Unicode字符串 (4) 1.2.3 #include (4) 1.3 VC++6.0 (4) 1.3.1 ANSI字符串 (5) 1.3.2 Unicode字符串 (5) 1.3.3 资源文件 (5) 1.4 VC++.NET (5) II
第1章说明 1.1 前言 本文将研究C++编译器对字符串的编码转换。如下面两行代码包含了一个ANSI字符串和一个Unicode字符串（也叫Wide字符串）。编译之后，它们具体的编码是什么？ const char* pA = "123456789测试"; //ANSI字符串 const wchar_t* pW = L"123456789测试"; //Unicode字符串 使用UltraEdit以二进制打开编译生成的exe文件。找到123456789之后就可以查看ANSI字符串中“测试”的编码；找到16进制字符串 31 00 32 00 33 00 34 00 35 00就可以查看Unicode字符串中“测试”的编码。使用这个方法，本文对 MinGW gcc 和 VC++ 编译器进行了研究。 1.2 MinGW gcc 在 Windows 系统下，安装Qt Creator 2.3.1 之后，MinGW 4.4.0就被自动安装，其安装目录一般位于：C:\Qt\qtcreator-2.3.1\mingw。 1.2.1 ANSI字符串 MinGW gcc 4.4.0编译器对ANSI字符串的编码原则：保持其在源文件里的原始编码，不做任何转换。 举例说明：对于Test.cpp里的字符串"测试"。如果Test.cpp的编码是ANSI 的，则"测试"就是ANSI编码；如果Test.cpp的编码是UTF-8的，则"测试"就是UTF-8编码。编译器生成exe的时候，仅仅在它们后面增加一个字符'\0'。也就是说同样的字符串"测试"，会因为Test.cpp的编码不同而不同。同样的代码s trlen("测试")，会因为Test.cpp的编码不同而返回不同的值。 了解了这个原理，下面来看两行QT代码： 3
各种文字编码简介+常见的编码都有介绍
各种文字编码简介 ASCII ASCII码是7位编码，编码范围是0×00-0×7F。ASCII字符集包括英文字母、阿拉伯数字和标点符号等字符。其中0×00-0×20和0×7F共33个控制字符。 只支持ASCII码的系统会忽略每个字节的最高位，只认为低7位是有效位。HZ字符编码就是早期为了在只支持7位ASCII系统中传输中文而设计的编码。早期很多邮件系统也只支持ASCII编码，为了传输中文邮件必须使用BASE64或者其他编码方式。 GB2312 GB2312是基于区位码设计的，区位码把编码表分为94个区，每个区对应94个位，每个字符的区号和位号组合起来就是该汉字的区位码。区位码一般用10进制数来表示，如1601就表示16区1位，对应的字符是“啊”。在区位码的区号和位号上分别加上0xA0就得到了GB2312编码。 区位码中01-09区是符号、数字区，16-87区是汉字区，10-15和88-94是未定义的空白区。它将收录的汉字分成两级：第一级是常用汉字计3755个，置于16-55区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字计3008个，置于56-87区，按部首/笔画顺序排列。一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。 GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。可以用繁体汉字测试某些系统是不是只支持GB2312编码。
GB2312的编码范围是0xA1A1-0×7E7E，去掉未定义的区域之后可以理解为实际编码范围是 0xA1A1-0xF7FE。 EUC-CN可以理解为GB2312的别名，和GB2312完全相同。 区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。HZ和ISO-2022-CN是对应区位码字符集的另外两种编码，都是用7位编码空间来支持汉字。区位码和GB2312编码的关系有点像 Unicode和UTF-8。GBK GBK编码是GB2312编码的超集，向下完全兼容GB2312，同时GBK收录了Unicode基本多文种平面中的所有CJK汉字。同 GB2312一样，GBK也支持希腊字母、日文假名字母、俄语字母等字符，但不支持韩语中的表音字符（非汉字字符）。GBK还收录了GB2312不包含的汉字部首符号、竖排标点符号等字符。 GBK的整体编码范围是为0×8140-0xFEFE，不包括低字节是0×7F的组合。高字节范围是 0×81-0xFE，低字节范围是0×40-7E和0×80-0xFE。 低字节是0×40-0×7E的GBK字符有一定特殊性，因为这些字符占用了ASCII码的位置，这样会给一些系统带来麻烦。 有些系统中用0×40-0×7E中的字符（如“|”）做特殊符号，在定位这些符号时又没有判断这些符号是不是属于某个 GBK字符的低字节，这样就会造成错误判断。在支持GB2312的环境下就不存在这个问题。需要注意的是支持GBK的环境中小于0×80的某个字节未必就是ASCII符号；另外就是
各种字符编码间的转换方法：MultiByteToWideChar和MultiByteToWideChar
MultiByteToWideChar和MultiByteToWideChar对各种字符编码间的转换 函数原型： int WideCharToMultiByte( UINT CodePage, DWORD dwFlags, LPCWSTR lpWideCharStr, int cchWideChar, LPSTR lpMultiByteStr, int cbMultiByte, LPCSTR lpDefaultChar, LPBOOL lpUsedDefaultChar ); 此函数把宽字符串转换成指定的新的字符串，如ANSI，UTF8等，新字符串不必是多字节字符集。参数： CodePage：指定要转换成的字符集代码页，它可以是任何已经安装的或系统自带的字符集，你也可以使用如下所示代码页之一。 参数说明： 1、CodePage——指定要转换成的字符集代码页，它可以是任何已经安装的或系统自带的字符集，可选择以下代码页： CP_ACP //当前系统ANSI代码页 CP_MACCP //当前系统Macintosh代码页 CP_OEMCP //当前系统OEM代码页，一种原始设备制造商硬件扫描码CP_SYMBOL //Symbol代码页，用于Windows 2000及以后版本 CP_THREAD_ACP //当前线程ANSI代码页，用于Windows 2000及以后版本 CP_UTF7 //UTF-7，设置此值时lpDefaultChar和lpUsedDefaultChar都必须为NULL CP_UTF8 //UTF-8，设置此值时lpDefaultChar和lpUsedDefaultChar都必须为NULL 用GetLocaleInfo 函数获取当前系统的代码页，936: 简体中文, 950: 繁
编码字符集标准及分类研究_谢谦
中 文 信 息 学 报 第20卷第5期 J OURNAL OF CH I NESE I NF OR MATI O N P ROCESSI NG V ol.20N o.5文章编号:1003-0077(2006)05-0083-08 编码字符集标准及分类研究 谢 谦1,2,芮建武1,吴 健1 (1.中国科学院软件研究所开放系统与中文信息处理中心,北京 100080;2.河南大学计算机与 信息工程学院,河南开封 475001) 摘要:编码字符集标准是计算机处理文字信息的基础,本文提出了编码字符集三元组抽象,对现有编码字符集标准进行了简单回顾和总结,深入剖析了影响巨大的ISO2022标准及其派生标准,对ISO2022编码机制应用于多语言环境的局限性进行了探讨,阐明了使用通用编码字符集UCS的必要性,并对其进行了分析。探讨了现有编码分类方法存在的问题,引入了一种对编码字符集以及实现方法进行分类的新方法,使用该方法对现有标准进行了归类;最后对汉字字符集相关的国家标准进行了分析评介。 关键词:计算机应用;中文信息处理;编码字符集 中图分类号:TP391 文献标识码:A Research on Coded Character Set Standards and C lassification X I E Q ian1,2,RU I Jian-wu1,W U Jian1 (1.Open Syste m and Ch i nes e Infor m ati on Processi ng Cen ter,Institute of Soft w are,C h i nes e A cade m y of S ci en ces,B eiji ng100080, Ch i na;2.S chool of Compu t er and In for m ation Engineeri ng,H enan Un i versity,Kaifeng,H enan475001,Ch ina) Ab strac t:Coded character se t standa rd are t he base s of t he co m puter t ex t infor m ati on processing.In t his pape r,a3-turples m ode l is proposed t o descibe the coded character se.t The ex isting code standards are reviewed and su mma-rized.A nd t he ISO2022and it's deriv i ng standards are ana l y zed in de tail;incl uding the li m ita tion o f u tilizi ng IS O 2022in m ultili ngua l env iron m en.t N ecessit y o f foundi ng UCS(U niversa lCha racter Se t)is present ed,a long w it h an outline ana l y sis o f UCS.A ft e r eva l uating current c l assifica tion m e t hods o f coded character set standa rds,a new m eth-od is produced w ith applica tion i n ca talogu i ng existing standa rds.W e c l o se ou r paper w ith a brief ana l ysis of i m po r-tan t Chinese na tiona l st andards on Han character se.t K ey word s:compu t e r applicati on;Ch i nese inf o r m ati on processing;coded character se t 计算机应用从单纯的科学计算转向信息处理,是引发二十世纪信息革命的里程碑事件,而支撑这一转变的重要基础就是字符编码;通过制定字符编码标准,在人能理解的文字信息与计算机内部表达之间建立了一个基本的沟通桥梁,直到今天,基于文字的交互途径仍然是最主要的人机界面。正如Unicode标准中所言[1],“对计算机软件系统而言,字符编码就像螺钉和螺母———虽然微小,却以各种方式被普遍使用。” 收稿日期:2005-07-08 定稿日期:2006-05-22 基金项目:国家863计划资助项目(2003AA1Z2110);中国科学院知识创新工程资助项目(KGCX2-S W-504) 作者简介:谢谦(1968—),男,博士生,主要研究领域为系统软件国际化,X W i ndow系统,L inux标准化.
jquery字符编码转换
Ajax遭遇GBK编码（完全解决方案）占个座位先 国内互联网普遍都是使用GBK编码。对于J2EE项目，为了减少编码的干扰通常都是设置一个编码的Filter，强制将Request/Response编码改为GBK。例如一个Spring的常见配置如下：
常用字符集编码详解：ASCII、GB2312、GBK、GB18030、...
ASCII ASCII 码是7位编码，编码范围是0x00-0x7F ASCII 字符集包括英文字母、 阿拉伯数字和标点符号等字符。其中 0x00-0x20和0x7F 共33个控制字符。 只支持ASCI 码的系统会忽略每个字节的最高位，只认为低 7位是有效位。 HZ 字符编码就是早期为了在只支持 7位ASCII 系统中传输中文而设计的编码。 早期很多邮件系统也只支持ASCII 编码，为了传输中文邮件必须使用 BASE64或 者其他编码方式。 GB2312 GB2312是基于区位码设计的，区位码把编码表分为 94个位，每个字符的区号和位号组合起来就是该汉字的区位 码。 10进制数来表示，如 1601就表示 16区1 位，对应的字符是 区号和位号上分别加上0xA0就得到了 GB2312编 码。 区位码中 01-09区是符号、数字区， 16-87区是汉字区， 未定义的空白区。它将收录的汉字分成两级： 第一级是常用汉字计 3755 个，置于 16-55 区，按汉语拼音字母 /笔形顺序排 列；第二级汉字是次常用汉字计 3008 个，置于 56-87 区，按部首 /笔画顺序排 列。一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中 的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。 GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片 假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。可以 用繁体汉字测试某些系统是不是只支持 GB2312编码。 GB2312的编码范围是0xA1-0x7E 去掉未定义的区域之后可以理解为实际 编码范围是 0xA1-0xF7FE 。 EUC-CN 可以理解为GB2312的别名，和GB2312完全相同。 区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而 94个区，每个区对应 区位码一般用 “啊”。在区位码的 10-15和 88-94是
C#字符编码
C#字符编码 一、ASCII码 我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从00000000到11111111。 上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码，一直沿用至今。ASCII码一共规定了128个字符的编码，比如空格―SPACE‖是32（二进制00100000），大写的字母A是65（二进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的1位统一规定为0。 在C#中如果你想看看某个字母的ASCII码是多少，可以使用表示字符编码的类Encoding ，代码如下： string s = "a"; byte[] ascii = Encoding.ASCII.GetBytes(s); 我们通过调试器可以看到ascii中为97，也就是说a的ASCII码为97（1100001） 二、非ASCII编码 英语用128个符号编码就够了，但是用来表示其他语言，128个符号是不够的。比如，在法语中，字母上方有注音符号，它就无法用ASCII码表示。于是，一些欧洲国家就决定，利用字节中闲置的最高位编入新的符号。比如，法语中的é的编码为130（二进制100000 10）。这样一来，这些欧洲国家使用的编码体系，可以表示最多256个符号。 但是，这里又出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使用256个符号的编码方式，代表的字母却不一样。比如，130在法语编码中代表了é，在希伯来语编码中却代表了字母Gimel ，在俄语编码中又会代表另一个符号。但是不管怎样，所有这些编码方式中，0—127表示的符号是一样的，不一样的只是128—255的这一段。 至于亚洲国家的文字，使用的符号就更多了，汉字就多达10万左右。一个字节只能表示2 56种符号，肯定是不够的，就必须使用多个字节表达一个符号。比如，简体中文常见的编码方式是GB2312，使用两个字节表示一个汉字，所以理论上最多可以表示256x256=6553 6个符号。在C#中如果你想看看某个汉字的GB2312编码可以使用如下代码： string s = "梁"; System.Text.Encoding GB2312 = System.Text.Encoding.GetEncoding("GB2312");
UTF8与GBK字符编码之间的相互转换
UTF8与GBK字符编码之间的相互转换 C++ UTF8编码转换CChineseCode 一预备知识 1，字符：字符是抽象的最小文本单位。它没有固定的形状（可能是一个字形），而且没有值。“A”是一个字符，“€”（德国、法国和许多其他欧洲国家通用货币的标志）也是一个字符。“中”“国”这是两个汉字字符。字符仅仅代表一个符号，没有任何实际值的意义。 2，字符集：字符集是字符的集合。例如，汉字字符是中国人最先发明的字符，在中文、日文、韩文和越南文的书写中使用。这也说明了字符和字符集之间的关系，字符组成字符集（iso8859-1，GB2312/GBK，unicode）。 3，代码点：字符集中的每个字符都被分配到一个“代码点”。每个代码点都有一个特定的唯一数值，称为标值。该标量值通常用十六进制表示。 4，代码单元：在每种编码形式中，代码点被映射到一个或多个代码单元。“代码单元”是各个编码方式中的单个单元。代码单元的大小等效于特定编码方式的位数：UTF-8 ：UTF-8 中的代码单元由8 位组成；在UTF-8 中，因为代码单元较小的缘故，每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个、三个或四个代码单元；UTF-16 ：UTF-16 中的代码单元由16 位组成；UTF-16 的代码单元大小是8 位代码单元的两倍。所以，标量值小于 U+10000 的代码点被编码到单个代码单元中；UTF-32：UTF-32 中的代码单元由32 位组成；UTF-32 中使用的32 位代码单元足够大，每个代码点都可编码为单个代码单元；GB18030：GB18030 中的代码单元由8 位组成；在GB18030 中，因为代码单元较小的缘故，每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个或四个代码单元。 5，举例：“中国北京香蕉是个大笨蛋”这是我定义的aka字符集； 各字符对应代码点为： 北00000001 京00000010 香10000001 蕉10000010 是10000100 个10001000 大10010000 笨10100000 蛋11000000 中00000100 国00001000 下面是我定义的zixia 编码方案（8位），可以看到它的编码中表示了aka字符集的所有字符对应的代码单元； 北10000001 京10000010 香00000001 蕉00000010 是00000100 个00001000 大00010000 笨00100000 蛋01000000 中10000100 国10001000 所谓文本文件就是我们按一定编码方式将二进制数据表示为对应的文本如00000001000000100000010000001000000100000010000001000000这样的文件。我用一个支持zixia编码和aka字符集的记事本打开，它就按照编码方案显示为“香蕉是个大笨蛋” 如果我把这些字符按照GBK另存一个文件，那么则肯定不是这个，而是1100111111100011
中文字符集、编码
前言
由于工作的需要，参考了好多资料整理出来一份计算机汉字处理报告，不敢独享，希 望与大家共享。Ziggler 现代计算机技术虽然先进， 但大多数人只知录入 GB-2313 字符集内的 6763 个简体汉字， 对包含 21003 个简繁体汉字的 GBK 字符集的文字录入、字体 显示就已不甚了解（市面上 绝大多数所谓的繁体字体，其实采用的是 GB2313 字符集简体字的编码，用字体显示为繁体 字，而不是直接用 GBK 字符集中繁体字 的编码，错误百出） 。而汉字总数至少有近 10 万 个，目前计算机能处理的，也有 70244 个，已非一般人所能知能用了。 由于汉字总数非常庞大。 汉字总共有多少字？到目前为止， 恐怕没人能够答得上来精确 的数字。据估计，汉字数量达到 11 万左右。 这里所说的七万多汉字， 是指 UNICODE 超大字集全部七万多中日韩汉字。 （注： Unicode 是指用两个字节表示每个字符的字符编码方案。 ） 那一般计算机能够显示多少个汉字呢？比如大陆这边普遍安装简体 Windows 系统，而 简体 windows 以宋体为系统字型，宋体支持 GBK 编码，所以能显示 20902 个汉字。 要显示 71564 个汉字， 可以采取多种方案， 如： 宋体-方正超大字符集+新细明体 EXTB、 宋体-方正超大字符集+中易宋体 EXTB、宋体 GB18030+新细明体 ExtB、宋体 18030+宋体 ExtB 等等。
中文字符集、编码
字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符 集是多个字符的集合，字符集 种类较多，每个字符集包含的字符个数不同。 计算机要准确的处理各种字符集文字， 需要进行字符编码， 以便计算机能够识别和存储 各种文字。 中文文字数目大， 而且还分为简体中文和繁体中文两种不同书写规则的文字， 而计算机 最初是按英语单字节字符设计的， 因此， 对中文字符进行编码， 是中文信息交流的技术基础。 以下是常见的一些字符集介绍，部分字符集中包括编码介绍。
GB2312 字符集
1．名称的由来 GB2312 又称为 GB2312-80 字符集，全称为《信息交换用汉字编码字符集·基本集》 ，由原中 国国家标准总局发布，1981 年 5 月 1 日实施。 2．特点 GB2312 是中国国家标准的简体中文字符集。它所收录的汉字已经覆盖 99.75%的使用频率，
- 中文字符集、编码
- 常用字符编码表(DOC)
- ASCII 表(字符与编码对照表)
- 信息技术 通用多八位编码字符集(基本多文种平面) 汉字48点阵字
- 编码字符集标准及分类研究_谢谦
- 常用编码
- 常用字符与ASCII代码对照表
- 中文编码字符集标准大全
- 常用字符与ASCII代码对照表 (1)
- 计算机常见编码
- 常用字符编码表(DOC)
- 常用编码字符及颜色对照表
- 常用汉字utf-8字符集
- 常用字符集编码详解
- 计算机中最常用的字符信息编码是(
- 信息技术 通用编码字符集(基本多文种平面) 汉字32点阵字型 第2
- 计算机常见编码
- 中文字符集与字符编码的基础知识
- 计算机常见编码
- 常用字符集编码详解：ASCII、GB2312、GBK、GB18030、...