当前位置: 代码迷 >> J2SE >> Unicode表示汉字字节数的有关问题
  详细解决方案

Unicode表示汉字字节数的有关问题

热度:110   发布时间:2016-04-24 12:29:23.0
Unicode表示汉字字节数的问题
String sTemp="汉";
byte [] tempBytes=sTemp.getBytes("Unicode");
这个字节长度怎么是4,不是应该两个字节吗?

------解决方案--------------------
UCS-2(Unicode)用2个字节表示一个字符,UCS-4(Unicode-32)用4个字节表示一个字符
------解决方案--------------------
javadoc的Charset里有说明

Java 编程语言的本机字符编码方案是 UTF-16。因此 Java 平台的 charset 定义了 16 位 UTF-16 代码单元序列和字节序列之间的映射关系。

String sTemp="汉";
byte [] tempBytes=sTemp.getBytes("Unicode");
相当于
byte [] tempBytes=sTemp.getBytes("UTF-16");

编码方案可以从系统属性查看
System.out.println(System.getProperty("sun.io.unicode.encoding")); //UnicodeLittle
缺省文件编码
System.out.println(System.getProperty("file.encoding"));

------解决方案--------------------
汉 字的 byte[]內容
0xfe//
0xff//這2個字節用來表示字符串是Big Endian還是Little Endian的
0x6c
0x49

UTF-16由RFC2781规定,它使用两个字节来表示一个代码点。

不难猜到,UTF-16是完全对应于UCS-2的,即把UCS-2规定的代码点通过Big Endian或Little Endian方式直接保存下来。UTF-16包括三种:UTF-16,UTF-16BE(Big Endian),UTF-16LE(Little Endian)。

UTF-16BE和UTF-16LE不难理解,而UTF-16就需要通过在文件开头以名为BOM(Byte Order Mark)的字符来表明文件是Big Endian还是Little Endian。BOM为U+FEFF这个字符。

其实BOM是个小聪明的想法。由于UCS-2没有定义U+FFFE,因此只要出现 FF FE 或者 FE FF 这样的字节序列,就可以认为它是U+FEFF,并且可以判断出是Big Endian还是Little Endian。

举个例子。“ABC”这三个字符用各种方式编码后的结果如下:
UTF-16BE 00 41 00 42 00 43
UTF-16LE 41 00 42 00 43 00
UTF-16(Big Endian) FE FF 00 41 00 42 00 43
UTF-16(Little Endian) FF FE 41 00 42 00 43 00
UTF-16(不带BOM) 00 41 00 42 00 43

Windows平台下默认的Unicode编码为Little Endian的UTF-16(即上述的 FF FE 41 00 42 00 43 00)。你可以打开记事本,写上ABC,然后保存,再用二进制编辑器看看它的编码结果。

另外,UTF-16还能表示一部分的UCS-4代码点——U+10000~U+10FFFF。表示算法比较复杂,简单说明如下:

从代码点U中减去0x10000,得到U'。这样U+10000~U+10FFFF就变成了 0x00000~0xFFFFF。
用20位二进制数表示U'。 U'=yyyyyyyyyyxxxxxxxxxx
将前10位和后10位用W1和W2表示,W1=110110yyyyyyyyyy,W2=110111xxxxxxxxxx,则 W1 = D800~DBFF,W2 = DC00~DFFF。

例如,U+12345表示为 D8 08 DF 45(UTF-16BE),或者08 D8 45 DF(UTF-16LE)。

但是由于这种算法的存在,造成UCS-2中的 U+D800~U+DFFF 变成了无定义的字符。
------解决方案--------------------
java默認的是UTF-16(Big Endian)方式
  相关解决方案