Chinaunix

标题: 理解CCSID,LANGID对系统内码的影响 [打印本页]

作者: 居士 时间: 2005-05-17 22:47
标题: 理解CCSID,LANGID对系统内码的影响
论坛里一直有朋友困惑于总是出现系统内一些程序乱码等问题,这些都是由于代码页转换问题.

我这里有篇文章就是详细介绍这个的,作者是IBM的陈兵. <iseries技术指南>;这本书的附录里面也有该部分,有书的朋友可以拿书看看.

希望对大家有用

===============================================

值得注意的是，在这里我们使用了“简体中文”这四个字，是为了对应在iSeries上、语言编码为2989的Simplified Chinese，也就是为了对应那些与简体中文相关的编码标准。它决不意味着我们系统仅仅支持简体字。

我们知道，当一个作业被启动的时候，系统会为它确定各项属性的取值，其中包括：

 作业的语言代码
 作业的CCSID
 作业的缺省CCSID

通常，前两项属性都会去参照与该作业相关的用户简要表（User Profile），而用户简要表中的上述参数又往往会进一步去参照系统值。对于作业的缺省CCSID，系统则会依据下面的条件判断加以确定：

 当作业的CCSID不为65535时，作业的缺省CCSID即等于作业的CCSID；
 当作业的CCSID为65535时，作业的缺省CCSID会依据作业的语言代码来确定；

由上一节我们可以知道，当我们选择DBCS大小写英文（编号为2984）作为系统的主语言时，系统值中的语言代码会被设定为美国英语ENU。用户登录所产生的作业，其各项属性会以美国英语为基础，特别是会将37作为作业的缺省CCSID。而当我们选择简体中文（编号为2989）作为系统的主语言时，系统值中的语言代码会被设定为简体中文CHS。用户登录所产生的作业，其各项属性会以简体中文为基础，特别是会将935或1388作为作业的缺省CCSID。

了解作业的缺省CCSID很重要，因为当作业要创建任何具有CCSID属性的对象的时候，系统会参照当前作业的缺省CCSID，为该对象赋予相应的CCSID取值。

目前在大陆的iSeries用户，由于其用户简要表中的设置不同，其登录所产生的作业，针对上述三项属性的取值也会有所不同。稍加留意便可发现，以下五种情况最为常见：

用户实例用户简要表中的语言代码用户简要表中的CCSID 作业的语言
代码作业的CCSID 作业的缺省CCSID
USER01 ENU 37 ENU 37 37
USER02 CHS 935 CHS 935 935
USER03 CHS 1388 CHS 1388 1388
USER11 ENU 65535 ENU 65535 37
USER12 CHS 65535 CHS 65535 935

考察以用户USER01，或用户USER11登录系统所产生的作业，它们都将以37作为作业的缺省CCSID。由于37是一种单字节的CCSID，因此以37作为缺省CCSID的作业是无法完全正确地处理双字节字符的。比如，用户在利用如下的DDS源文件编译物理文件的时候，

0 ...+... 1 ...+... 2 ...+... 3 ...+... 4 ...+... 5 ...+... 6 ...+... 7 ...+... 8
   A* CUSTOMER INFORMATION TABLE
   A
   A       R CUSTOMER                TEXT('CUST INFO')
   A          CUSTID       12A       TEXT('CUSTOMER ID')
   A          CUSTNAME    10O       TEXT('CUSTOMER NAME')
   A          ADDRESS    10O       TEXT('CUSTOMER ADDRESS')

或者在利用STRSQL运行如下的建表语句的时候，

CREATE TABLE CRMINFO/CUSTOMER
(
  CUSTID CHAR (12 ) FOR SBCS  DATA NOT NULL,
CUSTNAME CHAR (10 ) FOR MIXED DATA NOT NULL,
ADDRESS  CHAR (10 ) FOR MIXED DATA NOT NULL
);

都会生成一个以937作为CCSID的对象。其中，单字节字段CUSTID的CCSID为37，双字节字段CUSTNAME和ADDRESS的CCSID皆为937。在一个以37为缺省CCSID的作业环境中，系统为什么会以937作为这些物理文件或数据库表当中的双字节字段的CCSID呢？原因很简单，对于物理文件或数据库表中的那些双字节字段，以37作为缺省CCSID的作业无法确定它们应该属于日文、韩文、简体中文、抑或繁体中文，也就无法为这些字段标上正确的CCSID。在这种情况下，系统会给这些双字节字段都标上937，权当作为它们的CCSID，进而937也成为了这些物理文件或数据库表的CCSID。糟糕的是，937是繁体中文的主机代码页。这样一来，一旦这些物理文件被用来存放简体中文字符，那么，含有简体中文字符的字段在文件传输当中往往就会出现乱码。

正确的方法应是在系统安装完毕后，将相关的系统值设置成针对简体中文的取值，特别是将系统值QLANGID设置成CHS，将系统值QCCSID设置成935或1388。这样就可使作业的CCSID和作业的缺省CCSID都变为935或1388。由于935和1388都是针对简体中文的混合字节CCSID，在一个以935或1388作为缺省CCSID的作业环境中，当我们编译那些含有双字节字段的物理文件的时候，或是当我们创建那些含有双字节字段的数据库表的时候，系统就会生成一个以935或1388作为CCSID的对象，并给那些双字节字段都标上正确的CCSID。在上面的例子中，单字节字段CUSTID的CCSID应为836或13124，双字节字段CUSTNAME和ADDRESS的CCSID应为935或1388。

至此，你也许还会问，935和1388之间又有什么差异呢？问得好。

虽然935和1388都是针对简体中文的混合字节CCSID，但是它们在字汇方面，935的双字节代码页837代表着GB2312标准中的双字节字符部分，俗称“GB码”；而1388的双字节代码页4933则代表着GB18030标准中的双字节字符部分，俗称“GBK码”。我们知道，GB2312是汉字编码的基本集，共收录近七千个常用汉字。然而，随着计算机应用的普及，人们越来越多地会遇到需要输入或显示繁体字和某些冷僻汉字的情况。就拿客户的姓名来说，遇上在GB2312标准中找不到的汉字是常有的事。为了包容这样的汉字，使之在显示和传输过程中不出现差错，我们就应该使用1388作为那些用于存放中文字符的物理文件、数据库表及其字段的CCSID。

935和1388都是在iSeries端、基于EBCDIC编码体系的代码页。在PC端，与935和1388分别对应的是1381和1386。它们是基于ASCII编码体系的代码页。同样的，在字汇方面，1381的双字节代码页1380代表着“GB码”；而1386的双字节代码页1385则代表着“GBK码”。

关于GBK码，也就是GB18030的双字节字符部分，下表针对着1386编码和1388编码分别给出了其详细的编码分布：

类别简称 1386编码 1388编码码位数字符数备注
符号
标准
区双字节1区 A1A1-A9FE 846 718 符号(GB2312)
双字节5区 A840-A9A0 192 166 符号
小计 1038 883

汉字
区双字节2区 B0A1-F7FE 48A0-6C9F 6768 6763 汉字(GB2312)
双字节3区 8140-A0FE 8141-A181 6080 6080 汉字
双字节4区 AA40-FEA0 A182-CEA6 8160 8160 汉字
小计 21008 21003
用户
自定
义区双字节用户1区 AAA1-AFFE 7641-78FD 564
双字节用户2区 F8A1-FEFE 7941-7C9F 658
双字节用户3区 A140-A7A0 7C80-804E 672
小计 1894
总计 23940 21886

很明显，想要使物理文件或数据库表在显示和传输过程中能够正确处理简体中文字符，其文件以及字段的CCSID，往往起着最为关键的作用。除了935和1388以外，现在越来越多的应用，选择使用UCS-2，也就是13488，作为文件及其双字节字段的CCSID。这被证明是明智的选择，它将使在iSeries上的软件国际化更趋便捷。比如，SAP R/3系统在iSeries上的双字节版本，就是采用了UCS-2，其上万张数据库表的CCSID都是13488，其间的简体中文字符皆以UCS-2编码存放。

我们可以利用如下的DDS源文件编译含有UCS-2字段的物理文件：

0 ...+... 1 ...+... 2 ...+... 3 ...+... 4 ...+... 5 ...+... 6 ...+... 7 ...+... 8
   A* CUSTOMER INFORMATION TABLE
   A
   A       R CUSTOMER                TEXT('CUST INFO')
   A          CUSTID       12G       CCSID(1348

A CUSTNAME 10G CCSID(1348

A ADDRESS 10G CCSID(1348

或是利用STRSQL运行如下的建表语句创建含有UCS-2字段的数据库表：

CREATE TABLE CRMINFO/CUSTOMER
(
  CUSTID GRAPHIC (12 ) CCSID 13488  NOT NULL,
CUSTNAME GRAPHIC (10 ) CCSID 13488  NOT NULL,
ADDRESS  GRAPHIC (10 ) CCSID 13488  NOT NULL
);

它们都将生成一个以13488作为CCSID的对象，其中的每个字段都被标上CCSID13488。

在i5/OS，也就是OS/400 V5R3当中，又增加了对以UTF-8（代码页1208）和UTF-16（代码页1200）作为字段编码方式的支持。

我们可以利用如下的DDS源文件分别编译含有UTF-8和UTF-16字段的物理文件：

0 ...+... 1 ...+... 2 ...+... 3 ...+... 4 ...+... 5 ...+... 6 ...+... 7 ...+... 8
   A* CUSTOMER INFORMATION TABLE
   A
   A       R CUSTOMER                TEXT('CUST INFO')
   A          CUSTID       12A       CCSID(120

A CUSTNAME 20A CCSID(120

A ADDRESS 20A CCSID(120

0 ...+... 1 ...+... 2 ...+... 3 ...+... 4 ...+... 5 ...+... 6 ...+... 7 ...+... 8
   A* CUSTOMER INFORMATION TABLE
   A
   A       R CUSTOMER                TEXT('CUST INFO')
   A          CUSTID       12G       CCSID(1200)
   A          CUSTNAME    10G       CCSID(1200)
   A          ADDRESS    10G       CCSID(1200)

或是利用STRSQL运行如下的建表语句分别创建含有UTF-8和UTF-16字段的数据库表：

CREATE TABLE CRMINFO/CUSTOMER
(
  CUSTID CHAR (12 ) CCSID 1208  NOT NULL,
CUSTNAME CHAR (20 ) CCSID 1208  NOT NULL,
ADDRESS  CHAR (20 ) CCSID 1208  NOT NULL
);

CREATE TABLE CRMINFO/CUSTOMER
(
CUSTID GRAPHIC (12 ) CCSID 1200 NOT NULL,
CUSTNAME GRAPHIC (10 ) CCSID 1200 NOT NULL,
ADDRESS  GRAPHIC (10 ) CCSID 1200 NOT NULL
);

它们将分别生成一个以1208或1200作为CCSID的对象，其中的每个字段都被标上相应的CCSID。

在这里，我们为了简单，所以对文件中的所有双字节字段都采用了同一种编码方式。其实，在一个文件中，字段与字段的编码方式完全可以互不相同。在这种情况下，文件本身的CCSID将变得不再重要。

要了解文件及其字段的CCSID信息，可以通过键入DSPFD和DSPFFD命令获得。另一方面，要了解文件的编码内容，则可以通过键入DSPPFM命令并按F10获得。

CCSID作为文件和字段的标签，如果它和实际存放的编码内容不相一致，那么这个文件就将被视作不符合规范的文件。具体地，当我们见到针对简体中文的文件或字段出现37或937这样的CCSID，即表明这是不符合规范的文件，这样的文件在传输过程中极有可能产生乱码。解决的办法，应该首先考虑创建符合规范的文件，也就是文件及其字段应具有针对简体中文的CCSID，如935、1388、13488、1200、1208等等。

然而在实践中，很有可能用户的数据库已经建立，不符合规范的文件很多，其中可能含有很多数据，其上还可能建有若干逻辑文件或数据库索引和视图。遇到这样的情况，就需要加以分析，结合多种因素，寻求最适合最有效最经济的解决方案。一般而言，通过CHGPF命令可以为多数的物理文件和数据库表标上正确的CCSID，而通过ALTER TABLE语句更可以进一步为多数的字段标上正确的CCSID。

至此，我们可以为目前在大陆的iSeries用户罗列几种其经常遇到的文件与字段的CCSID。同样，稍加留意便可发现，我们最有可能遇到的是以下九种情况：

文件实例文件与字段的CCSID 字段类型是否适合存放简体中文字符
FILE00 37 CHAR 不适合，因为37是单字节CCSID
FILE01 836 CHAR 不适合，因为836是单字节CCSID
FILE02 65535 CHAR 一般不适合，但要视情况而定
FILE10 935 CHAR 适合，但不适合存放繁体字或冷僻汉字
FILE11 937 CHAR 不适合，因为937针对的是繁体中文
FILE12 1388 CHAR 适合
FILE20 13488 GRAPHIC 适合
FILE21 1200 GRAPHIC 适合
FILE22 1208 CHAR 适合

作者: bpcsusr 时间: 2005-05-18 08:13
标题: 理解CCSID,LANGID对系统内码的影响
不错.

作者: xuguopeng 时间: 2005-05-18 08:49
标题: 理解CCSID,LANGID对系统内码的影响
8错

PS：居士你有电子版的？别告诉我你是照着书手敲上来的~~~

作者: 胖有型 时间: 2005-05-18 10:31
标题: 理解CCSID,LANGID对系统内码的影响
居士老大提供的总是精华！
学习中。。。。。

作者: 居士 时间: 2005-05-18 16:11
标题: 理解CCSID,LANGID对系统内码的影响
哈哈, 我没有这么大的精力自己敲出来的

是电子版的.

作者: tomroom 时间: 2005-05-18 17:04
标题: 理解CCSID,LANGID对系统内码的影响
那里有下载电子版呀？我公司现在的系统值都是错误的，怎么安全的修改呀？

作者: RobinL 时间: 2005-05-19 08:43
提示: 作者被禁止或删除内容自动屏蔽

作者: michael9406 时间: 2005-05-19 08:49
标题: 理解CCSID,LANGID对系统内码的影响
电子版一般有版权的，当然不便共享了。。要不然 he he ... jushi就麻烦了。

作者: excuse 时间: 2005-05-19 11:00
标题: 理解CCSID,LANGID对系统内码的影响
也说一点关于CCSID的问题，工作当中发现如果PF的CCSID不是935，就连DDS定义变量时REF都会有问题，编译DSPF时，会不认这个屏幕变量，认为这个参考变量不可译，而CHGPF CCSID为935就OK。
请各位大侠原谅，以上我所说的，跟大家谈大问题可能没有什么关联，
（因为我是完全自学，从未接受过任何培训，）SO 只能谈谈在工作中的心得，还比较浅显，只是希望对遇到同样问题的战友们有些帮助。

作者: tomroom 时间: 2005-05-19 11:03
标题: 理解CCSID,LANGID对系统内码的影响
发一个电子版给我吧 zhangli_sunshine@hotmail.com

作者: old400 时间: 2005-05-19 12:19
标题: 理解CCSID,LANGID对系统内码的影响
好，明白了一些。

作者: 居士 时间: 2005-05-19 12:52
标题: 理解CCSID,LANGID对系统内码的影响
这个电子版的确实不太方便发给大家
建议大家去拿来<iseries技术指南>;,好好的把附录部分看看,里面详细的说明了系统的代码转换的原理,看后一定会有所收获的.

作者: tomroom 时间: 2005-05-19 13:16
标题: 理解CCSID,LANGID对系统内码的影响
谢谢居士！还是去当当买一本，25￥

作者: fxf_china 时间: 2012-09-25 16:39
本帖最后由 fxf_china 于 2012-09-25 16:43 编辑

@居士

935和1388都是在iSeries端、基于EBCDIC编码体系的代码页。在PC端，与935和1388分别对应的是1381和1386
-------------
1208(UTF-

在pc端对应的代码页是多少啊?
现在要ftp上传一个UTF-8的文件,不知道对应的代码页...65001不行

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)