关于AS400程序性能提升的讨论

renzey

cpu利用100%就当然满负载了，不如去优化程序减少i/o

audiotech

renzey 谢谢你的建议 其实io方面已经优化过一次了
那我再请教下一个
100万笔数据的大文件读取100万次数据
10万笔数据的小文件有10个，一工读取100万次
上面两种方式io次数一样 性能能有差别吗

passthru

100万笔数据的大文件读取100万次数据
10万笔数据的小文件有10个，一工读取100万次
上面两种方式io次数一样 性能能有差别吗?

io次数看上去一样，但是性能肯定不一样。因为，用一个大文件与分为10小文件进行操作，os400建立ODP数据访问路径的时间不一样，而且，os400创建ODP的时间比一个io次数要长许多。

lz想知道性能优化措施，给你以下几个思路，参考一下：
1）如果as400物理内存比较大，把这个大的pf装入物理内存。这样程序对数据库操作把io转化为物理内存的电子开关操作，性能效率有几何级数的提升；这种方法可快速实施，可以临时解决一时的os系统性能问题，代价就是浪费物理内存，因为物理内存的性能价格比大大超出磁盘。
2）减少ODP打开的次数；如果对一个pf，os400通过rpgle打开odp路径，rpgle程序最好做成可重入性的程序，因为可以保持opd路径始终处在open状态，同时也会减少rpgle代码执行初始化的时间，以及用rpgle程序做事务处理初始化的时间。这两个时间都是远远大于io操作时间。
3）把rpgle程序仅保留外界的接口程序，其它又rpgle组成的应用系统的操作内核，尽量用服用程序组成应用系统的内核集。因为这种方法中rpgle都是静态连接的，并且程序都是可以重入的，执行效率肯定可以大大提高应用系统的执行性能。
4）在一定as400环境下，把这个大的pf文件，分段并发执行，并发rpgle程序与as400性能密切相关，有一个合理并发数值，因为并发提交记录处理锁pf的时间要控制在60秒之内，否则就会出错。这种方法仅适合批量处理。

audiotech

经过测试方法a和方法b的效率是一样的，前提是没有改变程序业务逻辑。
关于passthru的回答
1）如果as400物理内存比较大，把这个大的pf装入物理内存。这样程序对数据库操作把io转化为物理内存的电子开关操作，性能效率有几何级数的提升；这种方法可快速实施，可以临时解决一时的os系统性能问题，代价就是浪费物理内存，因为物理内存的性能价格比大大超出磁盘。
audiotech:关于此方法，需要admin管理部门介入，牵涉到其他部门手续上面比较麻烦，性能肯定可以提高，提高多少我不知道未经测试

2）减少ODP打开的次数；如果对一个pf，os400通过rpgle打开odp路径，rpgle程序最好做成可重入性的程序，因为可以保持opd路径始终处在open状态，同时也会减少rpgle代码执行初始化的时间，以及用rpgle程序做事务处理初始化的时间。这两个时间都是远远大于io操作时间。
audiotech:此方法已经应用到程序中，我们是在主程序里面打开所有需要被i打开的文档，减少了odp创建时间从而提高了程序效率

3）把rpgle程序仅保留外界的接口程序，其它又rpgle组成的应用系统的操作内核，尽量用服用程序组成应用系统的内核集。因为这种方法中rpgle都是静态连接的，并且程序都是可以重入的，执行效率肯定可以大大提高应用系统的执行性能。
audiotech: 此方法冒死是把某些可以重复使用的功能做成module或者service program绑定起来，这个也能提高效率

4）在一定as400环境下，把这个大的pf文件，分段并发执行，并发rpgle程序与as400性能密切相关，有一个合理并发数值，因为并发提交记录处理锁pf的时间要控制在60秒之内，否则就会出错。这种方法仅适合批量处理。
audiotech:我们en使用次方法来提高效率，关于锁pf的e问题其实不难需要注意pf打开方式，至于并发线程数可以通过cpu利用率来获得
经过测试，20个job一起跑和10个job一起跑和5个job一起跑，结果还是5个来的快一点点，因为都是cpu满负载运行，其中的原因可能和cpu利用率有关，当cpu的绿用率到ao100%后，再多job也是没有用的