免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 7250 | 回复: 2
打印 上一主题 下一主题

DB2的sum函数精度bug [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-05-25 10:03 |只看该作者 |倒序浏览
DB2中直接使用sum函数,结果相除时会丢掉小数位,实验如下:
create table aa(a1 decimal(10,2),a2 decimal(10,2));
insert into aa values(123.45,234.56);
insert into aa values(100.12,234.56);
commit;
查询结果:
select a1,a2,a1/a2 from aa;
123.45  234.56       0.526304570259208731241
100.12  234.56       0.426841746248294679399
  
select sum(a1),sum(a2), sum(a1)/sum(a2), sum(a2)/sum(a1) from aa;
223.57     469.12    0       2   
也就是说sum函数的结果相除,得出不正确的结果!
同样的方法在Oracle中却不会出现这种错误!此处只能转换成:
select cast(sum(a1) as double)/sum(a2)from aa;

除此之外,DB2中在两个字段相除时还会经常出现精度问题.

论坛徽章:
0
2 [报告]
发表于 2007-05-25 11:11 |只看该作者

这应该不是一个bug

db cfg的一个参数MIN_DEC_DIV_3,这个参数在get db cfg for db中并不会列出,但却可以修改,
MIN_DEC_DIV_3默认值=no,意义是除法计算精度=31-p+s-s'
若改为yes,则除法计算精度=MAX(3,31-p+s-s'),也就是说至少可以保留3位小数

论坛徽章:
11
数据库技术版块每日发帖之星
日期:2016-06-25 06:20:00数据库技术版块每日发帖之星
日期:2016-06-24 06:20:00数据库技术版块每日发帖之星
日期:2016-05-03 06:20:00数据库技术版块每日发帖之星
日期:2016-04-21 06:20:00数据库技术版块每日发帖之星
日期:2016-01-23 06:20:00数据库技术版块每日发帖之星
日期:2015-12-03 06:20:00综合交流区版块每周发帖之星
日期:2015-12-02 15:03:53数据库技术版块每日发帖之星
日期:2015-10-19 06:20:00数据库技术版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-30 06:20:00
3 [报告]
发表于 2007-05-26 19:38 |只看该作者
对!

上次很多人讨论过的!

要是这样都搞不定,DB2以后还怎么混!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP