免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › BSD › pgsql插入在debian，freebsd下矛盾的结果。求解惑？
12下一页
最近访问板块 发新帖
查看: 4910 | 回复: 10

[FreeBSD] pgsql插入在debian，freebsd下矛盾的结果。求解惑？ [复制链接]

flytod

论坛徽章:
0
发表于 2009-03-15 17:22 |显示全部楼层
硬件：技嘉GA-EP43-DS3L主板（Intel P43/LGA 775）
cpu：7400 2G内存，希捷320G sata硬盘

debian 5，freebsd7.1 全部是默认安装，所有软件包都是apt_gte，或者pkg_add安装
debain使用了xfs，freebsd下是ufs

使用initdb创建pgsql数据库，没有修改任何默认设置

利用sql文件插入100w条记录，每次insert插入包含1000行数据

数据表就4个字段，A字段是主键，B字段建立了唯一性，索引。


第一次测试插入，预先创建了带所有约束（主键，唯一性，索引）的表，
debian ： 10 min
Freebsd： 33 min
这让人大跌眼睛

fb插入过程中，后来CPU基本没有耗费，iostat查看，初期几十秒，写io有20-30M，后来就
降低到了5-6M。而debian的写io总是保持一个水平 Blk_wrtn/s    27802.20

debian+xfs胜出。这次测试完成后，以为是UFS文件系统写入比较慢造成的。
=====================================================================================
接着做的第二次测试就让人感到很矛盾了：

第二次测试：预先创建了不带任何约束的表，插入完数据，再创建各种约束
debian ：插入 45s，创建约束 26 s
Freebsd：插入 18s，创建约束 10 s

fb插入过程中，写io一直保持在20-30左右

freebsd胜出
======================================================================================

谁能解惑？

或者能告诉我，怎么调整一下系统参数，让freebsd在带约束插入时能快一些？

btw:这个测试充分说明了，大批量导入数据的时候，一定要先倒数据，再做索引等工作，时间相差是
数量级的。

[ 本帖最后由 flytod 于 2009-3-15 17:30 编辑 ]
fhzxt

论坛徽章:
0
发表于 2009-03-15 18:15 |显示全部楼层
xfs对于大量小文件的读取写入是很慢很慢的，而且对cpu的要求更高，硬盘动作也更多，仅仅比较适合大量大文件并且需要不断移动的情况下。
不过ufs下单一目录下文件数量不能太多（我不知道怎么调整），当超出一个数量后（大约是几十万）速度就会降一个数量级
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gvim

论坛徽章:
2
亥猪 日期:2014-03-19 16:36:35午马 日期:2014-11-23 23:48:46
发表于 2009-03-15 19:38 |显示全部楼层
ufs有没有开softupdate
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flytod

论坛徽章:
0
发表于 2009-03-15 23:33 |显示全部楼层
原帖由 gvim 于 2009-3-15 19:38 发表
ufs有没有开softupdate


汗一个，还是第一次听到这个softupdate，查了一下，好像默认是安装在非/卷，安装freebsd时，没有做特别处理
pgsql的数据分区是单独的卷，应该是开了吧？具体应该怎么看。

另外，疑惑的是两次不同方法的测试得出的结论恰恰相反
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flytod

论坛徽章:
0
发表于 2009-03-16 09:31 |显示全部楼层
早上来看了，freebsd下 mount 看，soft update都是打开的。
贴两个带索引插入时，两个系统的iostat：
freebsd过了二十多秒，就从20-30兆开始逐步下降
debian下则一直保持着比较高速的写速度。

freedb# iostat 2
      tty             ad1             cpu
tin tout  KB/t tps  MB/s  us ni sy in id
   0   22 11.88   8  0.09   0  0  0  0 100
   0   22  0.00   0  0.00   0  0  0  0 100
   0   22  0.00   0  0.00   0  0  0  0 100
   0   22  0.00   0  0.00   0  0  0  0 100
   0   75 42.62  52  2.16   4  0  1  0 95
   0  388 47.42 491 22.75  30  0  4  0 66
   0  388 46.60 502 22.85  32  0  3  0 65
   0  321 50.01 588 28.69  26  0  4  0 69
   0  298 45.77 592 26.44  26  0  2  0 71
   0  328 43.86 536 22.96  27  0  3  1 69
   0  269 45.72 659 29.42  25  0  2  1 72
   0  239 35.69 661 23.05  21  0  2  1 76
   0  216 26.91 535 14.06  19  0  2  0 80
   0  343 42.71 520 21.69  34  0  3  0 62
   0   29 33.25 343 11.13   1  0  2  0 97
      tty             ad1             cpu
tin tout  KB/t tps  MB/s  us ni sy in id
   0   96 27.97 412 11.26   8  0  2  0 90
   0  319 27.48 429 11.52  25  0  3  0 71
   0  126 38.58 357 13.45  10  0  2  0 87
   0   81 34.50 302 10.19   6  0  2  0 91
   0   81 36.62 288 10.32   5  0  2  0 92
   0   66 30.89 285  8.60   4  0  2  0 94
   0   44 43.47 382 16.23   4  0  2  0 94
   0   21 32.31 297  9.37   0  0  1  0 99
   0   36 27.29 385 10.26   2  0  1  0 97
   0   21 22.12 350  7.56   0  0  1  0 99
   0   66 26.02 477 12.11   5  0  2  0 92
   0   51 36.14 292 10.32   3  0  1  0 96
   0   29 31.48 278  8.55   1  0  1  0 98
   0   44 35.26 284  9.80   3  0  2  0 95
   0   51 34.27 295  9.87   3  0  1  0 96
   0   44 30.35 238  7.06   3  0  2  0 96
   0   44 28.12 290  7.98   2  0  2  0 96
   0   44 30.64 271  8.11   3  0  1  0 96
   0   51 32.52 288  9.16   3  0  2  0 96
   0   44 33.29 265  8.61   2  0  1  0 96
   
   

debian1:~# iostat -t 2 sda
Linux 2.6.26-1-686 (debian1)    03/16/2009      _i686_

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               2.66         2.17       246.58     329693   37377968
sda               0.50         0.00         8.00          0         16
sda               0.00         0.00         0.00          0          0
sda              10.00         0.00      3117.00          0       6234
sda              49.50         0.00     25833.50          0      51667
sda              33.50         0.00     10091.00          0      20182
sda              51.50         0.00     31448.50          0      62897
sda              29.50         0.00      9900.00          0      19800
sda              51.00         0.00     32721.00          0      65442
sda              52.50         0.00     24387.00          0      48774
sda              69.50         0.00     25178.00          0      50356
sda              70.00         0.00     40984.50          0      81969
sda              28.50         0.00      9674.00          0      19348
sda              63.50         0.00     35200.50          0      70401
sda              64.00         0.00     25347.50          0      50695
sda              72.50         0.00     44291.50          0      88583
sda              33.00         0.00      8569.50          0      17139
sda              32.00         0.00      8192.00          0      16384
sda              52.00         0.00     24642.00          0      49284
sda             366.00         0.00     55748.50          0     111497
sda              91.50         0.00      6927.00          0      13854
sda              42.00         0.00      7020.50          0      14041
sda             117.50         0.00      8630.00          0      17260
sda             101.00         0.00      9893.50          0      19787
sda             104.00         0.00     12161.50          0      24323
sda              52.50         0.00      9542.00          0      19084
sda             133.50         0.00     56748.50          0     113497
sda             514.50         0.00     30546.50          0      61093
sda             233.00         0.00     11944.00          0      23888
sda              43.50         0.00      9901.50          0      19803
sda              54.00         0.00     12983.00          0      25966
sda              87.00         0.00     18138.50          0      36277
sda             144.50         0.00     39053.00          0      78106
sda             409.00         0.00     61243.50          0     122487
sda             191.00         0.00     11877.50          0      23755
sda              87.50         0.00     25915.50          0      51831
sda             120.50         0.00     24951.50          0      49903
sda             200.00         0.00     34608.00          0      69216
sda             172.50         0.00     25180.00          0      50360
sda             397.50         0.00     60361.50          0     120723
sda             298.50         0.00     35150.00          0      70300
sda             130.00         0.00     17058.50          0      34117
sda             145.50         0.00     31988.50          0      63977
sda              33.50         0.00     13424.50          0      26849
sda             106.00         0.00     32461.00          0      64922
sda             195.00         0.00     27111.00          0      54222
sda             212.00         0.00     41948.00          0      83896
sda             297.00         0.00     49826.50          0      99653
sda             393.50         0.00     21554.00          0      43108
sda             199.50         0.00     15239.00          0      30478
sda             249.50         0.00     29903.00          0      59806
sda             214.50         0.00     23047.50          0      46095
sda             253.50         0.00     34445.00          0      68890
sda             326.50         0.00     18723.00          0      37446
sda             274.00         0.00     22240.50          0      44481
sda             164.00         0.00     20395.50          0      40791
sda             203.50         0.00     28445.00          0      56890
sda              76.50         0.00     12331.50          0      24663
sda             274.00         0.00     40263.00          0      80526
sda             456.00         0.00     38636.00          0      77272
sda             311.50         0.00     13403.50          0      26807
sda             126.00         0.00      2441.00          0       4882
sda             244.00         0.00     18099.00          0      36198
sda             248.00         0.00     27507.00          0      55014
sda             264.50         0.00     31205.50          0      62411
sda             330.50         0.00     26000.50          0      52001
sda             322.00         0.00     33353.00          0      66706
sda             185.50         0.00     32089.50          0      64179
sda             144.50         0.00     32589.00          0      65178
sda             368.50         0.00     40860.50          0      81721
sda             429.50         0.00     20813.00          0      41626
sda             165.50         0.00     16998.00          0      33996
sda             383.50         0.00     28479.50          0      56959
sda             204.50         0.00     32974.00          0      65948
sda             316.00         0.00     26019.00          0      52038
sda             366.50         0.00     20155.50          0      40311
sda             273.00         0.00     23505.00          0      47010
sda             260.50         0.00     57853.50          0     115707
sda             418.50         0.00     18528.00          0      37056
sda             329.50         0.00     19092.00          0      38184
sda             165.00         0.00     19736.50          0      39473
sda             296.50         0.00     24410.00          0      48820
sda             247.50         0.00     22831.50          0      45663
sda             320.00         0.00     31209.50          0      62419
sda             330.00         0.00     37919.00          0      75838
sda             315.50         0.00     45214.00          0      90428
sda             442.50         0.00     26841.50          0      53683
sda             316.50         0.00     19826.50          0      39653
sda             198.50         0.00     20226.00          0      40452
sda             287.50         0.00     26000.00          0      52000
sda             300.00         0.00     25612.50          0      51225
sda             173.50         0.00     30111.00          0      60222
sda             159.50         0.00     24916.50          0      49833
sda             317.50         0.00     61012.00          0     122024
sda             366.00         0.00     20196.50          0      40393
sda             341.50         0.00     12967.50          0      25935
sda             221.50         0.00     22367.00          0      44734
sda             325.50         0.00     25134.00          0      50268
sda             248.50         0.00     34059.00          0      68118
sda             164.00         0.00     28672.50          0      57345
sda             433.50         0.00     51597.50          0     103195
sda             424.00         0.00     18317.50          0      36635
sda             199.00         0.00     11344.50          0      22689
sda             326.50         0.00     26607.50          0      53215
sda             302.50         0.00     25619.00          0      51238
sda             279.00         0.00     44919.50          0      89839
sda             349.00         0.00     40148.50          0      80297
sda             415.50         0.00     14360.50          0      28721
sda             361.00         0.00     18760.50          0      37521
sda             212.50         0.00     20195.00          0      40390
sda             335.00         0.00     18047.00          0      36094
sda             344.50         0.00     27288.50          0      54577
sda             311.00         0.00     19398.50          0      38797
sda             263.00         0.00     32946.50          0      65893
sda             344.00         0.00     25956.50          0      51913
sda             415.50         0.00     21159.00          0      42318
sda             349.50         0.00     13724.50          0      27449
sda             114.50         0.00      1969.50          0       3939
sda             126.00         0.00      2184.00          0       4368
sda             200.50         0.00     21048.50          0      42097
sda             314.50         0.00     20205.00          0      40410
sda             339.50         0.00     46863.50          0      93727
sda             372.50         0.00     43356.50          0      86713
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
大大狗

论坛徽章:
1
荣誉版主 日期:2011-11-23 16:44:17
发表于 2009-03-16 11:16 |显示全部楼层
数据库在建完索引后 再做大量的INSERT时 速度一定会慢


另外我很奇怪的是
  A字段是建立主键后，B字段还可以建立了唯一性索引吗 ?

在 oracle 下是不能这么建的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flytod

论坛徽章:
0
发表于 2009-03-16 12:15 |显示全部楼层
原帖由 大大狗 于 2009-3-16 11:16 发表
数据库在建完索引后 再做大量的INSERT时 速度一定会慢


另外我很奇怪的是
  A字段是建立主键后，B字段还可以建立了唯一性索引吗 ?

在 oracle 下是不能这么建的


pgsql是可以的
ALTER TABLE ONLY user_account ADD CONSTRAINT user_account_pk_passport PRIMARY KEY (passport);
ALTER TABLE ONLY user_account ADD CONSTRAINT user_account_key_guid UNIQUE (guid);
CREATE UNIQUE INDEX useraccount_guid_index ON user_account USING btree (guid);

建了索引肯定是慢了，主要是debian，freebsd这个慢的差别让人疑惑。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dangk

论坛徽章:
0
发表于 2009-03-16 22:05 |显示全部楼层

回复 #1 flytod 的帖子

都是冷开机以后的操作么?
前后两次的环境和过程区别呢?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
macafee

论坛徽章:
0
发表于 2009-03-16 22:27 |显示全部楼层


[ 本帖最后由 macafee 于 2009-3-16 22:31 编辑 ]
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
flytod

论坛徽章:
0
发表于 2009-03-17 16:22 |显示全部楼层
review建表的sql语句，发现一个问题
数据表就4个字段，A字段是主键，B字段建立了唯一性，索引。
B已经建立了唯一性，就包含了索引，所以把该索引去掉。
然后再分别在freebsd，debian下测试
结果
freebsd：10min
debian：3min
差距依然还是1：3的样子。
都是关闭了数据库实例，重新创建了数据库，重启进程的方式来操作。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP