免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 服务器及硬件技术 › 求: 高IO数据库 硬件配置方案, 解决方案 -- 数据库硬件 ...
最近访问板块 发新帖
查看: 2376 | 回复: 4
上一主题 下一主题

求: 高IO数据库 硬件配置方案, 解决方案 -- 数据库硬件优化,实时同步备份HA方案 [复制链接]

Vinsion

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2012-07-27 01:58 |只看该作者 |倒序浏览
本帖最后由 Vinsion 于 2012-07-27 02:02 编辑

求： 硬件配置方案，实时同步备份HA方案，或其它解决方案

-------------------------

情况如下：

数据库： POSTGRESQL 9
IO 应用(3个方面)： 后台新增数据， 前端页面查询数据， 统计数据程序COPY 源数据/写统计数据

-------------------------
数据结构 / IO应用：

高峰每秒增加 1100条数据，高峰时间大概是 5-8个小时，其它时间每秒大概 新增 400-800条数据
每天新增加数据大概 3000至5000万条
每条数据大概 850字节
这个表有 110个 字段，每天自动建立附表，数据存当天附表，主表不存数据
每个小时从这个表COPY出前一个小时的数据进行统计，统计后写回数据库
前端页面多人(2-5)同时查询数据，查询数据大概每次 select 10000笔
查询的热数据 集中在1个星期内，
每个星期一把上个星期的全部数据COPY出来统计，生成报表，写回数据库
每个月初把上个月的部分数据COPY出来统计，生成报表，写回数据库

-------------------------
现在用的：
现在非常卡，在没有COPY大量数据出来时，新增写入I/O 负载 20-40%
在有大量数据 COPY出来时，I/O 长时间持续 100% （有时超过10个小时）

CPU : Intel Xeon X5450 x2
RAM: 32G
RAID CARD: DELL PERC 6/I , 256M Cache
RAID 现在使用： RAID 5

HD 6个1T SATA:
scsi 0:0:0:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
scsi 0:0:1:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
scsi 0:0:2:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
scsi 0:0:3:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
scsi 0:0:4:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
scsi 0:0:5:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
-------------------------



-------------------------
现有以下硬件配置，但感觉 I/O 还是不够用

Minimum Requirements :
HD:        SAS 15K 3.5" 6Gbps 600G x4 + SATA 3.5" Enterprise 6Gbps 1T x4
Memory: 32G
CPU:        Intel Xeon E5620        x2
RAID:        PERC H700 (或同等性能的其它 Hardware-RAID卡), 512M Cache,BBU,support RAID 0/1/10/5
RAID LEVEL: RAID 5

Good server:
HD:        SAS 15K 3.5" 6Gbps 600G x8 + SATA 3.5" Enterprise 6Gbps 1T x6
Memory:        32G
CPU:        Intel Xeon X5650        x2
RAID:        PERC H700 (或同等性能的其它 Hardware-RAID卡), 512M Cache,BBU,support RAID 0/1/10/5
RAID LEVEL: RAID 10

Very good Server:
HD:        SAS 15K 3.5" 6Gbps 600G        x16
Memory:        64G
CPU:         Intel Xeon X5660        x2
RAID:        PERC H700 (或同等性能的其它 Hardware-RAID卡), 1G Cache,BBU,support RAID 0/1/10/5
RAID LEVEL: RAID 10
System HD: SATA 250G x2 (RAID 1)
Vinsion

论坛徽章:
0
2楼 [报告]
发表于 2012-07-27 02:28 |只看该作者
iostat:


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          13.30    0.00   21.38    1.35    0.00   63.97

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00   578.50    0.00  100.00     0.00  5428.00    54.28     0.19    1.93   1.40  13.95
drbd0             0.00     0.00    0.00  676.00     0.00  5408.00     8.00    16.85    2.60   1.21  82.05
drbd1             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          12.24    0.00   20.87    1.22    0.00   65.67

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00   311.50    0.00   12.50     0.00  2592.00   207.36     0.02    1.72   0.28   0.35
sda               0.00   227.00    0.00   56.00     0.00  2264.00    40.43     0.12    2.19   2.16  12.10
drbd0             0.00     0.00    0.00  283.00     0.00  2264.00     8.00    32.86    3.00   2.64  74.80
drbd1             0.00     0.00    0.00  324.00     0.00  2592.00     8.00    46.51    2.57   1.03  33.45

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          11.98    0.00   20.88    1.23    0.00   65.91

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00   561.00    0.00   77.50     0.00  5108.00    65.91     0.17    2.15   1.62  12.55
drbd0             0.00     0.00    0.00  633.50     0.00  5068.00     8.00    62.97    3.38   1.57  99.40
drbd1             0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           9.48    0.00   17.61    0.92    0.00   71.98

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00   338.00    0.00   13.50     0.00  2812.00   208.30     0.02    1.59   0.30   0.40
sda               0.00   160.00    0.00   52.50     0.00  1700.00    32.38     0.10    1.92   1.60   8.40
drbd0             0.00     0.00    0.00  195.00     0.00  1560.00     8.00    20.14    2.71   5.07  98.85
drbd1             0.00     0.00    0.00  351.50     0.00  2812.00     8.00    92.49    1.85   2.37  83.45
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Vinsion

论坛徽章:
0
3楼
发表于 2012-07-27 02:30
本帖最后由 Vinsion 于 2012-07-27 02:37 编辑

简单测试写，生产环境，不能做更多测试
  1. dd if=/dev/zero of=dd_test1 bs=8k count=10000000
  2. 10000000+0 records in
  3. 10000000+0 records out
  4. 81920000000 bytes (82 GB) copied, 451.168 s, 182 MB/s
复制代码
  1. dmesg  |grep ATA
  2.   NODE_DATA [0000000000028000 - 000000000005bfff]
  3.   view.php?id=2 [0001000000 - 000200c7e4]    TEXT DATA BSS ==> [0001000000 - 000200c7e4]
  4. scsi 0:0:0:0: Direct-Access     ATA      ST31000340NS     MA0D PQ: 0 ANSI: 5
  5. scsi 0:0:1:0: Direct-Access     ATA      Hitachi HUA72101 A9N1 PQ: 0 ANSI: 5
  6. scsi 0:0:2:0: Direct-Access     ATA      Hitachi HUA72101 A9N1 PQ: 0 ANSI: 5
  7. scsi 0:0:3:0: Direct-Access     ATA      Hitachi HUA72101 A9N1 PQ: 0 ANSI: 5
  8. scsi 0:0:4:0: Direct-Access     ATA      Hitachi HUA72101 A9N1 PQ: 0 ANSI: 5
  9. scsi 0:0:5:0: Direct-Access     ATA      Hitachi HUA72101 A9N1 PQ: 0 ANSI: 5
  10. ata1: SATA max UDMA/133 cmd 0xcc78 ctl 0xcc70 bmdma 0xcc40 irq 23
  11. ata2: SATA max UDMA/133 cmd 0xcc60 ctl 0xcc58 bmdma 0xcc48 irq 23
  12. ata2.00: ATAPI: TSSTcorpDVD-ROM TS-L333A, D100, max UDMA/33
复制代码
  1. cat /proc/scsi/scsi
  2. Attached devices:
  3. Host: scsi0 Channel: 00 Id: 32 Lun: 00
  4.   Vendor: DP       Model: BACKPLANE        Rev: 1.05
  5.   Type:   Enclosure                        ANSI  SCSI revision: 05
  6. Host: scsi0 Channel: 02 Id: 00 Lun: 00
  7.   Vendor: DELL     Model: PERC 6/i         Rev: 1.21
  8.   Type:   Direct-Access                    ANSI  SCSI revision: 05
  9. Host: scsi0 Channel: 02 Id: 01 Lun: 00
  10.   Vendor: DELL     Model: PERC 6/i         Rev: 1.21
  11.   Type:   Direct-Access                    ANSI  SCSI revision: 05
  12. Host: scsi2 Channel: 00 Id: 00 Lun: 00
  13.   Vendor: TSSTcorp Model: DVD-ROM TS-L333A Rev: D100
  14.   Type:   CD-ROM                           ANSI  SCSI revision: 05
  15. Host: scsi3 Channel: 00 Id: 00 Lun: 00
  16.   Vendor: Dell     Model: Virtual  CDROM   Rev: 123
  17.   Type:   CD-ROM                           ANSI  SCSI revision: 00
  18. Host: scsi4 Channel: 00 Id: 00 Lun: 00
  19.   Vendor: Dell     Model: Virtual  Floppy  Rev: 123
  20.   Type:   Direct-Access                    ANSI  SCSI revision: 00
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Vinsion

论坛徽章:
0
4楼
发表于 2012-07-27 02:32
本帖最后由 Vinsion 于 2012-07-27 02:36 编辑

简单测试写，生产环境，不能做更多测试
  1. dd if=/dev/zero of=dd_test1 bs=8k count=10000000
  2. 10000000+0 records in
  3. 10000000+0 records out
  4. 81920000000 bytes (82 GB) copied, 279.391 s, 293 MB/s
复制代码
  1. dmesg | grep ATA
  2.   NODE_DATA [0000000000028000 - 000000000005bfff]
  3.   view.php?id=2 [0001000000 - 000200c7e4]    TEXT DATA BSS ==> [0001000000 - 000200c7e4]
  4. ata1: SATA max UDMA/133 cmd 0xcc98 ctl 0xcc90 bmdma 0xcc60 irq 23
  5. ata2: SATA max UDMA/133 cmd 0xcc80 ctl 0xcc78 bmdma 0xcc68 irq 23
  6. ata2.00: ATAPI: TSSTcorpDVD-ROM TS-L333A, D100, max UDMA/33
  7. scsi 0:0:0:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
  8. scsi 0:0:1:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
  9. scsi 0:0:2:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
  10. scsi 0:0:3:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
  11. scsi 0:0:4:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
  12. scsi 0:0:5:0: Direct-Access     ATA      TOSHIBA MK1002TS MT2A PQ: 0 ANSI: 5
复制代码
  1. cat /proc/scsi/scsi
  2. Attached devices:
  3. Host: scsi0 Channel: 00 Id: 32 Lun: 00
  4.   Vendor: DP       Model: BACKPLANE        Rev: 1.05
  5.   Type:   Enclosure                        ANSI  SCSI revision: 05
  6. Host: scsi0 Channel: 02 Id: 00 Lun: 00
  7.   Vendor: DELL     Model: PERC 6/i         Rev: 1.21
  8.   Type:   Direct-Access                    ANSI  SCSI revision: 05
  9. Host: scsi0 Channel: 02 Id: 01 Lun: 00
  10.   Vendor: DELL     Model: PERC 6/i         Rev: 1.21
  11.   Type:   Direct-Access                    ANSI  SCSI revision: 05
  12. Host: scsi2 Channel: 00 Id: 00 Lun: 00
  13.   Vendor: TSSTcorp Model: DVD-ROM TS-L333A Rev: D100
  14.   Type:   CD-ROM                           ANSI  SCSI revision: 05
  15. Host: scsi3 Channel: 00 Id: 00 Lun: 00
  16.   Vendor: Dell     Model: Virtual  CDROM   Rev: 123
  17.   Type:   CD-ROM                           ANSI  SCSI revision: 00
  18. Host: scsi4 Channel: 00 Id: 00 Lun: 00
  19.   Vendor: Dell     Model: Virtual  Floppy  Rev: 123
  20.   Type:   Direct-Access                    ANSI  SCSI revision: 00
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Vinsion

论坛徽章:
0
5楼
发表于 2012-07-27 02:35

DELL R510
CPU: Intel XEON E5620 x2
RAM: 64G
HD: 1T 7.2K SATA 3Gbps 3.5" x8
RAID: PERC H700, 512MB cache, BBU

  2. dd if=/dev/zero  of=./test.dd-1 bs=8k count=10000000
  3. 10000000+0 records in
  4. 10000000+0 records out
  5. 81920000000 bytes (82 GB) copied, 119.107 s, 688 MB/s
复制代码
  1. megasas: 00.00.05.40-rh2 Thu. Aug. 4 17:00:00 PDT 2011
  2. megasas: 0x1000:0x0079:0x1028:0x1f17: bus 2:slot 0:func 0
  3.   alloc irq_desc for 32 on node -1
  4.   alloc kstat_irqs on node -1
  5. megaraid_sas 0000:02:00.0: PCI INT A -> GSI 32 (level, low) -> IRQ 32
  6. megaraid_sas 0000:02:00.0: setting latency timer to 64
  7. megasas: FW now in Ready state
  8.   alloc irq_desc for 61 on node -1
  9.   alloc kstat_irqs on node -1
  10. megaraid_sas 0000:02:00.0: irq 61 for MSI/MSI-X
  11. megasas_init_mfi: fw_support_ieee=67108864
  12. megasas: INIT adapter done
  13. megaraid_sas: fw state:c0000000
  14. megasas: fwstate:c0000000, dis_OCR=0
  15. scsi0 : LSI SAS based MegaRAID driver
  16. scsi 0:0:0:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  17. scsi 0:0:1:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  18. scsi 0:0:2:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  19. scsi 0:0:3:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  20. scsi 0:0:4:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  21. scsi 0:0:5:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  22. scsi 0:0:6:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  23. scsi 0:0:7:0: Direct-Access     ATA      ST1000NM0011     PA03 PQ: 0 ANSI: 5
  24. ata_piix 0000:00:1f.2: version 2.13
  25.   alloc irq_desc for 23 on node -1
  26.   alloc kstat_irqs on node -1
  27. ata_piix 0000:00:1f.2: PCI INT C -> GSI 23 (level, low) -> IRQ 23
  28. ata_piix 0000:00:1f.2: MAP [ P0 P2 P1 P3 ]
  29. scsi 0:0:32:0: Enclosure         DP       BACKPLANE        1.10 PQ: 0 ANSI: 5
  30. scsi 0:2:0:0: Direct-Access     DELL     PERC H700        2.10 PQ: 0 ANSI: 5
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP