每秒钟写入10万条记录，能做到不？

minyounglee

回复 18# wolfop

Exadata对于比较简单的应用来说确实效率非常好，但是对于复杂应用，或许该去评价对人的要求了。
   

wolfop

minyounglee 发表于 2012-08-08 17:59
回复 18# wolfop

Exadata对于比较简单的应用来说确实效率非常好，但是对于复杂应用，或许该去评价对人的 ...

再设计合理的基础架构，在应用层面遇到把数据加载做成了高IOPS要求的人，那是当然没用的。哈哈哈哈

wolfop

minyounglee 发表于 2012-08-08 17:46
回复 18# wolfop

呵呵，你是oracle厂商的吧，Exadata 这种东西你觉得oracle卖的好吗？这种烧钱的“神器 ...

如果不懂数据库，就别在这里装B，以为拿着一个PCIE的IO加速卡就很牛逼。
竟然把加载这种数据库的操作认为是高IOPS应用，也就暴露你的无知者无畏。

wolfop

回复 16# cdtits
每秒10万数据量并不是什么太大的加载性能要求。任何一个优化合适的数据仓库系统都很容易达到，而且投资来说，并不见得需要很高。
但是关键要看做这个应用的人是否懂数据库，几点很重要：
1）并行加载，比如对于ORACLE来说别傻傻的用sqlldr，应该用外部表，而对于DB2来说需要用LOAD，而非import。
2）绕过LOG机制，比如在Oracle中需要做diret path方式，DB2的LOAD也是绕过LOG的。
3）设计合理的IO，加载主要是一个CPU密集型的过程（尤其在启用压缩的情况下），因为10万条每秒，1K字节，也就一秒钟写的速度不过100MB/s，实在不是什么很大的负载。如果压缩，写入的数据量更小。最简单的做法是确保磁盘被充分条带化，而且条带别太小。比如ASM自带的条带化缺省AU_SIZE就是1M足够了。要达到100MB/s的写速度，用桌面级别的7200转的SATA盘，4块都够了，当然实际如果只有这么少硬盘，那就真只能加载很难提供其他能力。
4) 当然，如果按照那个根本不懂数据库还不懂装懂的家伙楞把顺序写弄成每次只写1K字节的的随机写，10万 IOPS的确需要很高的盘阵配置了。但是我还没听说那种白痴数据库推荐的加载方式会把顺序本来很容易实现的顺序写变成随机写。
5)你这点加载速度的要求，自己设计合理的确根本不需要用Exadata这种级别的硬件，普通PC服务器绝对够了。


   

zhlin0054

要给足够高的硬件设备哦

zhlin0054

I/O是关键哦