发现RAID6在写性能上比RAID5差了十倍...（已解决）

bbjmmj

硬RAID卡的性能具有不确定性，对于RAID5，因为校验比较简单，对RAID卡的运算能力要求很低，但是到了RAID6，因为使用双重校验，算法变得复杂，对阵列卡的运算能力就有了较高的要求，如果没有RAID6硬件加速的话，RAID6的性能肯定会下降许多。
要我说对楼主的应用环境，用软RAID可能会更好些。
软RAID可以从4块1TB RAID6在线扩容到12块2TB SATA，整个过程可以做到业务不间断。想象一下楼主的应用环境，如果用硬RAID，服务器硬盘容量不够时那是一件多么痛苦的事，要么重做RAID，要么换新的容量更大的服务器上去，折腾完了再把CHUNK SERVER挂上去再花N久的时间去等待集群同步……
楼主的服务器用的是1TB硬盘，如果用的是软RAID，1TB的坏了换2TB上去，多余的空间还可以利用一下，软RAID在成本方面是很厉害的，如果能少换一台服务器，我觉得折腾一下还是值得的。
软RAID6的性能也挺不错的，12块硬盘做RAID6，敢和软RAID比性能的RAID卡应该不太多吧？

bosshoss_cn

有没有测试过9块盘的R5，10块盘的R6呢？
条带深度一致不？

ry715

为啥大家都在说RAID卡呀，软RAID啥的，为什么楼主就不可能用的是磁盘阵列呢

storm the front

bb说的一点我还是赞同的，在特定情况下，软raid的性能的确不错

不过可靠性嘛，没怎么测试过

如果软raid没缺陷，那么那些硬raid卡的势必会被淘汰

毕竟，万物都有其存在的道理，和生存法则

bbjmmj

bb说的一点我还是赞同的，在特定情况下，软raid的性能的确不错

不过可靠性嘛，没怎么测试过

如果软ra ...
storm the front 发表于 2010-05-15 10:10

    硬RAID操作简单，就这一个理由，足可以支撑硬RAID活下去
你那个RAID6速度慢的问题解决了吗？差哪儿了？

storm the front

iozone -a -f /share/iozonetest/a -Rb /root/test1.xls                                                                                                        
                                                                                                       
The top row is records sizes, the left column is file sizes                                                                                                       
Writer Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        227718        331481        418250        463774        496362                                                               
128        222693        347758        429220        472262        544601        544601                                                       
256        128779        292269        411583        393772        421768        533190        320060                                               
512        191965        301705        339265        464139        393253        508905        478089        467067                                       
1024        161132        310491        389926        307512        355431        502464        420506        536682        496826                               
2048        215514        252312        267642        440898        400690        505682        509582        379887        338963        527967                       
4096        215988        204746        385174        314524        481879        507622        502396        336426        522648        512635        382481               
8192        146366        308688        384565        440239        472865        343883        519831        354159        339325        322836        346093        326465       
16384        216536        196051        260575        435697        475861        321039        336081        530210        529953        525817        323009        338266        498339
32768        0        0        0        0        30653        361203        20798        380519        382808        66840        108432        31638        86702
65536        0        0        0        0        35941        67025        39994        53498        95284        37603        35698        374132        60010
131072        0        0        0        0        390382        411429        51817        15395        47525        41603        46047        45584        36761
262144        0        0        0        0        390083        41737        44137        41594        39521        31765        46946        41722        48794
524288        0        0        0        0        37339        32145        40669        46360        42523        29676        44222        42343        458121
Re-writer Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        267684        376589        481234        546928        608965                                                               
128        274782        390222        499970        587511        493989        663782                                                       
256        211208        383779        488551        467290        615393        646518        891956                                               
512        191043        284291        368615        409605        340178        447970        519367        561315                                       
1024        170497        255868        303406        678637        329045        387150        474539        405040        353733                               
2048        162448        216694        517285        338175        391951        312670        386050        401327        340886        445887                       
4096        157696        347764        242479        674016        303698        372561        396207        456889        383772        363765        1004917               
8192        156667        207445        248710        322354        332776        338526        365778        611113        384962        384527        388132        374816       
16384        163005        209803        491584        295467        339570        348854        377043        453298        326588        603661        365331        372837        382928
32768        0        0        0        0        89814        861925        41433        986605        1022818        47404        74012        75744        83535
65536        0        0        0        0        35453        57775        75329        70932        80930        56470        53119        987895        58549
131072        0        0        0        0        764740        862929        24241        56363        46338        39481        56433        50598        51526
262144        0        0        0        0        854807        31253        51816        47962        52101        53168        53316        40563        53303
524288        0        0        0        0        35152        38452        43186        33150        42786        52913        38752        47435        1178519
Reader Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        659861        1392258        1330167        1828508        2278628                                                               
128        914904        1040839        1618028        2286447        2858650        2843510                                                       
256        792543        1497953        1911233        2350543        2563818        3159869        3326279                                               
512        816594        1118011        2039772        2681653        2089386        3259661        2695115        3459188                                       
1024        868581        1548960        2138070        2159571        3210456        3229770        3170172        3447541        3369115                               
2048        850504        1464907        1924783        2479912        3240499        2893397        3225896        3357009        3374151        3513544                       
4096        869655        1304390        2019781        2416362        2938334        3100608        3217321        3384658        3436107        3422417        3054304               
8192        859706        1452486        2040266        2550492        3048831        3067065        3132781        3275536        3249514        3296592        3097200        2923783       
16384        865083        1377867        1810799        2493467        2906447        2957991        2968084        3150852        3195094        3099967        2991470        2909031        2948346
32768        0        0        0        0        2794451        2817018        2860343        3043930        3092768        3069354        2998244        2903426        2905206
65536        0        0        0        0        2809583        2909598        2885378        3081597        3059542        3117950        2991679        2873854        2895713
131072        0        0        0        0        2688163        2806984        2852676        3076145        3067580        3094969        2985615        2880462        2907348
262144        0        0        0        0        2682849        2844409        2862865        3066552        3075618        3079624        2976304        2886919        2899312
524288        0        0        0        0        2814591        2905448        3084881        3064649        3247632        3102057        2994545        2901105        2910786
Re-reader Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        1013707        1638743        2278628        2923952        3541098                                                               
128        1007629        1561553        2326073        3036502        3536566        3867787                                                       
256        873809        1463250        2371308        1173737        3605511        3770085        3316006                                               
512        996139        1600443        2350044        3086326        3580298        3736016        3849877        3963567                                       
1024        910181        1454537        2090206        2803859        2852271        3725664        3355952        3937426        3735385                               
2048        907374        1457698        1957683        2801852        3174630        3368858        3430751        3710866        3414387        3850597                       
4096        887536        1318303        2122332        2687795        3374022        3574815        3663236        3785107        3757786        3660115        3274348               
8192        855192        1427681        1996057        2610564        2953185        3095805        3077504        3258760        3275536        3253514        3071726        2945590       
16384        853236        1390018        1813570        2232470        2839435        2862380        3001400        3101226        3178248        3180160        3051512        2939895        2954176
32768        0        0        0        0        2836084        2827275        2944922        3060469        3128176        3145070        3013430        2924431        2925178
65536        0        0        0        0        2844207        2941607        2931349        3071028        3068319        3135555        2985538        2189341        2927259
131072        0        0        0        0        2687835        2828110        2942926        3062641        3089282        3080782        2985956        2909425        2922060
262144        0        0        0        0        3105896        3135237        3114456        3073495        3319462        3076341        3021277        2915727        2927676
524288        0        0        0        0        3378467        3509314        4032361        3918417        4260708        4100935        3544497        3275671        3245619
Random Read Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        551422        983980        2052169        2801873        3203069                                                               
128        877518        1220700        2132084        2175277        3468030        3468030                                                       
256        592636        1495866        2187712        2943325        3410808        3052087        2613746                                               
512        761841        1450212        1647088        2958758        3459188        2169601        3556580        3788747                                       
1024        744128        1294520        2211841        2510493        3324778        2820430        3696803        3722435        3951918                               
2048        786782        1365257        1810768        2748949        3131805        3690142        3677503        3441748        3946119        3967993                       
4096        801718        1192482        2000030        2579635        3360164        3522048        3329557        3828122        3803543        3789282        3260676               
8192        814485        1377264        1945315        2670002        3201076        3227840        3431922        3497955        3588557        3382261        3175340        2932017       
16384        804124        1317454        1733947        2330595        2904359        3027449        2991470        3157366        3305123        3257340        3047588        2934120        2968084
32768        0        0        0        0        2827507        2862607        3036868        3076775        3130599        3207832        3015413        2921820        2917850
65536        0        0        0        0        2809583        2911817        2946368        3071336        3148629        3140212        3017327        2696843        2905354
131072        0        0        0        0        2620707        2811981        2920895        3073273        3113197        3140209        3004445        2906073        2928395
262144        0        0        0        0        3522926        3907474        4003788        3706517        4225058        3887757        3619769        3163891        3249226
524288        0        0        0        0        3706971        3909271        3975607        4128025        4225983        4246244        3623974        3301272        3294467
Random Write Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        274809        293434        516414        447537        388021                                                               
128        256042        421139        592699        633995        824932        684081                                                       
256        197676        379172        472430        737558        531080        713067        21962                                               
512        67421        92889        124514        205386        168697        159311        167160        524569                                       
1024        34969        66745        95158        653146        117055        164313        269263        173472        412905                               
2048        30186        58117        525963        126241        134588        148751        193825        324812        180822        432528                       
4096        23774        351586        97019        684135        131607        132312        149516        172558        303317        227467        1059778               
8192        20316        38915        69530        115313        135508        125438        131277        138184        184289        317054        210255        370025       
16384        3363        4812        503241        6669        72564        113402        54476        22394        58461        37273        318210        214024        361423
32768        0        0        0        0        13811        895911        78947        1043799        1069973        94076        158543        37953        168569
65536        0        0        0        0        35524        39774        26753        67047        53864        40165        59131        1050512        72318
131072        0        0        0        0        830015        897679        38412        35289        56428        59452        43840        64942        59825
262144        0        0        0        0        1143285        42325        36223        39197        49694        55008        60246        51201        50610
524288        0        0        0        0        28219        39964        36278        37948        48986        58346        56397        56250        1395370
Backward Read Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        743988        842003        1421755        1780008        1722886                                                               
128        809997        901083        1710838        1579934        2367096        2621367                                                       
256        579209        1354356        1868008        2458168        2812272        2486631        2463808                                               
512        817837        1357615        1560891        2427068        3012719        2926501        3046915        2486072                                       
1024        721624        1242826        1736178        2173780        2892612        3301774        3294177        3506651        3425544                               
2048        785271        1261962        1787035        2820250        2715922        3169944        3476572        3407614        3574960        3494960                       
4096        779598        1168237        1941270        2344796        3155856        2799936        3207709        3433360        3482778        3387995        3150647               
8192        807726        1339675        1861428        2451849        2976723        3009575        3047749        3249514        3239099        3249514        3039661        2917329       
16384        797664        1302990        1766076        2460082        2809830        2979408        3036277        3154468        3162452        3155047        3033596        2893719        2955319
32768        0        0        0        0        2761992        2803343        2902874        3049603        3145070        3110407        3002961        2903181        2904715
65536        0        0        0        0        2769779        2855108        2882624        3081735        3037297        3140643        2995656        2894188        2899929
131072        0        0        0        0        2619396        2790188        2883998        3070390        3090376        3107232        3005052        2900323        2928457
262144        0        0        0        0        2615917        2818235        2862925        3067484        3076660        3095665        2997064        2909863        2916725
524288        0        0        0        0        2788113        2848354        2878725        3256611        3091264        3259483        3013393        2991913        2754322
Record Rewrite Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        335206        470274        645579        695778        615952                                                               
128        349797        518312        731625        722760        551878        684954                                                       
256        219542        469743        638445        958864        725106        705570        861885                                               
512        320816        527273        782951        939486        999850        1014013        196174        429857                                       
1024        297151        536951        795098        721624        1116792        1057924        128854        171265        455322                               
2048        337843        537953        547904        1004811        1172238        1216221        128798        161678        205541        428707                       
4096        334311        366341        792546        759774        1233405        1243493        131831        124061        154519        229650        1054315               
8192        329751        549651        789447        968540        1239671        1258930        120731        115307        130723        140814        220037        383535       
16384        322875        553084        560980        1027583        1212094        1323977        107295        138421        140246        146730        140758        135040        609886
32768        0        0        0        0        1236241        1020623        120307        1137732        1178491        206609        129081        164899        66960
65536        0        0        0        0        1213788        1273037        111146        199449        207813        133758        134605        1084370        184992
131072        0        0        0        0        1258769        1188461        122043        130802        126230        125511        126063        121580        135826
262144        0        0        0        0        1378000        1973234        170568        108192        121489        131647        196732        102831        117057
524288        0        0        0        0        1850417        1944163        115074        123399        111716        207266        116860        114190        1378362
Stride Read Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        955947        1226821        2006158        2379626        2662899                                                               
128        907174        1231904        2166499        990891        3124872        3199360                                                       
256        630572        1497953        1514860        2943325        3465855        2903529        2812272                                               
512        747521        1471074        2169601        3064306        3628697        3388236        3284589        3481620                                       
1024        763033        1297649        1848247        2255990        3403826        3671521        3643490        3684119        3492395                               
2048        821782        1400653        1835140        2774700        3112514        3757946        3592903        3690142        3669648        3650932                       
4096        803631        1269685        2081196        2666933        3155856        3292546        3002525        3700320        3838385        3716329        3175103               
8192        819106        1362356        1949620        2566495        3050997        3278036        3165394        3835303        3770075        3835303        3223903        2946600       
16384        812058        1248019        1758709        2397430        2755523        2981088        2990819        3104308        3899020        3846855        3280666        2941405        2964371
32768        0        0        0        0        2789233        2807179        2953656        3064768        3145934        3942732        3274554        2929418        2926237
65536        0        0        0        0        2776129        2901857        2911539        3081563        3107306        3131341        3258746        2883229        2927041
131072        0        0        0        0        3591114        3778837        2902590        3078177        3069875        3078039        3014478        2906580        2921796
262144        0        0        0        0        3549882        3821054        2854511        3063646        3081221        3082059        2994355        2906709        2925354
524288        0        0        0        0        2756684        3071077        2951575        3066983        3076031        3274696        3007047        2917073        2722655
Fwrite Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        250919        363337        500060        769584        524487                                                               
128        215541        345075        358677        628061        680612        422464                                                       
256        134439        351722        408297        547044        680960        951219        324903                                               
512        166719        250470        318390        351654        437564        596058        779540        435700                                       
1024        158909        257664        289344        304568        348170        411915        523788        776975        373060                               
2048        215920        299063        263650        324763        324714        354080        401177        479863        656632        379618                       
4096        216937        202461        236667        313005        321282        345714        314564        381768        456125        621922        389426               
8192        141334        302032        220976        285605        277028        305510        339577        356499        375866        452323        643467        328588       
16384        215004        293999        255210        289198        456568        316947        347537        339134        342373        359857        428081        583997        348596
32768        0        0        0        0        68863        347981        128168        376211        375203        103860        120082        199565        816263
65536        0        0        0        0        60773        58123        61336        68313        85357        65990        63584        488998        63017
131072        0        0        0        0        469032        497649        40595        44272        56426        49786        47830        52783        59011
262144        0        0        0        0        465115        44829        44840        42497        36410        46271        50922        43596        51321
524288        0        0        0        0        37081        46655        29886        41995        28944        34231        34238        44551        495453
Re-fwrite Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        249057        420873        586352        969761        615952                                                               
128        233950        399812        546819        731625        1032829        673778                                                       
256        214756        400529        513063        554101        815414        1235882        927393                                               
512        186125        288299        280101        384384        449941        745186        1187895        477133                                       
1024        174835        244451        316555        661904        361961        491594        588125        827099        472972                               
2048        142517        212997        485751        301445        339016        403628        440988        505921        815618        439769                       
4096        155529        335519        425741        596382        348060        366536        324541        477672        478723        628222        1034881               
8192        151199        205550        250182        297405        533993        561444        591727        619621        389911        506461        694475        369790       
16384        237725        201723        468918        275615        506023        345807        336268        373297        610022        433119        461220        1037622        361556
32768        0        0        0        0        93064        801057        115363        926964        942610        131370        93137        104514        508472
65536        0        0        0        0        65402        76480        66711        68510        65536        67047        55822        989058        79814
131072        0        0        0        0        677665        753595        44260        34759        58147        55238        51995        56424        57183
262144        0        0        0        0        851398        41950        52828        45550        52431        46533        58334        26916        50081
524288        0        0        0        0        34770        39243        35780        42426        37527        43389        47198        48822        1028824
Fread Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        404998        1330167        1879725        2203800        2801873                                                               
128        809997        1294270        2027414        2608629        2905056        3199360                                                       
256        794889        1040643        2102055        2692393        3043436        2849590        2943325                                               
512        890404        1500891        2116152        2782414        2089386        2975154        3182373        2532990                                       
1024        894448        1370965        2178189        2120127        2688041        3301774        2774874        3472628        3358576                               
2048        875915        1388428        1861789        2572756        2976615        3215029        3240499        3423913        3487865        3586902                       
4096        852437        772830        2010798        2503695        3119185        3178040        3258820        3362795        3300136        3202328        3045641               
8192        863965        1447834        1976764        2542565        3062418        3110096        3149436        3235439        3229054        3241850        3057785        2922540       
16384        868571        1326866        654416        2546410        2835101        2940901        3038022        3022921        3176485        3130327        2997864        2932493        2913718
32768        0        0        0        0        2671009        2821181        2851856        2980494        3086102        3106821        2981916        2902139        2893402
65536        0        0        0        0        2826426        2876380        2894188        3084225        3095408        3098060        2987192        2868217        2893548
131072        0        0        0        0        2645781        2710335        2840193        3079350        3065014        3075577        2975323        2861704        2903356
262144        0        0        0        0        2615214        2893514        2844350        3066150        3079296        3088482        2976908        2878424        2901654
524288        0        0        0        0        3055663        3037627        2880893        3086678        3081742        3154296        3134548        2900945        2727894
Re-fread Report                                                                                                       
        4        8        16        32        64        128        256        512        1024        2048        4096        8192        16384
64        913649        1526887        2298136        2923952        3541098                                                               
128        992724        1526043        2248149        2985839        3468030        3657016                                                       
256        856386        1581810        2170027        2187712        3511189        3667079        3245838                                               
512        875164        1289156        2116152        3046915        3533174        3710197        2894940        3934520                                       
1024        952573        1431748        1968537        2767722        3579719        3696803        3764854        3894582        3970183                               
2048        896671        1492654        1944829        2752473        3612546        3723735        3606479        3843705        3922692        4023754                       
4096        854728        795187        2094134        2711124        3335375        3465216        3598778        3737349        3788446        3653887        3214912               
8192        886478        1426970        1967370        2600684        3011949        3099435        3100554        3136212        3190080        3201076        3068160        2929017       
16384        862272        1355499        1805043        2501363        2766172        2907554        2991470        3086739        3026249        3173405        3016154        2955828        2942538
32768        0        0        0        0        2839541        2809589        2941707        3062105        3072785        3160474        3012637        2916859        2946500
65536        0        0        0        0        2850283        2881718        2939751        3048751        3101871        3116889        3016201        2855583        2928569
131072        0        0        0        0        2672482        2723790        2924858        3058637        3085277        3088918        3003279        2842528        2917175
262144        0        0        0        0        2633158        2933831        3451897        3064757        3080168        3567019        3129027        2916539        3023994
524288        0        0        0        0        3840962        3979961        4029819        4126104        3871943        4263575        3636367        3266227        3047339

storm the front

用raid6，感觉还是和文件系统的block size有关，因为用裸设备一切都正常，挂了文件系统写大文件时，波动就很大了

spook

想想再说吧
yddll 发表于 2010-05-02 00:34

    你这不是为难他吗？他拿什么想啊？

bbjmmj

你这不是为难他吗？他拿什么想啊？
spook 发表于 2010-05-20 11:14

    我们两台服务器，一台硬RAID，一台软RAID，已经用了5年多，我的结论是建立在数年实践的基础之上，如果没有实践，再怎么胡思乱想，最终也是乱说。

spook

我测试过的存储大约有10来台；测试优化过的系统大约也有10多套，涉及的服务器、存储也有4～5家了，RAID构成从 0 1 3 4 10 51都有涉及，虚拟化也做过2个，你拿5年前的东西来讨论……你让这些搞建设的情何以堪


虽然你年纪比我大，但是我相信接触计算机不比你晚，而且搞的东西也比你多，从最开始的DEC机器开始，最早用的机器的硬盘是5MB的，自己第一块硬盘是20MB的，，我大三时候参加的课业设计就是 修复 一台 PDP11，交换机接触是96年从3Com super stack，CB9000这里开始的，关于运维，存储方面我这里有一套 fastt900从 06年1到现在的每天运行的log，30s的采样频率，跟早的还有 fastt600和 cx500，这上面优化测试做了几十个了，看你喜欢摆资历，我这里先堵上你的嘴……

至于PC服务器方面，从DELL的65系列 IBM 的netfinity HP的R400，联想的万全都有关于数据库优化方面的调试或售后测试记录，有的是我们同事做的，有的是我做的，里面对于各个时期的操作系统 RAID控制器，磁盘的测试及针对不同应用的优化方案都有明确的数据支持，你从哪儿得出了硬RAID不如软RAID这种结论？